天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。

大数据面试题以及答案整理(面试必备)

往事如烟 1352次浏览 0个评论

一、 java基础

1、 Queue和Stack你平时有用过么,说说你常用的方法,他们的却别在哪呢?

2、 了解java的异常吗,有什么区别,常见的异常有哪些呢?

3、 两个字面值相同的Integer,它们两个用等于号去比较,结果是true还是false?(这个题要分两部分去回答,结果可能为true,也可能为false。因为有缓存)

4、 可以讲一下你常用的集合类么?他们的实现类有哪些?

5、 ArrayList、LinkedList的区别,底层的实现呢了解吗,有没有什么优缺点,分别适合于什么样的场景,多线程环境下,有没有安全的list的实现类呢?

6、 其他数据结构的了解吗?LinkedHashMap、ConcurrentSkipHashMap(作为一个扩展,面试的时候问到的不是很多,能答出来挺好,答不出来也没关系)

7、 说一说你对HashSet的理解,越详细越好 ( tip:底层是用hashMap实现的),treeSet有了解吗?聊一聊?

8、 HashMap:

a. HashMap的底层数据结构是什么样子的

b. 了解hash冲突吗?它是如何解决hash冲突的

c. 请你简单叙述一下hashMap的put和get操作,当然,能说多细就说多细?

d. Jdk7和jdk8中对hashMap做了什么改进嘛(红黑树)?

e. 有没有其他的解决冲突的办法呢

f. HashMap中的hash函数了解吗?那他的扩容机制了解吗?

g. HashMap为什么扩容是2倍呢,可以说说嘛?

h. 假如说我加入一个键值对,这个时候出现了冲突,它只怎么把这个节点加入进去?是加入到当前bucket所对应的链表的头结点还是尾节点?(答不上来可以问一个稍微简单的,equals和 == 的区别,以及其中hashCode的作用)

i. 可以说说什么条件下,可以把一个链表转成红黑树呢?它里面的大概流程是什么,了解吗?

j. 有没有想过为什么选用了红黑树,而不是其他的数据结构,譬如说二叉树,二叉查找树,或者其他的树?

k. 在高并发大流量的情况下,hashMap有什么问题吗,会不会造成cpu达到100%?如果会,那是在哪一步可能会出现这个问题呢(插入、删除、查找、扩容)?

9、 ConcurrentHashMap:

a、 他和HashTable的区别呢?

b、 说说你对JUC包的了解?

c、 ConcurrentHashMap中是怎么加锁的?

d、 1.7和1.8中,ConcurrentHashMap的区别是什么?

e、 ConcurrentHashMap是怎么做到线程安全的呢?(CAS和锁)

f、 为什么会抛弃分段锁,它有什么毛病吗(上面一个题回答上才可以问这个)?

g、 知道红黑树的transfer过程么?简单的描述一下

10、 多线程下:

a. 多线程了解吗?说说线程的生命周期?

b. 线程池有用到过吗?怎么用的,jdk有提供那些线程池(总共提供了四种)?

c. 线程的状态有哪些呢?

d. 线程池的核心参数有哪些?(核心线程数、最大线程数、时间、时间单位、队列、拒绝策略、默认的线程工厂)

e. Wait,yeild,stop,sleep、join、start、run的区别和如何使用?

f. 接着上题:这四种有什么区别吗,你用过哪一种,可能存在什么问题吗?

g. 接上题:拒绝策略有哪些呢?了解吗?聊聊?

h. 接上题:你刚才说了队列,线程池中的队列有哪些?有界队列、无界队列、同步队列都有了解吗?聊聊?

i. 如何实现一个消费者和生产者的循环消费和生产呢?(有两种方式,一种是通过锁,lock或者Synchronize,还有一个是通过ArrayBlockingQueue实现)

j. 你可以实现线程之间的相互通信吗?如何实现?要不写一个?

11、 线程安全:

a. Synchronzie了解吗?谈谈你的理解

b. 在一个普通方法上加synchronize和在一个静态方法上加synchronize有什么区别(对象锁和类锁的的区别)?

c. Synchronize和lock有什么区别呢?说说你对lock的理解?

d. Lock的公平和非公平锁?

e. 说一说volitaile为什么保证不了原子性,可以保证可见性嘛?如何保证的(jvm的多线程的内存模型有关系)

f. 了解CountDownLatch么,CyclicBarrier的区别呢?

g. Synchronize的实现原理知道吗?moniter的实现机制呢,为什么加了Synchronzie关键字,就可以在多线程下是安全的(这个回答要从java对象的Object头来回答)

h. 类锁和对象锁的区别呢?字节码的体现呢?

i. Java中的自旋锁、偏向锁、读写锁、重锁等了解吗?

j. 了解java重对象的对象头嘛?有哪些属性和字段呢?

k. Aqs(AbstractQueuedSynchronizer)了解吗?它和lock的关系?说说aqs中的核心思想?

l. Lock中存在锁升级嘛,他是可重入得嘛,那Synchronize是可重入得嘛,有没有锁升级的概念?

m. Volitaile了解吗?他的作用是什么呢,内存语义是什么呢?有没有了解过cpu的缓存一致性协议?

n. 还知道其他的juc类嘛,有哪些呢(譬如lockSupport)?

12、 jvm:

a. 了解jvm么?jvm的内存模型?

b. Java如何判断一个对象是否还活着呢?

c. Java的类加载了解吗?

d. Java类加载器了解吗,有哪些呢?那它的双亲委派了解吗?

e. Jvm指令你知道哪些(jps,jstack,jinfo,jmap……),都有什么作用呢?

f. Java的垃圾回收算呢,了解吗,G1回收算法了解吗?

g. Jvm参数你了解吗,知道多少说多少?

h. 在实战中有进行过jvm调优嘛,怎么做的,

i. Java的对象年龄知道吗,有什么作用吗?

j. Young GC和fullGC了解吗,如何触发,如果在你的项目中,频繁出现young GC 怎么办?

13、 设计模式:

a. 你了解的设计模式有哪些?

b. 可以写一个单例模式嘛,工厂模式呢,抽象工程模式解决了什么问题?

c. 策略模式、责任链模式、适配器模式写一个,写不出来的话,java中在哪用到了这些模式

d. 代理模式了解吗,会写吗,jdk代理和cglib代理的区别呢,说说你的理解?

二、 数据结构与算法

1、 排序算法了解什么?能不能手写一个快速排序、或者归并排序,堆排序有了解吗?

2、 给你一个一元二次方程公式,你写一个方法,用计算机语言实现它。

3、 图了解么,有向图呢?你可以实现一个有向图么?(假如他回答的是二维矩阵,可以反问他有没有更好的解决方案呢,因为这个图可能是个稀疏矩阵)

4、 接上题,在图中,如何判断两个节点的联通性,可以写代码写出来么?

5、 给你一个1T的Int文件,然后你只有一台内存是8G的机器,如何用最快的方法,求出里面出现频率最高的topN个数?

6、 算法的时间复杂度和空间复杂度了解吗?说说你了解的算法的时间复杂度和空间复杂度。

7、 二叉树了解吗,树的广度优先算法和宽度优先算法了解吗?写一个他的前序(中序、后序)遍历可以么(递归和非递归的方式都可以写出来么)?

8、 给你一个字符串,请检查中间出现的括号的正确性,譬如:({[]}),((()))这都是个合法的字符串,(()())((()这就不是一个合法的字符串;

9、 给你一个单向链表,检测它有没有形成环?

10、 给你一个单向链表,如何反转,可不可以把空间复杂度降低到O(1)级别?

11、 写一个字符串匹配算法,判断在一个字符串中是否包含另外一个字符串(一般都会说循环去比较,这样的时间复杂度很高,有一个算法是KMP,面试者要是能提到KMP都就很不错了,因为很多面试官都不知道,也不会)?

12、 可以用两个栈模拟一个队列么?

13、 如何判断两棵树相不相等

14、 动态规划有了解吗?

a. 给你一个机器人,它每次只能向右或者向下走一步,其中,中间有一个障碍物,不可以经过,请问,在一个n*m的矩阵中,这个机器人总共有多少种走的方法?(答不出来就降低一下难度,把中间的那个障碍物去掉)

b. 青蛙跳知道吗?给你一个数组,里面的每一个数字代表青蛙可以前进的最大的步数,如何判断这个青蛙可不可以达到终点;譬如2,3,4,1就可以,1,2,1,0,1就不可以;

c. 爬楼梯,假设有一个n阶的楼梯,你每次都只能爬1或者2个台阶,请问有多少种不同的方法可以爬上去呢?

d. 给你一个整数数组,找到一个具有最大和的连续子数组(子数组至少包含一个元素),返回最大值

e. 给你一个容量为V的背包,现在有N件商品(有重复,相同的商品可以随意取),每件商品的体积是v1,价值是w1,请问,这个背包所能容纳的最大价值是多少?

f. 一个100层高的楼,有两颗鸡蛋,你需要用最少的次数找到那个临界点,这个临界点以上的楼层上摔下去,鸡蛋都会碎掉,以下的楼层,鸡蛋是不会碎的,(扩展,加入现在是N层高的楼房,你现在有m个鸡蛋,m>=1,用最少的次数找到那个临界点)

三、 数据库大汇总

1、 用过mysql嘛?了解吗?

2、 Mysql事务了解吗,隔离级别呢,每种隔离级别会出现什么问题?

3、 Mysql的锁了解吗(表锁、行锁、间隙锁,读写锁)?

4、 Mysql引擎知道吗,innodb和myisam的区别知道吗,说说底层的实现?

5、 聚簇索引和非聚簇索引知道么,有什么区别?

6、 B+树知道吗?为什么使用B+树?

7、 分库分表做过吗,如果让你去实现分库分表,你有什么需要考虑或者注意的嘛?

8、 了解死锁嘛?知道他是怎么产生的嘛,如何避免呢?

9、 Sql优化了解过吗?说说你的理解,给你一条sql,你会怎么优化?

四、 框架

1、 redis大家庭:

a. redis是什么,能干嘛,怎么用?

b. Redis的基础数据类型有哪些?

c. Reids除了这些,还有哪些数据结构,能解决什么问题?

d. Redis集群有搭建过么,说说你的实现

e. Redis如何实现分布式锁

f. Redis的支持事务么?

g. 位图了解吗?

h. 布隆过滤器了解吗,他的原理是什么呢?

i. Redis的通信协议你知道嘛?

j. Redis中的数据结构底层了解吗?string的编码、list的编码、zset的编码;

k. 在集群环境下,Redis的分布式锁一定可靠吗,redis社区有没有提供可靠地分布式锁的集群方案(有,红锁)?

l. Redis的持久化你知道么,说说rdb和aof的区别

m. Aof瘦身知道么?如何瘦身

n. Redis的拒绝策略你知道么?那它的淘汰策略你知道么

o. Redis的哨兵模式呢,了解吗?

p. Zookeeper了解吗,用zookeeper实现分布式锁,和redis实现有什么不同呢,说说他们的原理?

2、 Spring大家庭:

a. Autowire和Resource 的区别

b. 谈谈你对spring的理解,它干了什么?

c. Spring的依赖注入和切面呢?

d. Spring的事务了解吗,他的传播机制呢

e. Spring的aop切面详细说说,你的应用场景呢?

f. Springmvc用过吗?了解他的启动流程嘛?说说你的看法

g. Spring中的bean的生命周期呢,了解吗?如何扩展一个bean的生命周期?

h. Spring源码读过吗?有没有想过他是如何解析在xml中定义的bean的。

i. 在spring的配置文件中加入component-scan标签,它就可以自动加载所有添加相应注解的java类,这个是怎么做到的呢,你知道嘛?

j. Dubbo了解吗?dubbo是怎么和spring想结合的?

3、 消息中间件大家庭:

a. 你了解消息中间件有哪些?

b. 谈谈你对topic和partition的理解?

c. Kafka中的isr和osr有了解吗?

d. Kafka的高水位你知道嘛?

e. Kafka的分区器、拦截器、序列化器你了解吗?

f. 消息的可靠性怎么保证?

g. 消息丢失怎么办?kafka有什么保证策略?(我了解kafka,你们也可以问问其他的,譬如rocketMq)

h. Kafka的事务你了解过吗(这个特别难,一般别问昂)?

4、 zookeeper大家庭:

a. 谈谈你对zookeeper的理解?

b. Zookeeper的节点类型你知道么?

c. Zookeeper的心跳机制呢?

d. Zookeeper的优势在哪?

e. 知道zookeeper的watch嘛?

f. Cap理论知道吗?

g. Paxos算法呢,了解吗?

5、 springBoot大家庭:

a. 什么是springboot?

b. 为什么要用springboot呢?

c. Spring boot 的核心配置文件有哪几个?他们的区别是什么?

d. Spring boot 的配置文件有哪几种格式?区别?

e. Spring boot的核心注解是那个?它主要由哪几个注解组成的?

f. 如何理解springboot的配置加载顺序?

五、离线方向

1. 数据优化中,需要注意哪些关键词

2. Uninon 跟uninon all 的区别

3. 除了distinct外如何使用SQL对数据去重

4. 项目中etl过程

5. Spark的运行流程

6. Sql开窗函数,开窗函数中row_number与rank的区别

7. Avg、sum、count 函数,在某列有空值的情况下,结果会有哪些不同

8. 一个表两个字段,一个id,一个values;values有连续相同;但是有缺失,找出缺失的地方补全(连续缺失的字段如何补全)

9. 数据仓库的基本原理

10. 数据表的各个模型,例如(雪花模型),简述

11. 数据优化中除了用过mapjoin之外,还用过哪些join(不是常见的五种),简述

12. 修改批量文件中的词

13. Shell脚本的定时任务

1.英语自我介绍,说一下越到的最大的挑战

2.union和union all的区别

3.给了个题目,一个表两个字段,一个是id,一个是value,value是连续相同的,但是有缺失的,找出来缺失的地方补全

4.去重的操作

5.spark提交任务的流程

6.Spark oom怎么处理

7.join有哪些?mapsidejoin是什么知道吗(不知道,大概猜了下,然后就没继续问)

8.Linux指令用过哪些?

9.用shell直接查找到文件中的一个词,然后替换(这个不会)

10.Data modeler用过没

11.维度建模什么情况

1.用英语介绍下数据仓库和数据集市的区别

2.讲下 linux 免密登陆

3.介绍下spark执行流程

4.spl 开窗函数

5.shell 脚本读取文件

6.项目中最自豪的事情

7.数据库中count(*) 和count(1) 在什么情况下数据不一致

8.最有压力的事情

9.shell 脚本替换文件内容,替换文本

10.数据倾斜调优

1.英语介绍一下olap和oltp的区别

2.olap的产品知道哪些

3.数仓模型建设

4.对表的设计

5.data modeler工具

6.项目中的etl过程

7.统计人员使用什么工具查询

8.数据报表工具知道哪些

9.工作主要涉及的技术有哪些

10.每日数据量多少,存量多少

11.如何通过sparksql对数据进行更新

12.hbase数据如何更新

13.两表join跑不出数据会是什么原因,如何解决

14.如何进行mapjoin

15.开窗函数

16.linux命令考查

17.hdfs上跨节点如何数据迁移

18.免密登录如何实现

19.ip映射是记录在哪个文件中

20.如何批量修改文件中某一字符串

21.如何确保项目成功交付

22.项目交付时如何进行数据验证

23.项目中最有成就感的事情

六、Spark相关

Q: Spark任务提交后的流程

A: 只要能说出来sparkContext, DAG, Stage, Executor 就大致上应该了解些。

详细答案参考:

1)构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;

(2)资源管理器分配Executor资源并启动StandaloneExecutorBackend,Executor运行情况将随着心跳发送到资源管理器上;

(3)SparkContext构建成DAG图,将DAG图分解成Stage,并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task

(4)Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。

(5)Task在Executor上运行,运行完毕释放所有资源。

Q: Spark的API有哪两大类?分别解释一下和举个例子?

A: Transformation & Action.Transformations是转换操作,如map, filter, union, reduceByKey等,Actions是执行操作,如count, collect, reduce, saveAsXXX等

Q: Spark中的union属于宽依赖还是窄依赖? 有无shuffle?

A: 属于窄依赖,无shuffle

SQL:

Q: union all 和 union 有什么区别?哪个性能好?

A: union all 不去重, union会去重。Union all性能好,因为无需额外去重

Q: 如何判断一张表里某个字段有重复?

A: 利用COUNT 加HAVING ,答到这个的一般没问题, 具体如下:

SELECT COL, COUNT(1) AS CNT FROM TABLEGROUP BY 1 HAVING CNT > 1

Q: 有一张表有两个字段,分别是商品ID和商品价格,如何取到商品价格是前10名的所有商品ID?

A: 如果只能想到ORDER BY + LIMIT的,说明SQL较弱。知道用窗口函数(PARTITION BY)的话,至少说明应该不止做过简单的SELECT * FROMTABLE,但想到用row_number()的话。。不行, 如果会问价格是否有重复的话,说明对问题考虑得算周全,因为价格通常都会重复,ID是一般唯一的,如果知道rank() , dense_rank()的话基本就没问题了。当然也有不用partition by 的方式,但步骤较多

数仓:

Q: 数据仓库一般的分层有哪些

A: 不同公司叫法不同,但是可以让他解释每层分别放什么样的数据, 下面是网上抄的,大同小异,知道基本概念就行

ODS:Operation Data Store

原始数据

DWD(数据清洗/DWI) data warehouse detail

数据明细详情,去除空值,脏数据,超过极限范围的明细解析

具体表

DWS(宽表-用户行为,轻度聚合) data warehouseservice —–>有多少个宽表?多少个字段

服务层–留存-转化-GMV-复购率-日活

点赞、评论、收藏;

轻度聚合对DWD

ADS(APP/DAL/DF)-出报表结果 Application Data Store

做分析处理同步到RDS数据库里边

Q: 维度表和事实表分别是什么?举些例子?

A: 简单解释:

事实表就是交易表。

维度表就是基础表。

二者的区别:

维度表的冗余很大,主要是因为维度一般不大(相对于事实表来说的),而维度表的冗余可以使事实表节省很多空间。

事实表一般都很大,如果以普通方式查询的话,得到结果一般发的时间都不是我们可以接受的。所以它一般要进行一些特殊处理。如SQL Server 2005就会对事实表进行如预生成处理等。

事实表一般是没有主键的,数据的质量完全由业务系统来把握。

七、SQL相关

1.distributeby 、sort by 、cluster by 、order by 区别?

1). order by 只有一个reduce负责对所有的数据进行排序,若大数据量,则需要较长的时间。建议在小的数据集中使用order by 进行排序。

2). order by 可以通过设置hive.mapred.mode参数控制执行方式,若选择strict,则order by 则需要指定limit(若有分区还有指定哪个分区);若为nostrict,则与关系型数据库差不多。

3). sort by 基本上不受hive.mapred.mode影响,可以通过mapred.reduce.task 指定reduce个数,查询后的数据被分发到相关的reduce中。

4). sort by 的数据在进入reduce前就完成排序,如果要使用sort by 是行排序,并且设置map.reduce.tasks>1,则sort by 才能保证每个reducer输出有序,不能保证全局数据有序。

5). distributeby 采集hash算法,在map端将查询的结果中hash值相同的结果分发到对应的reduce文件中。

6). distributeby 可以使用length方法会根据string类型的长度划分到不同的reduce中,最终输出到不同的文件中。 length 是内建函数,也可以指定其他的函数或这使用自定义函数。

7). cluster by 除了distribute by 的功能外,还会对该字段进行排序,但是排序只能是升序排序,不能指定排序规则为ASC或者DESC,所以cluster by = distribute by +sort by 。

2.请简述以下sql 的 执行顺序是什么?

select

catid,

count(orderid) as sales

from t_tab

where catid <> “c666”

group by catid

having count(orderid) > 10

order by count(orderid) desc

limit 100

答:

from -> where -> group by ->having -> select -> order by -> limit

3.问:

(1)两条语句的执行结果是否一样?为什么?

(2)假设,数据量很大的情况下,您会选择哪种语句执行?也可以自行开发

–sql 语句 1

select

t1.id,t1.xxx,http://t2.xxx

from t1 left join t2

on t1.id = t2.id and t1.id < 10

–sql 语句 2

select

t1.id,t1.xxx,http://t2.xxx

from t1 left join t2

on t1.id = t2.id

where t1.id < 10

答:1)由于left join,right join,full join的特殊性,不管on上的条件是否为真都会返回left或right表中的记录,full则具有left和right的特性的并集。

sql 语句 1 中 采用的是left join,所以 on 里的 t1.id <10 对左表 t1 不起作用,结果还是会返回t1 表的所有数据

sql 2 则是先 通过 on 上的条件,将两表关联,在最终关联好的表上,在进行过滤,所以只会返回t1.id < 10 的所有数据

2) 当数据量很大的情况下,基于上述情况我会选择 sql 2 ,但是性能不高,可以采用以下查询

select

tmp_t1.id,tmp_t1.xxx,http://t2.xxx

from

(

select * from t1 where t1.id < 10

) tmp_t1 left join t2

on tmp_t1.id = t2.id

4.count(distinct user_id) 和 group by user_id 之后 求 count 两者有什么区别?

首先要清楚,count(distinct) 的原理机制,首先他是将数据通过map端发往一个reduce,之后reduce接收到数据之后,会将数据放入到 hashset中去重,之后cleanUp() 方法,在执行最后的逻辑,比如:计算hashset的size等。

这里就出现了一些问题,

1)数据都发往一个reduce会造成数据倾斜,

2)程序从分布式变成单机程序,影响效率

3)程序执行过程中,只产生一个job

但也不是绝对的,当数据量很小的时候,此时我们并不需要采分布式执行,一个job运行足矣,但是,当数据量比较大的时候,这时count(distinct) 就暴露除了大大的弊端,所以,此时,不应该采用此法来实现去重

group() by count() 当数据量比较大的时候,采用此法,先分组,这时已经在map端实现了去重机制,之后数据发往reduce 数据量已经变得很小了,并且此法涉及到shuffle ,所以reduce的压力不会集中在某个上,并且会产生多个job。

1.1 group() by count() 一定比count(distinct) 性能要好吗?

不一定,当数据量比较大的时候采用group() by count() 会比count(distinct) 要好,但是在数据量比较小的时候,一个job就可以处理,没必要用两个job,也没必要shuffle,所以调优看情况而定。

您需要先支付 5元 才能下载此资源!立即支付

ITZOO版权所有丨如未注明 , 均为原创丨转载请注明来自IT乐园 ->大数据面试题以及答案整理(面试必备)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址