一、 java基础
1、 Queue和Stack你平时有用过么,说说你常用的方法,他们的却别在哪呢?
2、 了解java的异常吗,有什么区别,常见的异常有哪些呢?
3、 两个字面值相同的Integer,它们两个用等于号去比较,结果是true还是false?(这个题要分两部分去回答,结果可能为true,也可能为false。因为有缓存)
4、 可以讲一下你常用的集合类么?他们的实现类有哪些?
5、 ArrayList、LinkedList的区别,底层的实现呢了解吗,有没有什么优缺点,分别适合于什么样的场景,多线程环境下,有没有安全的list的实现类呢?
6、 其他数据结构的了解吗?LinkedHashMap、ConcurrentSkipHashMap(作为一个扩展,面试的时候问到的不是很多,能答出来挺好,答不出来也没关系)
7、 说一说你对HashSet的理解,越详细越好 ( tip:底层是用hashMap实现的),treeSet有了解吗?聊一聊?
8、 HashMap:
a. HashMap的底层数据结构是什么样子的
b. 了解hash冲突吗?它是如何解决hash冲突的
c. 请你简单叙述一下hashMap的put和get操作,当然,能说多细就说多细?
d. Jdk7和jdk8中对hashMap做了什么改进嘛(红黑树)?
e. 有没有其他的解决冲突的办法呢
f. HashMap中的hash函数了解吗?那他的扩容机制了解吗?
g. HashMap为什么扩容是2倍呢,可以说说嘛?
h. 假如说我加入一个键值对,这个时候出现了冲突,它只怎么把这个节点加入进去?是加入到当前bucket所对应的链表的头结点还是尾节点?(答不上来可以问一个稍微简单的,equals和 == 的区别,以及其中hashCode的作用)
i. 可以说说什么条件下,可以把一个链表转成红黑树呢?它里面的大概流程是什么,了解吗?
j. 有没有想过为什么选用了红黑树,而不是其他的数据结构,譬如说二叉树,二叉查找树,或者其他的树?
k. 在高并发大流量的情况下,hashMap有什么问题吗,会不会造成cpu达到100%?如果会,那是在哪一步可能会出现这个问题呢(插入、删除、查找、扩容)?
9、 ConcurrentHashMap:
a、 他和HashTable的区别呢?
b、 说说你对JUC包的了解?
c、 ConcurrentHashMap中是怎么加锁的?
d、 1.7和1.8中,ConcurrentHashMap的区别是什么?
e、 ConcurrentHashMap是怎么做到线程安全的呢?(CAS和锁)
f、 为什么会抛弃分段锁,它有什么毛病吗(上面一个题回答上才可以问这个)?
g、 知道红黑树的transfer过程么?简单的描述一下
10、 多线程下:
a. 多线程了解吗?说说线程的生命周期?
b. 线程池有用到过吗?怎么用的,jdk有提供那些线程池(总共提供了四种)?
c. 线程的状态有哪些呢?
d. 线程池的核心参数有哪些?(核心线程数、最大线程数、时间、时间单位、队列、拒绝策略、默认的线程工厂)
e. Wait,yeild,stop,sleep、join、start、run的区别和如何使用?
f. 接着上题:这四种有什么区别吗,你用过哪一种,可能存在什么问题吗?
g. 接上题:拒绝策略有哪些呢?了解吗?聊聊?
h. 接上题:你刚才说了队列,线程池中的队列有哪些?有界队列、无界队列、同步队列都有了解吗?聊聊?
i. 如何实现一个消费者和生产者的循环消费和生产呢?(有两种方式,一种是通过锁,lock或者Synchronize,还有一个是通过ArrayBlockingQueue实现)
j. 你可以实现线程之间的相互通信吗?如何实现?要不写一个?
11、 线程安全:
a. Synchronzie了解吗?谈谈你的理解
b. 在一个普通方法上加synchronize和在一个静态方法上加synchronize有什么区别(对象锁和类锁的的区别)?
c. Synchronize和lock有什么区别呢?说说你对lock的理解?
d. Lock的公平和非公平锁?
e. 说一说volitaile为什么保证不了原子性,可以保证可见性嘛?如何保证的(jvm的多线程的内存模型有关系)
f. 了解CountDownLatch么,CyclicBarrier的区别呢?
g. Synchronize的实现原理知道吗?moniter的实现机制呢,为什么加了Synchronzie关键字,就可以在多线程下是安全的(这个回答要从java对象的Object头来回答)
h. 类锁和对象锁的区别呢?字节码的体现呢?
i. Java中的自旋锁、偏向锁、读写锁、重锁等了解吗?
j. 了解java重对象的对象头嘛?有哪些属性和字段呢?
k. Aqs(AbstractQueuedSynchronizer)了解吗?它和lock的关系?说说aqs中的核心思想?
l. Lock中存在锁升级嘛,他是可重入得嘛,那Synchronize是可重入得嘛,有没有锁升级的概念?
m. Volitaile了解吗?他的作用是什么呢,内存语义是什么呢?有没有了解过cpu的缓存一致性协议?
n. 还知道其他的juc类嘛,有哪些呢(譬如lockSupport)?
12、 jvm:
a. 了解jvm么?jvm的内存模型?
b. Java如何判断一个对象是否还活着呢?
c. Java的类加载了解吗?
d. Java类加载器了解吗,有哪些呢?那它的双亲委派了解吗?
e. Jvm指令你知道哪些(jps,jstack,jinfo,jmap……),都有什么作用呢?
f. Java的垃圾回收算呢,了解吗,G1回收算法了解吗?
g. Jvm参数你了解吗,知道多少说多少?
h. 在实战中有进行过jvm调优嘛,怎么做的,
i. Java的对象年龄知道吗,有什么作用吗?
j. Young GC和fullGC了解吗,如何触发,如果在你的项目中,频繁出现young GC 怎么办?
13、 设计模式:
a. 你了解的设计模式有哪些?
b. 可以写一个单例模式嘛,工厂模式呢,抽象工程模式解决了什么问题?
c. 策略模式、责任链模式、适配器模式写一个,写不出来的话,java中在哪用到了这些模式
d. 代理模式了解吗,会写吗,jdk代理和cglib代理的区别呢,说说你的理解?
二、 数据结构与算法
1、 排序算法了解什么?能不能手写一个快速排序、或者归并排序,堆排序有了解吗?
2、 给你一个一元二次方程公式,你写一个方法,用计算机语言实现它。
3、 图了解么,有向图呢?你可以实现一个有向图么?(假如他回答的是二维矩阵,可以反问他有没有更好的解决方案呢,因为这个图可能是个稀疏矩阵)
4、 接上题,在图中,如何判断两个节点的联通性,可以写代码写出来么?
5、 给你一个1T的Int文件,然后你只有一台内存是8G的机器,如何用最快的方法,求出里面出现频率最高的topN个数?
6、 算法的时间复杂度和空间复杂度了解吗?说说你了解的算法的时间复杂度和空间复杂度。
7、 二叉树了解吗,树的广度优先算法和宽度优先算法了解吗?写一个他的前序(中序、后序)遍历可以么(递归和非递归的方式都可以写出来么)?
8、 给你一个字符串,请检查中间出现的括号的正确性,譬如:({[]}),((()))这都是个合法的字符串,(()())((()这就不是一个合法的字符串;
9、 给你一个单向链表,检测它有没有形成环?
10、 给你一个单向链表,如何反转,可不可以把空间复杂度降低到O(1)级别?
11、 写一个字符串匹配算法,判断在一个字符串中是否包含另外一个字符串(一般都会说循环去比较,这样的时间复杂度很高,有一个算法是KMP,面试者要是能提到KMP都就很不错了,因为很多面试官都不知道,也不会)?
12、 可以用两个栈模拟一个队列么?
13、 如何判断两棵树相不相等
14、 动态规划有了解吗?
a. 给你一个机器人,它每次只能向右或者向下走一步,其中,中间有一个障碍物,不可以经过,请问,在一个n*m的矩阵中,这个机器人总共有多少种走的方法?(答不出来就降低一下难度,把中间的那个障碍物去掉)
b. 青蛙跳知道吗?给你一个数组,里面的每一个数字代表青蛙可以前进的最大的步数,如何判断这个青蛙可不可以达到终点;譬如2,3,4,1就可以,1,2,1,0,1就不可以;
c. 爬楼梯,假设有一个n阶的楼梯,你每次都只能爬1或者2个台阶,请问有多少种不同的方法可以爬上去呢?
d. 给你一个整数数组,找到一个具有最大和的连续子数组(子数组至少包含一个元素),返回最大值
e. 给你一个容量为V的背包,现在有N件商品(有重复,相同的商品可以随意取),每件商品的体积是v1,价值是w1,请问,这个背包所能容纳的最大价值是多少?
f. 一个100层高的楼,有两颗鸡蛋,你需要用最少的次数找到那个临界点,这个临界点以上的楼层上摔下去,鸡蛋都会碎掉,以下的楼层,鸡蛋是不会碎的,(扩展,加入现在是N层高的楼房,你现在有m个鸡蛋,m>=1,用最少的次数找到那个临界点)
三、 数据库大汇总
1、 用过mysql嘛?了解吗?
2、 Mysql事务了解吗,隔离级别呢,每种隔离级别会出现什么问题?
3、 Mysql的锁了解吗(表锁、行锁、间隙锁,读写锁)?
4、 Mysql引擎知道吗,innodb和myisam的区别知道吗,说说底层的实现?
5、 聚簇索引和非聚簇索引知道么,有什么区别?
6、 B+树知道吗?为什么使用B+树?
7、 分库分表做过吗,如果让你去实现分库分表,你有什么需要考虑或者注意的嘛?
8、 了解死锁嘛?知道他是怎么产生的嘛,如何避免呢?
9、 Sql优化了解过吗?说说你的理解,给你一条sql,你会怎么优化?
四、 框架
1、 redis大家庭:
a. redis是什么,能干嘛,怎么用?
b. Redis的基础数据类型有哪些?
c. Reids除了这些,还有哪些数据结构,能解决什么问题?
d. Redis集群有搭建过么,说说你的实现
e. Redis如何实现分布式锁
f. Redis的支持事务么?
g. 位图了解吗?
h. 布隆过滤器了解吗,他的原理是什么呢?
i. Redis的通信协议你知道嘛?
j. Redis中的数据结构底层了解吗?string的编码、list的编码、zset的编码;
k. 在集群环境下,Redis的分布式锁一定可靠吗,redis社区有没有提供可靠地分布式锁的集群方案(有,红锁)?
l. Redis的持久化你知道么,说说rdb和aof的区别
m. Aof瘦身知道么?如何瘦身
n. Redis的拒绝策略你知道么?那它的淘汰策略你知道么
o. Redis的哨兵模式呢,了解吗?
p. Zookeeper了解吗,用zookeeper实现分布式锁,和redis实现有什么不同呢,说说他们的原理?
2、 Spring大家庭:
a. Autowire和Resource 的区别
b. 谈谈你对spring的理解,它干了什么?
c. Spring的依赖注入和切面呢?
d. Spring的事务了解吗,他的传播机制呢
e. Spring的aop切面详细说说,你的应用场景呢?
f. Springmvc用过吗?了解他的启动流程嘛?说说你的看法
g. Spring中的bean的生命周期呢,了解吗?如何扩展一个bean的生命周期?
h. Spring源码读过吗?有没有想过他是如何解析在xml中定义的bean的。
i. 在spring的配置文件中加入component-scan标签,它就可以自动加载所有添加相应注解的java类,这个是怎么做到的呢,你知道嘛?
j. Dubbo了解吗?dubbo是怎么和spring想结合的?
3、 消息中间件大家庭:
a. 你了解消息中间件有哪些?
b. 谈谈你对topic和partition的理解?
c. Kafka中的isr和osr有了解吗?
d. Kafka的高水位你知道嘛?
e. Kafka的分区器、拦截器、序列化器你了解吗?
f. 消息的可靠性怎么保证?
g. 消息丢失怎么办?kafka有什么保证策略?(我了解kafka,你们也可以问问其他的,譬如rocketMq)
h. Kafka的事务你了解过吗(这个特别难,一般别问昂)?
4、 zookeeper大家庭:
a. 谈谈你对zookeeper的理解?
b. Zookeeper的节点类型你知道么?
c. Zookeeper的心跳机制呢?
d. Zookeeper的优势在哪?
e. 知道zookeeper的watch嘛?
f. Cap理论知道吗?
g. Paxos算法呢,了解吗?
5、 springBoot大家庭:
a. 什么是springboot?
b. 为什么要用springboot呢?
c. Spring boot 的核心配置文件有哪几个?他们的区别是什么?
d. Spring boot 的配置文件有哪几种格式?区别?
e. Spring boot的核心注解是那个?它主要由哪几个注解组成的?
f. 如何理解springboot的配置加载顺序?
五、离线方向
1. 数据优化中,需要注意哪些关键词
2. Uninon 跟uninon all 的区别
3. 除了distinct外如何使用SQL对数据去重
4. 项目中etl过程
5. Spark的运行流程
6. Sql开窗函数,开窗函数中row_number与rank的区别
7. Avg、sum、count 函数,在某列有空值的情况下,结果会有哪些不同
8. 一个表两个字段,一个id,一个values;values有连续相同;但是有缺失,找出缺失的地方补全(连续缺失的字段如何补全)
9. 数据仓库的基本原理
10. 数据表的各个模型,例如(雪花模型),简述
11. 数据优化中除了用过mapjoin之外,还用过哪些join(不是常见的五种),简述
12. 修改批量文件中的词
13. Shell脚本的定时任务
1.英语自我介绍,说一下越到的最大的挑战
2.union和union all的区别
3.给了个题目,一个表两个字段,一个是id,一个是value,value是连续相同的,但是有缺失的,找出来缺失的地方补全
4.去重的操作
5.spark提交任务的流程
6.Spark oom怎么处理
7.join有哪些?mapsidejoin是什么知道吗(不知道,大概猜了下,然后就没继续问)
8.Linux指令用过哪些?
9.用shell直接查找到文件中的一个词,然后替换(这个不会)
10.Data modeler用过没
11.维度建模什么情况
1.用英语介绍下数据仓库和数据集市的区别
2.讲下 linux 免密登陆
3.介绍下spark执行流程
4.spl 开窗函数
5.shell 脚本读取文件
6.项目中最自豪的事情
7.数据库中count(*) 和count(1) 在什么情况下数据不一致
8.最有压力的事情
9.shell 脚本替换文件内容,替换文本
10.数据倾斜调优
1.英语介绍一下olap和oltp的区别
2.olap的产品知道哪些
3.数仓模型建设
4.对表的设计
5.data modeler工具
6.项目中的etl过程
7.统计人员使用什么工具查询
8.数据报表工具知道哪些
9.工作主要涉及的技术有哪些
10.每日数据量多少,存量多少
11.如何通过sparksql对数据进行更新
12.hbase数据如何更新
13.两表join跑不出数据会是什么原因,如何解决
14.如何进行mapjoin
15.开窗函数
16.linux命令考查
17.hdfs上跨节点如何数据迁移
18.免密登录如何实现
19.ip映射是记录在哪个文件中
20.如何批量修改文件中某一字符串
21.如何确保项目成功交付
22.项目交付时如何进行数据验证
23.项目中最有成就感的事情
六、Spark相关
Q: Spark任务提交后的流程
A: 只要能说出来sparkContext, DAG, Stage, Executor 就大致上应该了解些。
详细答案参考:
1)构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;
(2)资源管理器分配Executor资源并启动StandaloneExecutorBackend,Executor运行情况将随着心跳发送到资源管理器上;
(3)SparkContext构建成DAG图,将DAG图分解成Stage,并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task
(4)Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
(5)Task在Executor上运行,运行完毕释放所有资源。
Q: Spark的API有哪两大类?分别解释一下和举个例子?
A: Transformation & Action.Transformations是转换操作,如map, filter, union, reduceByKey等,Actions是执行操作,如count, collect, reduce, saveAsXXX等
Q: Spark中的union属于宽依赖还是窄依赖? 有无shuffle?
A: 属于窄依赖,无shuffle
SQL:
Q: union all 和 union 有什么区别?哪个性能好?
A: union all 不去重, union会去重。Union all性能好,因为无需额外去重
Q: 如何判断一张表里某个字段有重复?
A: 利用COUNT 加HAVING ,答到这个的一般没问题, 具体如下:
SELECT COL, COUNT(1) AS CNT FROM TABLEGROUP BY 1 HAVING CNT > 1
Q: 有一张表有两个字段,分别是商品ID和商品价格,如何取到商品价格是前10名的所有商品ID?
A: 如果只能想到ORDER BY + LIMIT的,说明SQL较弱。知道用窗口函数(PARTITION BY)的话,至少说明应该不止做过简单的SELECT * FROMTABLE,但想到用row_number()的话。。不行, 如果会问价格是否有重复的话,说明对问题考虑得算周全,因为价格通常都会重复,ID是一般唯一的,如果知道rank() , dense_rank()的话基本就没问题了。当然也有不用partition by 的方式,但步骤较多
数仓:
Q: 数据仓库一般的分层有哪些
A: 不同公司叫法不同,但是可以让他解释每层分别放什么样的数据, 下面是网上抄的,大同小异,知道基本概念就行
ODS:Operation Data Store
原始数据
DWD(数据清洗/DWI) data warehouse detail
数据明细详情,去除空值,脏数据,超过极限范围的明细解析
具体表
DWS(宽表-用户行为,轻度聚合) data warehouseservice —–>有多少个宽表?多少个字段
服务层–留存-转化-GMV-复购率-日活
点赞、评论、收藏;
轻度聚合对DWD
ADS(APP/DAL/DF)-出报表结果 Application Data Store
做分析处理同步到RDS数据库里边
Q: 维度表和事实表分别是什么?举些例子?
A: 简单解释:
事实表就是交易表。
维度表就是基础表。
二者的区别:
维度表的冗余很大,主要是因为维度一般不大(相对于事实表来说的),而维度表的冗余可以使事实表节省很多空间。
事实表一般都很大,如果以普通方式查询的话,得到结果一般发的时间都不是我们可以接受的。所以它一般要进行一些特殊处理。如SQL Server 2005就会对事实表进行如预生成处理等。
事实表一般是没有主键的,数据的质量完全由业务系统来把握。
七、SQL相关
1.distributeby 、sort by 、cluster by 、order by 区别?
1). order by 只有一个reduce负责对所有的数据进行排序,若大数据量,则需要较长的时间。建议在小的数据集中使用order by 进行排序。
2). order by 可以通过设置hive.mapred.mode参数控制执行方式,若选择strict,则order by 则需要指定limit(若有分区还有指定哪个分区);若为nostrict,则与关系型数据库差不多。
3). sort by 基本上不受hive.mapred.mode影响,可以通过mapred.reduce.task 指定reduce个数,查询后的数据被分发到相关的reduce中。
4). sort by 的数据在进入reduce前就完成排序,如果要使用sort by 是行排序,并且设置map.reduce.tasks>1,则sort by 才能保证每个reducer输出有序,不能保证全局数据有序。
5). distributeby 采集hash算法,在map端将查询的结果中hash值相同的结果分发到对应的reduce文件中。
6). distributeby 可以使用length方法会根据string类型的长度划分到不同的reduce中,最终输出到不同的文件中。 length 是内建函数,也可以指定其他的函数或这使用自定义函数。
7). cluster by 除了distribute by 的功能外,还会对该字段进行排序,但是排序只能是升序排序,不能指定排序规则为ASC或者DESC,所以cluster by = distribute by +sort by 。
2.请简述以下sql 的 执行顺序是什么?
select
catid,
count(orderid) as sales
from t_tab
where catid <> “c666”
group by catid
having count(orderid) > 10
order by count(orderid) desc
limit 100
答:
from -> where -> group by ->having -> select -> order by -> limit
3.问:
(1)两条语句的执行结果是否一样?为什么?
(2)假设,数据量很大的情况下,您会选择哪种语句执行?也可以自行开发
–sql 语句 1
select
t1.id,t1.xxx,http://t2.xxx
from t1 left join t2
on t1.id = t2.id and t1.id < 10
–sql 语句 2
select
t1.id,t1.xxx,http://t2.xxx
from t1 left join t2
on t1.id = t2.id
where t1.id < 10
答:1)由于left join,right join,full join的特殊性,不管on上的条件是否为真都会返回left或right表中的记录,full则具有left和right的特性的并集。
sql 语句 1 中 采用的是left join,所以 on 里的 t1.id <10 对左表 t1 不起作用,结果还是会返回t1 表的所有数据
sql 2 则是先 通过 on 上的条件,将两表关联,在最终关联好的表上,在进行过滤,所以只会返回t1.id < 10 的所有数据
2) 当数据量很大的情况下,基于上述情况我会选择 sql 2 ,但是性能不高,可以采用以下查询
select
tmp_t1.id,tmp_t1.xxx,http://t2.xxx
from
(
select * from t1 where t1.id < 10
) tmp_t1 left join t2
on tmp_t1.id = t2.id
4.count(distinct user_id) 和 group by user_id 之后 求 count 两者有什么区别?
首先要清楚,count(distinct) 的原理机制,首先他是将数据通过map端发往一个reduce,之后reduce接收到数据之后,会将数据放入到 hashset中去重,之后cleanUp() 方法,在执行最后的逻辑,比如:计算hashset的size等。
这里就出现了一些问题,
1)数据都发往一个reduce会造成数据倾斜,
2)程序从分布式变成单机程序,影响效率
3)程序执行过程中,只产生一个job
但也不是绝对的,当数据量很小的时候,此时我们并不需要采分布式执行,一个job运行足矣,但是,当数据量比较大的时候,这时count(distinct) 就暴露除了大大的弊端,所以,此时,不应该采用此法来实现去重
group() by count() 当数据量比较大的时候,采用此法,先分组,这时已经在map端实现了去重机制,之后数据发往reduce 数据量已经变得很小了,并且此法涉及到shuffle ,所以reduce的压力不会集中在某个上,并且会产生多个job。
1.1 group() by count() 一定比count(distinct) 性能要好吗?
不一定,当数据量比较大的时候采用group() by count() 会比count(distinct) 要好,但是在数据量比较小的时候,一个job就可以处理,没必要用两个job,也没必要shuffle,所以调优看情况而定。