最近工作时间比较轻松，闲着无事，把之前使用到的大数据的知识做了一次系统的整理和总结，从最基础的Linux虚拟机安装，到最后各个大数据相关组件的搭建，以及框架中需要注意的疑难点并统一记录了下来，一来加深自己的记忆，方便以后查看和复习，同时也能让其他同学学习使用，知识贵在分享，如有写的不完善或者错误的地方，欢迎留言指正，谢谢了。
另外，感兴趣的同学，可以加入大数……继续阅读 »
往事如烟
7年前 (2018-07-17) 2679浏览 0评论
1个赞
flatmap算子操作，先对每个元素进行操作，最后在进行扁平化处理。
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 11:17
# @Author : Relyun、
# @Site :
# @File : T_Spark_FlatMap_Base.py
……继续阅读 »
往事如烟
7年前 (2018-04-08) 2134浏览 1评论
0个赞
map算子对每个元素进行操作处理
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 10:41
# @Author : itzoo、
# @Site :
# @File : T_Spark_Map_Base.py
# @Software: PyCharm
……继续阅读 »
往事如烟
7年前 (2018-04-08) 3903浏览 0评论
0个赞
spark做当下非常流行的大数据计算框架，网上的资源也非常的多，但是相对完整的视频较少，这里提供有尚学堂Yasaka老师的讲解的spark教程，囊括了scala学习、kafka使用和spark core，spark sql,，spark streaming，以及spark算子优化和故障解决等课程，最后会有一个基于这些技术的项目。仅供大家学习和交流使用。
教程……继续阅读 »
itzoo
8年前 (2017-02-20) 13754浏览 5评论
1个赞
