最近工作时间比较轻松,闲着无事,把之前使用到的大数据的知识做了一次系统的整理和总结,从最基础的Linux虚拟机安装,到最后各个大数据相关组件的搭建,以及框架中需要注意的疑难点并统一记录了下来,一来加深自己的记忆,方便以后查看和复习,同时也能让其他同学学习使用,知识贵在分享,如有写的不完善或者错误的地方,欢迎留言指正,谢谢了。
另外,感兴趣的同学,可以加入大数……继续阅读 »
往事如烟
7年前 (2018-07-17) 2602浏览 0评论
1个赞
flatmap算子操作,先对每个元素进行操作,最后在进行扁平化处理。
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 11:17
# @Author : Relyun、
# @Site :
# @File : T_Spark_FlatMap_Base.py
……继续阅读 »
往事如烟
7年前 (2018-04-08) 2134浏览 1评论
0个赞
map算子对每个元素进行操作处理
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 10:41
# @Author : itzoo、
# @Site :
# @File : T_Spark_Map_Base.py
# @Software: PyCharm
……继续阅读 »
往事如烟
7年前 (2018-04-08) 3802浏览 0评论
0个赞
spark做当下非常流行的大数据计算框架,网上的资源也非常的多,但是相对完整的视频较少,这里提供有尚学堂Yasaka老师的讲解的spark教程,囊括了scala学习、kafka使用和spark core,spark sql,,spark streaming,以及spark算子优化和故障解决等课程,最后会有一个基于这些技术的项目。仅供大家学习和交流使用。
教程……继续阅读 »
itzoo
8年前 (2017-02-20) 13535浏览 5评论
1个赞