flatmap算子操作,先对每个元素进行操作,最后在进行扁平化处理。
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 11:17
# @Author : Relyun、
# @Site :
# @File : T_Spark_FlatMap_Base.py
……继续阅读 »
往事如烟
3年前 (2018-04-08) 1766浏览 1评论
0个赞
map算子对每个元素进行操作处理
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 10:41
# @Author : itzoo、
# @Site :
# @File : T_Spark_Map_Base.py
# @Software: PyCharm
……继续阅读 »
往事如烟
3年前 (2018-04-08) 1067浏览 0评论
0个赞
spark做当下非常流行的大数据计算框架,网上的资源也非常的多,但是相对完整的视频较少,这里提供有尚学堂Yasaka老师的讲解的spark教程,囊括了scala学习、kafka使用和spark core,spark sql,,spark streaming,以及spark算子优化和故障解决等课程,最后会有一个基于这些技术的项目。仅供大家学习和交流使用。
教程……继续阅读 »
itzoo
4年前 (2017-02-20) 5970浏览 5评论
1个赞