天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。人之为学有难易乎?学之,则难者亦易矣;不学,则易者亦难矣。

pyspark学习之flatmap算子操作

往事如烟 1491次浏览 1个评论 扫描二维码

flatmap算子操作,先对每个元素进行操作,最后在进行扁平化处理。

测试代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 11:17
# @Author : Relyun、
# @Site :
# @File : T_Spark_FlatMap_Base.py
# @Software: PyCharm


from pyspark import SparkConf, SparkContext

# 创建spark入口sc
conf = SparkConf().setAppName("T_Spark_FlatMap_Base").setMaster("local")
sc = SparkContext(conf=conf)

array = [1,2,3,5]
rdd = sc.parallelize(array)
# flatMap操作
print(rdd.flatMap(lambda x: (x, x*100, x**2)).collect())
# map操作
print(rdd.map(lambda x: (x, x*100, x**2)).collect())


sc.stop()

结果对比

flatmap处理结果
[1, 100, 1, 2, 200, 4, 3, 300, 9, 5, 500, 25]
map处理结果
[(1, 100, 1), (2, 200, 4), (3, 300, 9), (5, 500, 25)]

ITZOO版权所有丨如未注明 , 均为原创丨转载请注明来自IT乐园 ->pyspark学习之flatmap算子操作
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 拜读了,多多学习总是好的!
    3566882018-05-24 18:36 回复 Windows 7 | 搜狗浏览器 2.X