天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。

pyspark学习之map算子操作

往事如烟 2892次浏览 0个评论

map算子对每个元素进行操作处理

测试代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 10:41
# @Author : itzoo、
# @Site : 
# @File : T_Spark_Map_Base.py
# @Software: PyCharm

from pyspark import SparkConf, SparkContext

# 创建spark入口sc
conf = SparkConf().setAppName("T_Spark_Map_Base").setMaster("local")
sc = SparkContext(conf=conf)

# 定义列表
array = [1, 2, 3, 4, 5]
# 转化为rdd
rdd = sc.parallelize(array)
result = rdd.map(lambda x: x+10).collect()
for i in result:
    print(i)

print("列表中元素个数为:%s\n最大元素为:%s\n最小元素为%s\n元素的总和为%s" % (rdd.count(),
                                                    rdd.max(), rdd.min(), rdd.sum()))
# 结束
sc.stop()

ITZOO版权所有丨如未注明 , 均为原创丨转载请注明来自IT乐园 ->pyspark学习之map算子操作
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址