pyspark学习之map算子操作

map算子对每个元素进行操作处理

测试代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 10:41
# @Author : itzoo、
# @Site : 
# @File : T_Spark_Map_Base.py
# @Software: PyCharm

from pyspark import SparkConf, SparkContext

# 创建spark入口sc
conf = SparkConf().setAppName("T_Spark_Map_Base").setMaster("local")
sc = SparkContext(conf=conf)

# 定义列表
array = [1, 2, 3, 4, 5]
# 转化为rdd
rdd = sc.parallelize(array)
result = rdd.map(lambda x: x+10).collect()
for i in result:
    print(i)

print("列表中元素个数为：%s\n最大元素为：%s\n最小元素为%s\n元素的总和为%s" % (rdd.count(),
                                                    rdd.max(), rdd.min(), rdd.sum()))
# 结束
sc.stop()