map算子对每个元素进行操作处理
测试代码
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/4/8 10:41 # @Author : itzoo、 # @Site : # @File : T_Spark_Map_Base.py # @Software: PyCharm from pyspark import SparkConf, SparkContext # 创建spark入口sc conf = SparkConf().setAppName("T_Spark_Map_Base").setMaster("local") sc = SparkContext(conf=conf) # 定义列表 array = [1, 2, 3, 4, 5] # 转化为rdd rdd = sc.parallelize(array) result = rdd.map(lambda x: x+10).collect() for i in result: print(i) print("列表中元素个数为:%s\n最大元素为:%s\n最小元素为%s\n元素的总和为%s" % (rdd.count(), rdd.max(), rdd.min(), rdd.sum())) # 结束 sc.stop()