本次实验基于pyspark
新建一个data.txt文件用于本次实验
hello this is a spark demo!
welecome to here
a hot day
hot
本地读取文件
#读取本地文本文件
lines = sc.textFile("data.txt")
#通过flatMap操作把所有数据转行成rdd，把数据压成一列
result = lines.flatMap(lambda line : line.split(' ')
result.collect()
输出结果如下：
#把每一个元素转化成元组 result1 = result.map(lambda word : (word,1))
输出结果如下：
#按key聚合累加 result2 = result1.reduceByKey(lambda a,b:a+b) result2.collect()
输出结果如下：
