解决方案来源于
错误信息# 错误代码
data.select('Review').rdd.map(
lambda x:jieba.cut(content)
).collect()
#错误信息
NameError: name 'content' is not defined
原因分析
网上大佬说的，来源：
大概意思是map()里的东西没有序列化，查阅博客后得知，jieba是运行在Driver端的，而map()是运行在Executor端的，两个操作是在不同地方执行的，所以我把new JiebaSegmenter()的操作搬到了map()里就ok了。
翻译成‘朴树’一点的意思就是，spark还没开始运动，jieba就等不及了，但我还是看不太懂他是怎么解决的，因为人生苦短。
之后继续查阅资料，终于……
解决方案
1.导包
2.封装分词函数
3.注册分词函数
4.使用它吧
# 词频统计
import jieba
from pyspark.sql import functions as F # spark的自定义函数包
from pyspark.sql.types import ArrayType, StringType # sparkSQL的数据类型
def seg_sentence(content): # 封装结巴
return [i for i in jieba.cut(content)]
seg_sentence=F.udf(seg_sentence,ArrayType(StringType())) # 定义sparkSQL自定义函数
text=data.select(seg_sentence('Review').alias('words')).show() # 就OK了
分词后的词频统计
看了一大圈教程，发现没多少python语言的，希望看到的大家多发python版的资料，为python传道。
1.拍扁words中的数组
2.为每个元素加上初始值1
3.根据key（词）来统计
text.rdd
.flatMap(lambda x: x.words)
.map(lambda x:(x,1))
.reduceByKey(lambda a,b:a+b)
.collect()
