火花2.x
如果
SparkSession在未启用Hive支持的情况下创建了Spark
2.x,则可能会出现相同的问题。
Spark 1.x
这很简单。当您使用PySpark
Shell并在Hive支持下构建了Spark时,默认
SQLContext实现(可用
sqlContext)为
HiveContext。
在独立应用程序中,您使用
SQLContext不提供Hive功能的Plain 。
假设其余配置正确,则只需替换:
from pyspark.sql import SQLContextsqlContext = SQLContext(sc)
与
from pyspark.sql import HiveContextsqlContext = HiveContext(sc)



