Spark SQL是由Dataframe派生出来的，通过三步创建使用
- 创建Dataframe
- 将Dataframe注册成临时表
- 使用临时表进行查询统计
使用RDD创建Dataframe
from pyspark.sql import SparkSession sqlContext = SparkSession.builder.getOrCreate()
定义Dataframe的每一个字段名和数据类型
from pyspark.sql import Row saleRows = salesRDD.map(lambda x:Row( 字段名=p[]))
使用sqlContext.createDataframe创建Dataframe
sale_df = sqlContext.createDataframe(saleRows) sale_df.printSchema()
注册临时表
sale_df.registerTempTable('sale_table')
用Spark SQL查看项数
sqlContext.sql('select count(*) counts from sale_table').show()
查看数据
sqlContext.sql('select * from sale_table').show()
