SparkSql第一天
Shark
Shark 是基于 Spark 计算框架之上且兼容 Hive 语法的 SQL 执行引擎，由于底层的计算采用了
Spark ，性能比 MapReduce 的 Hive 普遍快2倍以上，当数据全部加载在内存的话，将快10倍以
上，因此 Shark 可以作为交互式查询应用服务来使用。
除了基于Spark的特性之外，shark是完全兼容HIve的语法，表结构以及UDF函数等，已有的
Hive Sql 可以直接进行迁移至 Shark 上 Shark 底层依赖于 Hive 的解析器，查询优化器，但正是
由于 shark 的整体设计架构对 Hive 的依赖性太强，难以支持其长远发展，比如不能和 Spark 的其
他组件进行很好的集成，无法满足 Spark 的一站式解决大数据处理的需求。
shark是SparkSql的前身，SaprkSql产生的根本原因是其完全脱离了Hive的限制
SparkSQL 支持查询原生的 RDD 。 RDD 是 Spark 的核心概念，是 Spark 能够高效的处理大数据的各种场景的基础。
能够在 scala / java 中写 SQL 语句。支持简单的 SQL 语法检查，能够在 SQL 中写 Hive 语句访问
Hive 数据，并将结果取回作为 RDD 使用。
Spark on Hive和Hive on Spark
Spark on Hive ：Hive只作为储存角色，Spark负责sql解析优化，执行。
Hive on Spark：Hive即作为存储又负责sql的解析优化，Spark负责执行
Dataset与Dataframe
org.apache.spark
spark-sql_2.12
2.4.6
Dataframe
可以简单的把Dataframe理解成RDD+schema元信息
特征：
在spark中，Dataframe是一种以RDD为基础的分布式数据集，类似传统数据库的二维表格
Dataframe带有schema元信息，即Dataframe所表示的二维表数据集的每一列都带有名称（如下图的 name age height）和类型（如下图的 string int double）
Dataframe可以从很多数据源构建对象 ，如已经存在的RDD、结构化文件、外部数据库、Hive表。
RDD可以把它的内部元素看成是一个java对象，Dataframe内部是一个个Row对象，它表示一行一行的数据
区别
左侧的RDD[Person]虽然以Person为类型参数，蚕食Spark框架本身不了解Person类的内部结构
右侧的Dataframe却提供了详细的结构信息，Dataframe多了数据的结构信息，即schema
优点
提升执行效率
减少数据读取
执行优化
DataSet
DataSet是分布式的数据集合，DataSet提供了强类型支持，在RDD的每行数据加了类型约束
Datset是在spark1.6中新添加的接口。它集中了RDD的优点（强类型和可以使用强大的lambda函
数）以及使用了sparkSQL优化的执行引擎。
Dataframe（在2.X之后）实际上是DataSet的一个特例，即对Dataset的元素为Row时起了一个别名
DSL数据操作
action
show以表格的形式在输出中展示 jdbcDF 中的数据，类似于 select * from spark_sql_test 的功能。
show 只显示前20条记录
show(numRows: Int) 显示 numRows 条
show(truncate: Boolean) 是否最多只显示20个字符，默认为 true
show(numRows: Int, truncate: Boolean) 综合前面的显示记录条数，以及对过长字符串的显示格式
collect 方法会将 jdbcDF 中的所有数据都获取到，并返回一个 Array 对象
collectAsList：获取所有数据到List
describe(cols: String*)：获取指定字段的统计信息
first, head, take, takeAsList：获取若干行记录
first 获取第一行记录
head 获取第一行记录， head(n: Int) 获取前n行记录
take(n: Int) 获取前n行数据
takeAsList(n: Int) 获取前n行数据，并以 List 的形式展现
查询
where(conditionExpr: String) ：SQL语言中where关键字后的条件
可以用 and 和 or 。得到Dataframe类型的返回结果
filter ：根据字段进行筛选
得到Dataframe类型的返回结果。和 where 使用条件相同
select ：获取指定字段值
根据传入的 String 类型字段名，获取指定字段的值，以Dataframe类型返回
selectExpr ：可以对指定字段进行特殊处理
可以直接对指定字段调用UDF函数，或者指定别名等。传入 String 类型参数，得到Dataframe对象。
col ：获取指定字段
只能获取一个字段，返回对象为Column类型
apply ：获取指定字段
只能获取一个字段，返回对象为Column类型
drop ：去除指定字段，保留其他字段
返回一个新的Dataframe对象，其中不包含去除的字段，一次只能去除一个字段
Limit
limit 方法获取指定Dataframe的前n行记录，得到一个新的Dataframe对象
排序
orderBy 和 sort ：按指定字段排序，默认为升序
按指定字段排序。加个 - 表示降序排序。 sort 和 orderBy 使用方法相同
jdbcDF.orderBy(- jdbcDF("c4")).show(false)
jdbcDF.orderBy(jdbcDF("c4").desc).show(false)
sortWithinPartitions
和上面的 sort 方法功能类似，区别在于 sortWithinPartitions 方法返回的是按Partition排好序的Dataframe对象。
组函数
groupBy ：根据字段进行 group by 操作
groupBy有两种调用方法，可以传入String类型的字段名，也可以传入column类型的对象
cube 和 rollup ：group by的扩展
功能类似于 SQL 中的 group by cube/rollup
GroupedData对象
该方法得到的是 GroupedData 类型对象，在 GroupedData 的API中提供了 group by 之后的操作
去重
distinct ：返回一个不包含重复记录的Dataframe
返回当前Dataframe中不重复的Row记录。该方法和接下来的 dropDuplicates() 方法不传入指定字段时的结果相同。
dropDuplicates ：根据指定字段去重
根据指定字段去重。类似于 select distinct a, b 操作
聚合
聚合操作调用的是 agg 方法，该方法有多种调用方式。一般与 groupBy 方法配合使用
以下示例其中最简单直观的一种用法，对 id 字段求最大值，对 c4 字段求和
jdbcDF.agg("id" -> "max", "c4" -> "sum")
UNion
unionAll 方法：对两个Dataframe进行组合 ,类似于 SQL 中的 UNIOn ALL 操作
Join
笛卡尔积
joinDF1.join(joinDF2)
using 一个字段形式
下面这种join类似于 a join b using column1 的形式，需要两个Dataframe中有相同的一个列名，
joinDF1.join(joinDF2, "id")
using 多个字段形式
上面这种 using 一个字段的情况外，还可以 using 多个字段
save
save可以将data数据保存到指定的区域
dataframe.write.format("json").mode(SaveMode.Overwrite).save()
SparkSQL的数据源
SparkSQL 的数据源可以是 JSON 类型的字符串， JDBC , Parquet , Hive , HDFS 等
SparkSQL底层架构
首先拿到 sql 后解析一批未被解决的逻辑计划，再经过分析得到分析后的逻辑计划，再经过一批优化规则转换成一批最佳优化的逻辑计划，再经过 SparkPlanner 的策略转化成一批物理计划，随后
经过消费模型转换成一个个的 Spark 任务执行
谓词下推
Predicate Pushdown简称谓词下推，简而言之，就是在不影响结果的情况下，尽量将过滤条件提前执行。谓词下推后，过滤条件在map端执行，减少了map端的输出，降低了数据在集群上传输的
量，节约了集群的资源，也提升了任务的性能
