文章目录
- 一、提出任务
- 二、涉及知识点
-
- 三、完成任务
- (一)新建Maven项目
- (二)添加相关依赖和构建插件
- (三)创建日志属性文件
- (四)创建分组排行榜单例对象
- (五)本地运行程序,查看结果
- (六)交互式操作查看中间结果
- 1、读取成绩文件得到数据集
- 2、定义成绩样例类
- 3、导入隐式转换
- 4、创建成绩数据集
- 5、将数据集转换成数据帧
- 6、基于数据帧创建临时表
- 7、查询临时表,实现分组排行榜
- 8、显示分组排行榜结果
- 四、可能会出现的问题
一、提出任务
SELECt * FROM t_grade tg
WHERe (SELECt COUNT(*) FROM t_grade
WHERe tg.name = t_grade.name
AND score >= tg.score
) <= 3 ORDER BY name, score DESC;
- 预备工作:启动集群的HDFS与Spark
- 将成绩文件 - grades.txt上传到HDFS上/input目录
二、涉及知识点
(一)开窗函数
1、开窗函数概述
- Spark 1.5.x版本以后,在Spark SQL和DataFrame中引入了开窗函数,其中比较常用的开窗函数就是row_number(),该函数的作用是根据表中字段进行分组,然后根据表中的字段排序;其实就是根据其排序顺序,给组中的每条记录添加一个序号,且每组序号都是从1开始,可利用它这个特性进行分组取topN。
2、开窗函数格式
- ROW_NUMBER() OVER (PARTITION BY field1 ORDER BY field2 DESC) rank
- 分组求top3的SQL语句
三、完成任务
(一)新建Maven项目
- 设置项目信息(项目名、保存位置、组编号、项目编号)
- 将java目录改成scala目录
(二)添加相关依赖和构建插件
- 在pom.xml文件里添加依赖与Maven构建插件
4.0.0
net.cb.sql
GradeTopNBySQL
1.0-SNAPSHOT
org.scala-lang
scala-library
2.11.12
org.apache.spark
spark-core_2.11
2.1.1
org.apache.spark
spark-sql_2.11
2.1.1
src/main/scala
org.apache.maven.plugins
maven-assembly-plugin
3.3.0
jar-with-dependencies
make-assembly
package
single
net.alchim31.maven
scala-maven-plugin
3.3.2
scala-compile-first
process-resources
add-source
compile
scala-test-compile
process-test-resources
testCompile
(三)创建日志属性文件
- 在资源文件夹里创建日志属性文件 - log4j.properties
log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
(四)创建分组排行榜单例对象
- 在net.cb.sql包里创建GradeTopNBySQL单例对象
package net.cb.sql
import org.apache.spark.sql.{Dataset, SparkSession}
object GradeTopNBySQL {
def main(args: Array[String]): Unit = {
// 创建或得到Spark会话对象
val spark = SparkSession.builder()
.appName("GradeTopNBySQL")
.master("local[*]")
.getOrCreate()
// 读取HDFS上的成绩文件
val lines: Dataset[String] = spark.read.textFile("hdfs://master:9000/input/grades.txt")
// 导入隐式转换
import spark.implicits._
// 创建成绩数据集
val gradeDS: Dataset[Grade] = lines.map(
line => { val fields = line.split(" ")
val name = fields(0)
val score = fields(1).toInt
Grade(name, score)
})
// 将数据集转换成数据帧
val df = gradeDS.toDF()
// 基于数据帧创建临时表
df.createOrReplaceTempView("t_grade")
// 查询临时表,实现分组排行榜
val top3 = spark.sql(
"""
|SELECT name, score FROM
| (SELECt name, score, row_number() OVER (PARTITION BY name ORDER BY score DESC) rank from t_grade) t
| WHERe t.rank <= 3
|""".stripMargin
)
// 显示分组排行榜结果
top3.show()
// 按指定格式输出分组排行榜
top3.foreach(row => println(row(0) + ": " + row(1)))
// 关闭Spark会话
spark.close()
}
// 定义成绩样例类
case class Grade(name: String, score: Int)
}
(五)本地运行程序,查看结果
(六)交互式操作查看中间结果
1、读取成绩文件得到数据集
- 执行命令:val lines: Dataset[String] = spark.read.textFile("hdfs://master:9000/input/grades.txt")
2、定义成绩样例类
- 执行命令:case class Grade(name: String, score: Int)
3、导入隐式转换
4、创建成绩数据集
val gradeDS: Dataset[Grade] = lines.map(
line => { val fields = line.split(" ")
val name = fields(0)
val score = fields(1).toInt
Grade(name, score)
})
5、将数据集转换成数据帧
- 执行命令:val df = gradeDS.toDF()
6、基于数据帧创建临时表
7、查询临时表,实现分组排行榜
8、显示分组排行榜结果
四、可能会出现的问题