- 一、提出任务
- 二、完成任务
- (一)新建Maven项目
- (二)添加相关依赖和构建插件
- (三)创建日志属性文件
- (四)创建词频统计单例对象
- (五)本地运行程序,查看结果
- (六)对于程序代码进行解析
- (七)将Spark项目编译和打包
- (八)将词频统计应用上传到虚拟机
- (九)在集群上执行词频统计应用
-
单词计数是学习分布式计算的入门程序,有很多种实现方式,例如MapReduce;使用Spark提供的RDD算子可以更加轻松地实现单词计数。
-
在IntelliJ
IDEA中新建Maven管理的Spark项目,并在该项目中使用Scala语言编写Spark的WordCount程序,最后将项目打包提交到Spark集群(Standalone模式)中运行。 -
预备工作:启动集群的HDFS与Spark
-
HDFS上的单词文件 - words.txt
-
新建Maven项目,基于JDK1.8
-
设置项目信息(项目名称、保存位置、组编号以及项目编号)
-
单击【Finish】按钮
-
将java目录改成scala目录
- 在pom.xml文件里添加依赖与Maven构建插件
4.0.0 net.qzj.rdd SparkRDDWordCount1.0-SNAPSHOT org.scala-lang scala-library2.12.15 org.apache.spark spark-core_2.122.4.4 src/main/scala org.apache.maven.plugins maven-assembly-plugin3.3.0 jar-with-dependencies make-assembly package single net.alchim31.maven scala-maven-plugin3.3.2 scala-compile-first process-resources add-source compile scala-test-compile process-test-resources testCompile
- 由于源程序目录改成了scala,在
元素里必须添加子元素 ,指定目录src/main/scala
- 在资源文件夹里创建日指数型文件 - log4j.properties
- 在net.qzj.rdd包里创建WordCount单例对象
-
看控制台输出结果
-
查看HDFS上的结果文件内容
-
创建文本文件 - word.txt
-
上传到HDFS的/input目录
-
给程序设置命令行参数(注意两个参数之间必须有空格)
-
运行程序,查看控制台输出结果 - 查看HDFS上的结果文件内容
- SparkConf对象的setMaster()方法用于设置Spark应用程序提交的URL地址。若是Standalone集群模式,则指Master节点的访问地址;若是本地(单机)模式,则需要将地址改为local或local[N]或local[*],分别指使用1个、N个和多个CPU核心数。本地模式可以直接在IDE中运行程序,不需要Spark集群。
- 此处也可不设置。若将其省略,则使用spark-submit提交该程序到集群时必须使用–master参数进行指定。
- SparkContext对象用于初始化Spark应用程序运行所需要的核心组件,是整个Spark应用程序中很重要的一个对象。启动Spark Shell后默认创建的名为sc的对象即为该对象。
- textFile()方法需要传入数据来源的路径。数据来源可以是外部的数据源(HDFS、S3等),也可以是本地文件系统(Windows或Linux系统),路径可以使用以下3种方式:
(1)文件路径:例如textFile("/input/data.txt "),此时将只读取指定的文件。
(2)目录路径:例如textFile("/input/words/"),此时将读取指定目录words下的所有文件,不包括子目录。
(3)路径包含通配符:例如textFile("/input/words/*.txt"),此时将读取words目录下的所有TXT文件。 - 该方法将读取的文件中的内容按行进行拆分并组成一个RDD集合。假设读取的文件为words.txt
- 展开IDEA右侧的Maven窗口,双击其中的package项,将编写好的SparkRDDWordCount项目进行编译和打包
- 在target目录里生成了两个jar包,一个没有带依赖,一个带了依赖,我们使用没有带依赖的jar包 - SparkRDDWordCount-1.0-SNAPSHOT.jar
- 在master虚拟机上新建目录/app
- 将SparkRDDWordCount-1.0-SNAPSHOT.jar上传到master虚拟机/app目录
- 先把HDFS上存放结果文件的目录/wc_result删除
1.提交应用程序到集群中运行
(1)不带参数运行程序
-
执行命令:spark-submit --master spark://master:7077 --class net.qzj.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar
-
运行报错
-
原因是Maven项目里依赖的Scala版本问题
-
在pom.xml文件里修改Scala依赖的版本以及Spark依赖的版本
-
在项目结构对话框里修改scala-sdk的版本
-
再次本地运行
-
重新打包
-
再次上传jar包 - SparkRDDWordCount-1.0-SNAPSHOT.jar
-
提交到Spark集群上运行
-
可以查看到输出结果
-
还可以查看HDFS的结果文件
(2)带参数运行程序
-
执行命令:spark-submit --master spark://master:7077 --class net.qzj.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar hdfs://master:9000/input/word.txt hdfs://master:9000/word_result
-
查看输出结果
-
还可以查看HDFS上结果文件
3.Spark WebUI界面查看应用程序信息
- 应用程序运行的过程中,可以访问Spark的WebUIhttp://master:8080/,查看正在运行的应用程序的状态信息(也可以查看已经完成的应用程序)



