目录
一、提出任务
二、完成任务
(一)新建Maven项目
(二)添加相关依赖和构建插件
(三)创建日志属性文件
(四)创建词频统计单例对象
(五)本地运行程序,查看结果
(六)对于程序代码进行解析
(七)将Spark项目编译和打包
(八)将词频统计应用上传到虚拟机
(九)在集群上执行词频统计应用
1、提交应用程序到集群中运行
(1)不带参数运行程序
(2)带参数运行程序
一、提出任务
启动集群的HDFS与Spark
创建单词文件words.txt
hello scala world hello spark world scala is simple spark is powerful let us learn scala let us learn spark
二、完成任务
(一)新建Maven项目
基于JDK1.8
设置项目信息
将java目录改成scala目录
(二)添加相关依赖和构建插件
在pom.xml文件里添加依赖与Maven构建插件
4.0.0 net.hty.rdd SparkRDDWordCount1.0-SNAPSHOT org.scala-lang scala-library2.12.15 org.apache.spark spark-core_2.122.4.4 src/main/scala org.apache.maven.plugins maven-assembly-plugin3.3.0 jar-with-dependencies make-assembly package single net.alchim31.maven scala-maven-plugin3.3.2 scala-compile-first process-resources add-source compile scala-test-compile process-test-resources testCompile
安装依赖
由于源程序目录改成了scala,在
(三)创建日志属性文件
在资源文件夹里创建日指数型文件 - log4j.properties
log4j.rootLogger=ERROR, stdout, logfile log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spark.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
(四)创建词频统计单例对象
在netydl.rdd包里创建WordCount单例对象
package net.ydl.rdd
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
// 设置系统属性HADOOP_USER_NAME为root用户,否则对HDFS没有写权限
System.setProperty("HADOOP_USER_NAME", "root")
// 创建Spark配置对象
val conf = new SparkConf()
.setAppName("SparkRDDWordCount") // 设置应用名称
.setMaster("local[*]") // 设置主节点位置(目前本地调试)
// 基于Spark配置对象创建Spark容器
val sc = new SparkContext(conf);
// 判断命令行参数个数
var inputPath = "";
var outputPath = "";
if (args.length == 0) {
inputPath = "hdfs://master:9000/input/words.txt";
outputPath = "hdfs://master:9000/wc_result";
} else if (args.length == 1) {
inputPath = args(0); // 用户指定
outputPath = "hdfs://master:9000/wc_result";
} else if (args.length == 2) {
inputPath = args(0); // 用户指定
outputPath = args(1); // 用户指定
} else {
println("温馨提示:参数不能多于两个~")
inputPath = args(0); // 用户指定
outputPath = args(1); // 用户指定
}
// 进行词频统计
val wc = sc.textFile(inputPath) // 读取文件,得到RDD
.flatMap(_.split(" ")) // 扁平化映射,得到单词数组
.map((_, 1)) // 针对每个单词得到二元组(word, 1)
.reduceByKey(_ + _) // 按键进行聚合(key相同,value就累加)
.sortBy(_._2, false) // 按照单词个数降序排列
// 输出词频统计统计
wc.collect.foreach(println)
// 词频统计结果保存到指定位置
wc.saveAsTextFile(outputPath);
// 停止Spark容器,结束任务
sc.stop()
}
}
(五)本地运行程序,查看结果
控制台输出结果
运行程序报错spark-submit --master spark://master:7077 --class net.ydl.spark.WordCount WordCount-1.0-SNAPSHOT.jar hdfs://master:9000/wordcount hdfs://master:9000/wordcount_output的解决办法
设置-Xms256m -Xmx512m
查看HDFS上的结果文件内容
创建文本文件 - word.txt
上传到HDFS的/input目录
给程序设置命令行参数(注意两个参数之间必须有空格)
运行程序,查看控制台输出结果
查看HDFS上的结果文件内容
(六)对于程序代码进行解析
本地模式可以直接在IDE中运行程序,不需要Spark集群。
textFile()方法需要传入数据来源的路径。数据来源可以是外部的数据源(HDFS、S3等),也可以是本地文件系统(Windows或Linux系统),路径可以使用以下3种方式:
(1)文件路径:例如textFile("/input/data.txt "),此时将只读取指定的文件。
(2)目录路径:例如textFile("/input/words/"),此时将读取指定目录words下的所有文件,不包括子目录。
(3)路径包含通配符:例如textFile("/input/words/*.txt"),此时将读取words目录下的所有TXT文件。
(七)将Spark项目编译和打包
本地模式可以直接在IDE中运行程序,不需要Spark集群。
textFile()方法需要传入数据来源的路径。数据来源可以是外部的数据源(HDFS、S3等),也可以是本地文件系统(Windows或Linux系统),路径可以使用以下3种方式:
(1)文件路径:例如textFile("/input/data.txt "),此时将只读取指定的文件。
(2)目录路径:例如textFile("/input/words/"),此时将读取指定目录words下的所有文件,不包括子目录。
(3)路径包含通配符:例如textFile("/input/words/*.txt"),此时将读取words目录下的所有TXT文件。
在IDEA右侧的Maven窗口,双击其中的package项,将编写好的SparkRDDWordCount项目进行编译和打包
(八)将词频统计应用上传到虚拟机
在master虚拟机上新建目录/app,并将SparkRDDWordCount-1.0-SNAPSHOT.jar上传到master虚拟机/app目录
(九)在集群上执行词频统计应用
把HDFS上存放结果文件的目录/wc_result删除
1、提交应用程序到集群中运行
(1)不带参数运行程序
spark-submit --master spark://master:7077 --class net.ydl.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar
spark-submit --master spark://master:7077 --class net.ydl.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar
查看输出结果
如果出现如下报错
原因是Maven项目里依赖的Scala版本问题
在pom.xml文件里修改Scala依赖的版本以及Spark依赖的版本
在项目结构对话框里修改scala-sdk的版本
再次运行,查看结果
重新打包
再次上传jar包 - SparkRDDWordCount-1.0-SNAPSHOT.jar
提交到Spark集群上运行
查看HDFS的结果文件
(2)带参数运行程序
spark-submit --master spark://master:7077 --class net.ydl.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar hdfs://master:9000/input/word.txt hdfs://master:9000/word_result
查看输出结果
查看HDFS上结果文件



