栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark实训1: RDD词频统计

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark实训1: RDD词频统计

目录

一、提出任务

二、完成任务

(一)新建Maven项目

(二)添加相关依赖和构建插件

(三)创建日志属性文件

(四)创建词频统计单例对象

(五)本地运行程序,查看结果

(六)对于程序代码进行解析

(七)将Spark项目编译和打包

(八)将词频统计应用上传到虚拟机

(九)在集群上执行词频统计应用

1、提交应用程序到集群中运行

    (1)不带参数运行程序

    (2)带参数运行程序


一、提出任务

启动集群的HDFS与Spark

创建单词文件words.txt

hello scala world
hello spark world
scala is simple
spark is powerful
let us learn scala
let us learn spark

 

二、完成任务

(一)新建Maven项目

基于JDK1.8

设置项目信息

将java目录改成scala目录

(二)添加相关依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件



    4.0.0

    net.hty.rdd
    SparkRDDWordCount
    1.0-SNAPSHOT
    
        
            org.scala-lang
            scala-library
            2.12.15
        
        
            org.apache.spark
            spark-core_2.12
            2.4.4
        
    
    
        src/main/scala
        
            
                org.apache.maven.plugins
                maven-assembly-plugin
                3.3.0
                
                    
                        jar-with-dependencies
                    
                
                
                    
                        make-assembly
                        package
                        
                            single
                        
                    
                
            
            
                net.alchim31.maven
                scala-maven-plugin
                3.3.2
                
                    
                        scala-compile-first
                        process-resources
                        
                            add-source
                            compile
                        
                    
                    
                        scala-test-compile
                        process-test-resources
                        
                            testCompile
                        
                    
                
            
        
    

安装依赖

由于源程序目录改成了scala,在元素里必须添加子元素,指定目录src/main/scala

(三)创建日志属性文件

在资源文件夹里创建日指数型文件 - log4j.properties

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

 

(四)创建词频统计单例对象

在netydl.rdd包里创建WordCount单例对象

package net.ydl.rdd

import org.apache.spark.{SparkConf, SparkContext}


object WordCount {
  def main(args: Array[String]): Unit = {
    // 设置系统属性HADOOP_USER_NAME为root用户,否则对HDFS没有写权限
    System.setProperty("HADOOP_USER_NAME", "root")
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("SparkRDDWordCount") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置(目前本地调试)
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf);
    // 判断命令行参数个数
    var inputPath = "";
    var outputPath = "";
    if (args.length == 0) {
      inputPath = "hdfs://master:9000/input/words.txt";
      outputPath = "hdfs://master:9000/wc_result";
    } else if (args.length == 1) {
      inputPath = args(0); // 用户指定
      outputPath = "hdfs://master:9000/wc_result";
    } else if (args.length == 2) {
      inputPath = args(0); // 用户指定
      outputPath = args(1); // 用户指定
    } else {
      println("温馨提示:参数不能多于两个~")
      inputPath = args(0); // 用户指定
      outputPath = args(1); // 用户指定
    }
    // 进行词频统计
    val wc = sc.textFile(inputPath) // 读取文件,得到RDD
      .flatMap(_.split(" ")) // 扁平化映射,得到单词数组
      .map((_, 1)) // 针对每个单词得到二元组(word, 1)
      .reduceByKey(_ + _) // 按键进行聚合(key相同,value就累加)
      .sortBy(_._2, false) // 按照单词个数降序排列
    // 输出词频统计统计
    wc.collect.foreach(println)
    // 词频统计结果保存到指定位置
    wc.saveAsTextFile(outputPath);
    // 停止Spark容器,结束任务
    sc.stop()
  }
}

(五)本地运行程序,查看结果

 控制台输出结果

 运行程序报错spark-submit --master spark://master:7077 --class net.ydl.spark.WordCount WordCount-1.0-SNAPSHOT.jar hdfs://master:9000/wordcount hdfs://master:9000/wordcount_output的解决办法

设置-Xms256m -Xmx512m

查看HDFS上的结果文件内容

 

创建文本文件 - word.txt

上传到HDFS的/input目录

给程序设置命令行参数(注意两个参数之间必须有空格)

 运行程序,查看控制台输出结果

查看HDFS上的结果文件内容

(六)对于程序代码进行解析

本地模式可以直接在IDE中运行程序,不需要Spark集群。

textFile()方法需要传入数据来源的路径。数据来源可以是外部的数据源(HDFS、S3等),也可以是本地文件系统(Windows或Linux系统),路径可以使用以下3种方式:
(1)文件路径:例如textFile("/input/data.txt "),此时将只读取指定的文件。
(2)目录路径:例如textFile("/input/words/"),此时将读取指定目录words下的所有文件,不包括子目录。
(3)路径包含通配符:例如textFile("/input/words/*.txt"),此时将读取words目录下的所有TXT文件。

(七)将Spark项目编译和打包

在IDEA右侧的Maven窗口,双击其中的package项,将编写好的SparkRDDWordCount项目进行编译和打包

(八)将词频统计应用上传到虚拟机

在master虚拟机上新建目录/app,并将SparkRDDWordCount-1.0-SNAPSHOT.jar上传到master虚拟机/app目录

(九)在集群上执行词频统计应用

把HDFS上存放结果文件的目录/wc_result删除

1、提交应用程序到集群中运行

    (1)不带参数运行程序
spark-submit --master spark://master:7077 --class net.ydl.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar

查看输出结果

 如果出现如下报错

 原因是Maven项目里依赖的Scala版本问题

在pom.xml文件里修改Scala依赖的版本以及Spark依赖的版本

 在项目结构对话框里修改scala-sdk的版本

再次运行,查看结果

 重新打包

 再次上传jar包 - SparkRDDWordCount-1.0-SNAPSHOT.jar

 提交到Spark集群上运行

 查看HDFS的结果文件

    (2)带参数运行程序
spark-submit --master spark://master:7077 --class net.ydl.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar hdfs://master:9000/input/word.txt hdfs://master:9000/word_result

查看输出结果

查看HDFS上结果文件

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/973481.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号