栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark RDD:词频统计

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark RDD:词频统计

文章目录
  • 一、提出任务
  • 二、完成任务
    • (一)新建Maven项目
    • (二)添加相关依赖和构建插件
    • (三)创建日志属性文件
    • (四)创建词频统计单例对象
    • (五)本地运行程序,查看结果
    • (六)对于程序代码进行解析
    • (七)将Spark项目编译和打包
    • (八)将词频统计应用上传到虚拟机
    • (九)在集群上执行词频统计应用

一、提出任务
  • 单词计数是学习分布式计算的入门程序,有很多种实现方式,例如MapReduce;使用Spark提供的RDD算子可以更加轻松地实现单词计数。

  • 在IntelliJ
    IDEA中新建Maven管理的Spark项目,并在该项目中使用Scala语言编写Spark的WordCount程序,最后将项目打包提交到Spark集群(Standalone模式)中运行。

  • 预备工作:启动集群的HDFS与Spark

  • HDFS上的单词文件 - words.txt

二、完成任务 (一)新建Maven项目
  • 新建Maven项目,基于JDK1.8

  • 设置项目信息(项目名称、保存位置、组编号以及项目编号)

  • 单击【Finish】按钮

  • 将java目录改成scala目录

(二)添加相关依赖和构建插件
  • 在pom.xml文件里添加依赖与Maven构建插件


   4.0.0

   net.qzj.rdd
   SparkRDDWordCount
   1.0-SNAPSHOT

   
       
           org.scala-lang
           scala-library
           2.12.15
       
       
           org.apache.spark
           spark-core_2.12
           2.4.4
       
   
   
       src/main/scala
       
           
               org.apache.maven.plugins
               maven-assembly-plugin
               3.3.0
               
                   
                       jar-with-dependencies
                   
               
               
                   
                       make-assembly
                       package
                       
                           single
                       
                   
               
           
           
               net.alchim31.maven
               scala-maven-plugin
               3.3.2
               
                   
                       scala-compile-first
                       process-resources
                       
                           add-source
                           compile
                       
                   
                   
                       scala-test-compile
                       process-test-resources
                       
                           testCompile
                       
                   
               
           
       
   

  • 由于源程序目录改成了scala,在元素里必须添加子元素,指定目录src/main/scala
(三)创建日志属性文件
  • 在资源文件夹里创建日指数型文件 - log4j.properties
(四)创建词频统计单例对象
  • 在net.qzj.rdd包里创建WordCount单例对象


(五)本地运行程序,查看结果
  • 看控制台输出结果

  • 查看HDFS上的结果文件内容

  • 创建文本文件 - word.txt

  • 上传到HDFS的/input目录

  • 给程序设置命令行参数(注意两个参数之间必须有空格)

  • 运行程序,查看控制台输出结果 - 查看HDFS上的结果文件内容

(六)对于程序代码进行解析
  • SparkConf对象的setMaster()方法用于设置Spark应用程序提交的URL地址。若是Standalone集群模式,则指Master节点的访问地址;若是本地(单机)模式,则需要将地址改为local或local[N]或local[*],分别指使用1个、N个和多个CPU核心数。本地模式可以直接在IDE中运行程序,不需要Spark集群。
  • 此处也可不设置。若将其省略,则使用spark-submit提交该程序到集群时必须使用–master参数进行指定。
  • SparkContext对象用于初始化Spark应用程序运行所需要的核心组件,是整个Spark应用程序中很重要的一个对象。启动Spark Shell后默认创建的名为sc的对象即为该对象。
  • textFile()方法需要传入数据来源的路径。数据来源可以是外部的数据源(HDFS、S3等),也可以是本地文件系统(Windows或Linux系统),路径可以使用以下3种方式:
    (1)文件路径:例如textFile("/input/data.txt "),此时将只读取指定的文件。
    (2)目录路径:例如textFile("/input/words/"),此时将读取指定目录words下的所有文件,不包括子目录。
    (3)路径包含通配符:例如textFile("/input/words/*.txt"),此时将读取words目录下的所有TXT文件。
  • 该方法将读取的文件中的内容按行进行拆分并组成一个RDD集合。假设读取的文件为words.txt
(七)将Spark项目编译和打包
  • 展开IDEA右侧的Maven窗口,双击其中的package项,将编写好的SparkRDDWordCount项目进行编译和打包
  • 在target目录里生成了两个jar包,一个没有带依赖,一个带了依赖,我们使用没有带依赖的jar包 - SparkRDDWordCount-1.0-SNAPSHOT.jar
(八)将词频统计应用上传到虚拟机
  • 在master虚拟机上新建目录/app
  • 将SparkRDDWordCount-1.0-SNAPSHOT.jar上传到master虚拟机/app目录
(九)在集群上执行词频统计应用
  • 先把HDFS上存放结果文件的目录/wc_result删除

1.提交应用程序到集群中运行
(1)不带参数运行程序

  • 执行命令:spark-submit --master spark://master:7077 --class net.qzj.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar

  • 运行报错

  • 原因是Maven项目里依赖的Scala版本问题

  • 在pom.xml文件里修改Scala依赖的版本以及Spark依赖的版本

  • 在项目结构对话框里修改scala-sdk的版本

  • 再次本地运行

  • 重新打包

  • 再次上传jar包 - SparkRDDWordCount-1.0-SNAPSHOT.jar

  • 提交到Spark集群上运行

  • 可以查看到输出结果

  • 还可以查看HDFS的结果文件

(2)带参数运行程序

  • 执行命令:spark-submit --master spark://master:7077 --class net.qzj.rdd.WordCount SparkRDDWordCount-1.0-SNAPSHOT.jar hdfs://master:9000/input/word.txt hdfs://master:9000/word_result

  • 查看输出结果

  • 还可以查看HDFS上结果文件

3.Spark WebUI界面查看应用程序信息

  • 应用程序运行的过程中,可以访问Spark的WebUIhttp://master:8080/,查看正在运行的应用程序的状态信息(也可以查看已经完成的应用程序)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/980928.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号