栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark基础学习笔记14:掌握RDD算子

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark基础学习笔记14:掌握RDD算子

目录

一、RDD算子

二、准备工作

(一)准备文件

1、准备本地系统文件

2、把文件上传到HDFS

(二)启动Spark Shell

1、启动HDFS服务

2、启动Spark服务

3、启动Spark Shell

三、转化算子

(一)映射算子 - map()

1、映射算子功能

2、映射算子案例

(二)过滤算子 - filter()

1、过滤算子功能

2、过滤算子案例

(三)扁平映射算子 - flatMap()

1、扁平映射算子功能

、扁平映射算子案例

(四)按键归约算子 - reduceByKey()

1、按键归约算子功能

2、按键归约算子案例


一、RDD算子
  • RDD被创建后是只读的,不允许修改。Spark提供了丰富的用于操作RDD的方法,这些方法被称为算子。一个创建完成的RDD只支持两种算子:转化(Transformation)算子和行动(Action)算子。

二、准备工作

(一)准备文件

1、准备本地系统文件
  • 在/home目录里创建words.txt

2、把文件上传到HDFS
  • 将words.txt上传到HDFS系统的/park目录里

  • 说明:/park是在上一讲我们创建的目录
  • 查看文件内容

(二)启动Spark Shell

1、启动HDFS服务
  • 执行命令:start-dfs.sh

如果采用的是Spark on YARN集群或者Spark HA集群,那么还得启动YARN服务

2、启动Spark服务
  • 进入Spark的sbin目录执行命令:./start-all.sh

3、启动Spark Shell
  • 执行名命令: spark-shell --master spark://master:7077

三、转化算子
  • 转化算子负责对RDD中的数据进行计算并转化为新的RDD。Spark中的所有转化算子都是惰性的,因为它们不会立即计算结果,而只是记住对某个RDD的具体操作过程,直到遇到行动算子才会与行动算子一起执行。

(一)映射算子 - map()

1、映射算子功能
  • map()是一种转化算子,它接收一个函数作为参数,并把这个函数应用于RDD的每个元素,最后将函数的返回结果作为结果RDD中对应元素的值。

2、映射算子案例
  • 预备工作:创建一个RDD - rdd1
  • 执行命令:val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6))

任务1、将rdd1每个元素翻倍得到rdd2

  • 对rdd1应用map()算子,将rdd1中的每个元素平方并返回一个名为rdd2的新RDD

  • 上述代码中,向算子map()传入了一个函数x = > x * 2。其中,x为函数的参数名称,也可以使用其他字符,例如a => a * 2。Spark会将RDD中的每个元素传入该函数的参数中。

  • 其实,利用神奇占位符_可以写得更简洁

 rdd1和rdd2中实际上没有任何数据,因为parallelize()和map()都为转化算子,调用转化算子不会立即计算结果。

  • 若需要查看计算结果,则可使用行动算子collect()。(collect是采集或收集之意)

  • 执行rdd2.collect进行计算,并将结果以数组的形式收集到当前Driver。因为RDD的元素为分布式的,数据可能分布在不同的节点上。

任务2、将rdd1每个元素平方得到rdd2

  • 方法一、采用普通函数作为参数传给map()算子

  • 方法二、采用下划线表达式作为参数传给map()算子
  • 刚才翻倍用的是map(_ * 2),很自然地想到平方应该是map(_ * _)

 报错,(_ * _)经过eta-expansion变成普通函数,不是我们预期的x => x * x,而是(x$1, x$2) => (x$1 * x$2),不是一元函数,而是二元函数,系统立马就蒙逼了,不晓得该怎么取两个参数来进行乘法运算。
难道就不能用下划线参数了吗?当然可以,但是必须保证下划线表达式里下划线只出现1次。引入幂函数scala.math.pow就可以搞定

 但是有点美中不足,rdd2的元素变成了双精度实数,得转化成整数

(二)过滤算子 - filter()

1、过滤算子功能
  • filter(func):通过函数func对源RDD的每个元素进行过滤,并返回一个新RDD,一般而言,新RDD元素个数会少于原RDD。

2、过滤算子案例

任务1、过滤出列表中的偶数

  • 基于列表创建RDD,然后利用过滤算子得到偶数构成的新RDD
  • 方法一、将匿名函数传给过滤算子

 方法二、用神奇占位符改写传入过滤算子的匿名函数

 将rdd1里的每一个元素x拿去计算x % 2 == 0,如果关系表达式计算结果为真,那么该元素就丢进新RDD - rdd2,否则就被过滤掉了。

任务2、过滤出文件中包含spark的行

  • 查看源文件/park/words.txt内容

 执行命令: val lines= sc.textFile("hdfs://master:9000/park/words.txt"),读取文件 /park/words.txt生成RDD - lines

 执行命令:val sparkLines = lines.filter(_.contains("spark")),过滤包含spark的行生成RDD - sparkLines

 执行命令:sparkLines.collect(),查看sparkLines内容,可以采用遍历算子,分行输出内容太

(三)扁平映射算子 - flatMap()

1、扁平映射算子功能
  • flatMap()算子与map()算子类似,但是每个传入给函数func的RDD元素会返回0到多个元素,最终会将返回的所有元素合并到一个RDD。

、扁平映射算子案例

任务1、统计文件中单词个数

  • 读取文件,生成RDD - rdd1,查看其内容和元素个数

 对于rdd1按空格拆分,做映射,生成新RDD - rdd2

对于rdd1按空格拆分,做扁平映射,生成新RDD - rdd3

  • 大家可以看到,经过扁平映射,生成的RDD是一个单词构成一个元素,而rdd1是6行单词构成6个元素
  • 执行命令:rdd3.count(),即可知单词个数

任务2、统计不规则二维列表元素个数 

方法一、利用Scala来实现

  • 利用列表的flatten函数

val mat = List(List(7, 8, 1, 5),
               List(10, 4, 9),
               List(7, 2, 8, 1, 4),
               List(21, 4, 7, -4))
val arr = mat.flatten // 将二维列表扁平化成一维列表
println("元素个数:" + arr.size)
 

方法二、利用Spark RDD来实现

  • 利用flatMap算子

 val rdd1 = sc.makeRDD(List(List(7, 8, 1, 5),
                           List(10, 4, 9),
                           List(7, 2, 8, 1, 4),
                           List(21, 4, 7, -4)))
val rdd2 = rdd1.flatMap(x => x.toString.substring(5, x.toString.length - 1).split(", "))
println("元素个数:" + rdd2.count)

查看rdd2的内容

(四)按键归约算子 - reduceByKey()

1、按键归约算子功能

reduceByKey()算子的作用对像是元素为(key,value)形式(Scala元组)的RDD,使用该算子可以将相同key的元素聚集到一起,最终把所有相同key的元素合并成一个元素。该元素的key不变,value可以聚合成一个列表或者进行求和等操作。最终返回的RDD的元素类型和原有类型保持一致。

2、按键归约算子案例

任务1、在Spark Shell里计算学生总分

  • 成绩表,包含四个字段(姓名、语文、数学、英语),只有三条记录

 创建成绩列表scores,基于成绩列表创建rdd1,对rdd1按键归约得到rdd2,然后查看rdd2内容

 val scores = List(("张钦林", 78), ("张钦林", 90), ("张钦林", 76),
                  ("陈燕文", 95), ("陈燕文", 88), ("陈燕文", 98),
                  ("卢志刚", 78), ("卢志刚", 80), ("卢志刚", 60))
val rdd1 = sc.makeRDD(scores)
val rdd2 = rdd1.reduceByKey((x, y) => x + y)
rdd2.collect.foreach(println)

任务2、在IDEA里计算学生总分

  • 成绩表,包含四个字段(姓名、语文、数学、英语),只有三条记录

  • 可能存在问题:在Windows下的IDEA中访问HDFS报错Could not locate executable nullbinwinutils.exe

  • 下载对应版本的winutils.exe,放在hadoop安装目录的bin子目录里

 配置hadoop环境变量

创建Maven项目 - SparkRDDDemo

 将java目录改为scala

 在pom.xml文件里添加依赖和构建插件


         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">
    4.0.0

    net.hw.rdd
    SparkRDDDemo
    1.0-SNAPSHOT

   
       
            org.scala-lang
            scala-library
            2.12.15
       

       
            org.apache.spark
            spark-core_2.12
            2.4.4
       

   

   
        src/main/scala
       
           
                org.apache.maven.plugins
                maven-assembly-plugin
                3.3.0
               
                   
                        jar-with-dependencies
                   

               

               
                   
                        make-assembly
                        package
                       
                            single
                       

                   

               

           

           
                net.alchim31.maven
                scala-maven-plugin
                3.3.2
               
                   
                        scala-compile-first
                        process-resources
                       
                            add-source
                            compile
                       

                   

                   
                        scala-test-compile
                        process-test-resources
                       
                            testCompile
                       

                   

               

           

       

   


 

在资源文件夹里创建日志属性文件

 log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建net.cm.rdd包

第一种方式:读取二元组成绩列表

  • 在net.cm.rdd包里创建CalculateScoreSum单例对象

package net.cm.rdd

import org.apache.spark.{SparkConf, SparkContext}
object CalculateScoreSum {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("CalculateScoreSum")
      .setMaster("local[*]")
    // 基于配置创建Spark上下文
    val sc = new SparkContext(conf)

    // 创建成绩列表
    val scores = List(
      ("张钦林", 78), ("张钦林", 90), ("张钦林", 76),
      ("陈燕文", 95), ("陈燕文", 88), ("陈燕文", 98),
      ("卢志刚", 78), ("卢志刚", 80), ("卢志刚", 60)
    )
    // 基于成绩列表创建RDD
    val rdd1 = sc.makeRDD(scores)
    // 对成绩RDD进行按键归约处理
    val rdd2 = rdd1.reduceByKey((x, y) => x + y)
    // 输出归约处理结果
    rdd2.collect.foreach(println)
  }
}

运行程序,查看结果

 修改程序,将计算结果写入HDFS文件

 
运行程序,报错没有写权限

设置HADOOP_USER_NAME属性为root 

 运行程序,查看结果

[以上内容均是参照博主howard2005而写]

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/972740.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号