栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark RDD案例:分组排行榜

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark RDD案例:分组排行榜

一、提出任务
  • 分组求TopN是大数据领域常见的需求,主要是根据数据的某一列进行分组,然后将分组后的每一组数据按照指定的列进行排序,最后取每一组的前N行数据。
  • 有一组学生成绩数据
  • 张三丰 90
    李孟达 85
    张三丰 87
    王晓云 93
    李孟达 65
    张三丰 76
    王晓云 78
    李孟达 60
    张三丰 94
    王晓云 97
    李孟达 88
    张三丰 80
    王晓云 88
    李孟达 82
    王晓云 98

    同一个学生有多门成绩,现需要计算每个学生分数最高的前3个成绩,期望输出结果如下所示:

  • 张三丰:94 90 87
    李孟达:88 85 82
    王晓云:98 97 93
    

    预备工作:启动集群的HDFS与Spark

  •  将成绩文件 - grades.txt上传到HDFS上/input目录

  • 二、完成任务 (一)新建Maven项目
  • 设置项目信息(项目名、保存位置、组编号、项目编号)
  •  

     将java目录改成scala目录

  • (二)添加相关依赖和构建插件
  • 在pom.xml文件里添加依赖与Maven构建插件
设置maven

 完成后点击刷新

 

  • (三)创建日志属性文件
  • 在资源文件夹里创建日志属性文件 - log4j.properties

 

 

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
(四)创建分组排行榜单例对象
  • 在net.huawei.rdd包里创建GradeTopN单例对象

 

package net.zhj.rdd

import org.apache.spark.{SparkConf, SparkContext}

object GradeTopN {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("GradeTopN") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置(目前本地调试)
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf);
    // 实现分组排行榜
    val top3 = sc.textFile("hdfs://master:9000/input/grades.txt")
      .map(line => {
          val fields = line.split(" ")
          (fields(0), fields(1))
        }) // 将每行成绩映射成二元组(name, grade)
      .groupByKey() // 按键分组
        .map(item => {
          val name = item._1
          val top3 = item._2.toList.sortWith(_ > _).take(3)
          (name, top3)
        }) // 值排序,取前三

    // 输出分组排行榜结果    
    top3.collect.foreach(line => {
      val name = line._1
      var scores = ""
      for (score <- line._2)
        scores = scores + " " + score
      println(name + ":" + scores)
    })

    // 停止Spark容器,结束任务
    sc.stop()
  }
}

 

(五)本地运行程序,查看结果
  • 在控制台查看输出结果
(六)交互式操作查看中间结果 1、读取成绩文件得到RDD
  • 执行命令:val lines = sc.textFile("hdfs://master:9000/input/grades.txt")
 2、利用映射算子生成二元组构成的RDD

 运行代码

 

3、按键分组得到新的二元组构成的RDD
  • 执行命令:val groupGrades = grades.groupByKey()

4、按值排序,取前三
val top3 = groupGrades.map(item => {
          val name = item._1
          val top3 = item._2.toList.sortWith(_ > _).take(3)
          (name, top3)
        })

 5、按指定格式输出结果
top3.collect.foreach(line => {
      val name = line._1
      var scores = ""
      for (score <- line._2)
        scores = scores + " " + score
      println(name + ":" + scores)
    })

执行上述代码

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/978845.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号