一、提出任务

从python.txt、spark.txt、django.txt三科成绩表中计算每个学生三科平均分

在master虚拟机上创建三个成绩文件

• django成绩表 ：django.txt

1 张三丰 90
2 李孟达 85
3 王晓凯 87
4 黄德耀 93
5 罗萌萌 65
6 李新宇 76
7 王德志 78
8 张章雨 60
9 郭孟德 94

• python成绩表 ：python.txt

1 张三丰 80
2 李孟达 65
3 王晓凯 77
4 黄德耀 83
5 罗萌萌 62
6 李新宇 70
7 王德志 68
8 张章雨 80
9 郭孟德 91

• java成绩表：java.txt

• 1 张三丰 95
  2 李孟达 86
  3 王晓凯 84
  4 黄德耀 76
  5 罗萌萌 92
  6 李新宇 72
  7 王德志 86
  8 张章雨 90
  9 郭孟德 61

 启动集群的HDFS与Spark

 java.txt、django,txt、java.txt上传到HDFS上/score目录

查看三个成绩文件内容

二、完成任务

（一）新建Maven项目

 

将java目录改成scala目录

（二）添加相关依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件

    4.0.0
 
    net.ydl.sql
    GradeTopNBySQL
    1.0-SNAPSHOT
 
    
        
            org.scala-lang
            scala-library
            2.11.12
        
        
            org.apache.spark
            spark-core_2.11
            2.1.1
        
        
            org.apache.spark
            spark-sql_2.11
            2.1.1
        
    
    
        src/main/scala
        
            
                org.apache.maven.plugins
                maven-assembly-plugin
                3.3.0
                
                    
                        jar-with-dependencies
                    
                
                
                    
                        make-assembly
                        package
                        
                            single
                        
                    
                
            
            
                net.alchim31.maven
                scala-maven-plugin
                3.3.2
                
                    
                        scala-compile-first
                        process-resources
                        
                            add-source
                            compile
                        
                    
                    
                        scala-test-compile
                        process-test-resources
                        
                            testCompile
                        
                    
                
            
        
    

 

（三）创建日志属性文件

在资源文件夹里创建日志属性文件 - log4j.properties

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

 

（四）创建计算平均分单例对象

在net.ydl.rdd包里创建CalculateAverageBySQL单例对象

package net.ydl.rdd

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}


object CalculateAverageBySQL {
  def main(args: Array[String]): Unit = {
    // 创建Spark conf容器
    val spark: SparkConf = new SparkConf()
      .setAppName("CalculusAverageByRDD")
      .setMaster("local[*]")
    val sc: SparkContext = new SparkContext(spark)
    val lines: RDD[String] = sc.textFile("hdfs://master:9000/score/")
    //    lines.foreach(println)

    val top = lines.map(
      line => {
        val fields = line.split(" ")
        (fields(1), fields(2).toInt)

      }
    )
    // 对name进行分组，计算平均成绩
    val top2 = top.groupByKey().map(item => (item._1, item._2.sum / item._2.size))
    // 按照成绩排序并输出
    top2.collect.sortBy(row => row._2).reverse.foreach(row => println(row._1 + ":" + f"${row._2}%1.2f"))

  }

}

（五）运行程序，查看结果