Spark RDD案例：统计每日新增用户

• 一、提出任务
• 二、完成任务
• • （一）新建Maven项目
  • （二）添加相关依赖和构建插件
  • （三）创建日志属性文件
  • （四）创建统计每日新增用户单例对象
  • （五）本地运行程序，查看结果

• 已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名：

2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian

• 现需要根据上述数据统计每日新增的用户数量，期望统计结果

2022-01-01,3
2022-01-02,1
2022-01-03,2

• 即2022-01-01新增了3个用户（分别为mike、alice、brown），2022-01-02新增了1个用户（green），2022-01-03新增了两个用户（分别为smith、brian）。
• 预备工作：启动集群的HDFS与Spark
  
• 在虚拟机创建user.txt文件
  
• 将user.txt上传到HDFS/input目录下
  
  

• 设置项目类型
  
• scala 目录（用的以前的gif不会影响）
  

• 在pom.xml 添加依赖

    4.0.0

    net.cch.sql
    SparkSQL
    1.0-SNAPSHOT

    
        8
        8
    

    
        
            org.scala-lang
            scala-library
            2.11.12
        
        
            org.apache.spark
            spark-core_2.11
            2.1.1
        
        
            org.apache.spark
            spark-sql_2.11
            2.1.1
        
    
    
        src/main/scala
        
            
                org.apache.maven.plugins
                maven-assembly-plugin
                3.3.0
                
                    
                        jar-with-dependencies
                    
                
                
                    
                        make-assembly
                        package
                        
                            single
                        
                    
                
            
            
                net.alchim31.maven
                scala-maven-plugin
                3.3.2
                
                    
                        scala-compile-first
                        process-resources
                        
                            add-source
                            compile
                        
                    
                    
                        scala-test-compile
                        process-test-resources
                        
                            testCompile
                        
                    
                
            
        
    

• 添加log4j.properties日志文件
  

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

• net.cch.rdd包里创建StatisticsUsers单例对象
  

package net.cch.rdd

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}


object StatisticsUsers {
  def main(args: Array[String]): Unit = {
    // 创建Spark conf容器
    val spark: SparkConf = new SparkConf()
      .setAppName("CalculusAverageByRDD")
      .setMaster("local[*]")
    val sc: SparkContext = new SparkContext(spark)
    val lines = sc.textFile("hdfs://master:9000/input/user.txt")
    //lines.collect.foreach(println)
    //互换RDD中的元素顺序
    val value = lines.map(
      line =>{
        val fields = line.split(",")
        val name = fields(1)
        val time = fields(0)
        (name,time)
      }
    )
    // 对姓名分组
    val nameGB = value.groupByKey().map(
      line => {
        val time = line._2.min
        val name = line._1
        (time,name)
      }
    )
    // 按键计数,得到每日新增数
    val CB = nameGB.countByKey()
    CB.keys.foreach(key => println(key + "," + CB(key)))


    // 关闭容器
    sc.stop()
  }
}

• 结果如下