Spark RDD案例：统计每日新增用户

• 一、提出任务
• 二、完成任务
• • （一）新建Maven项目
  • （二）添加相关依赖和构建插件
  • （三）创建日志属性文件
• （四）创建计算平均分单例对象
• • （五）按键计数，得到每日新增用户数

• 已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名：

2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian

• 现需要根据上述数据统计每日新增的用户数量，期望统计结果：

2022-01-01,3
2022-01-02,1
2022-01-03,2

• 设置项目信息（项目名、保存位置、组编号、项目编号）
  

• 将java目录改成scala目录

• 在pom.xml文件里添加依赖与Maven构建插件

    4.0.0

    net.llj.spark
    SparkGradeTopNSQL
    1.0-SNAPSHOT

    
        8
        8
    

    
        
            org.scala-lang
            scala-library
            2.11.12
        
        
            org.apache.spark
            spark-core_2.11
            2.1.1
        
        
            org.apache.spark
            spark-sql_2.11
            2.1.1
        
    
    
        src/main/scala
        
            
                org.apache.maven.plugins
                maven-assembly-plugin
                3.3.0
                
                    
                        jar-with-dependencies
                    
                
                
                    
                        make-assembly
                        package
                        
                            single
                        
                    
                
            
            
                net.alchim31.maven
                scala-maven-plugin
                3.3.2
                
                    
                        scala-compile-first
                        process-resources
                        
                            add-source
                            compile
                        
                    
                    
                        scala-test-compile
                        process-test-resources
                        
                            testCompile
                        
                    
                
            
        
    

• 在资源文件夹里创建日志属性文件 - log4j.properties

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

• 在net.llj.rdd包里创建SparkRDDRows单例对象

package net.llj.rdd

import org.apache.spark.{SparkConf, SparkContext}

object SparkRDDRows {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("SparkRDDWordCount") //设置应用名称
      .setMaster("local[*]") //设置主节点位置


    //基于Spark配置对象创建Spark容器
    val rdd1 = new SparkContext(conf);
    val rdd2 = rdd1.textFile("hdfs://192.168.1.120:9000/data/time.txt") //读取文件
    val rdd3 =  rdd2.filter(line=> !line.isEmpty)
      .map(
        line =>{
          val fields = line.split(",")
          (fields(1),fields(0))
        }
      )
      .groupByKey()
      .map(line=>(line._2.min,1))

    val result = rdd3.countByKey()
    result.keys.foreach(key => println(key + "," + result(key)))

    //停止Spark容器，结束任务
    rdd1.stop()
  }
}