2022.1.1 大数据学习02 Spark入门项目 快速上手

为了方便，将创建的新项目当成父项目，删除src

创建子项目

提示：这里可以添加要学的内容
例如：
1、 增加Scala插件
当jdk版本为1.8时，选用scala2.11.8
下载地址
https://www.scala-lang.org/download/2.11.8.html

2.WordCount 快速上手

2、 Scala的使用
添加依赖

	 
		 org.apache.spark
		 spark-core_2.12
		 3.0.0
	 


	 
	 
		 
		 net.alchim31.maven
		 scala-maven-plugin
		 3.2.2
		 
			 
				 
				 
				 	testCompile
				 
			 
		 
		 
		 
			 org.apache.maven.plugins
			 maven-assembly-plugin
			 3.1.0
			 
				 
				 	jar-with-dependencies
				 
			 
			 
				 
					 make-assembly
					 package
					 
					 	single
					 
				 
			 
		 
	 

提示：这里可以添加计划学习的时间

package com.test.bigdata.spark.core.wc

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark01_WordCount {
  def main(args: Array[String]): Unit = {
    //Application
    //Spark 框架

    //TODO 建立与Spark框架的连接
    //JDBC ：Connection
    val sparConf = new SparkConf().setMaster("local").setAppName("WordCount")
    val sc = new SparkContext(sparConf)
    //TODO 执行业务操作
    //1. 读取文件，获取一行一行的数据
    // hello world=>hello,world,hello,world
    val lines:RDD[String] = sc.textFile("data")
    //2.将一行数据进行拆分，形成一个一个的单词（分词）
    //将整体拆分成个体的扁平化操作
    val words:RDD[String] = lines.flatMap(_.split(" "))
    //3.将数据根据单词进行分组，便于统计
    //(h llo,hello,hello),(world,world)
    val wordGroup:RDD[(String,Iterable[String])] = words.groupBy(word => word)
    //4.对分组后的数据进行转换
    //(hello,hello,hello),(world,world)
    // (hello,3),(world,2)
    val wordToCount = wordGroup.map {
      case (word, list) => {
        (word, list.size)
      }
    }

    //5.将转换结果采集到控制台打印出来
    val array:Array[(String,Int)] = wordToCount.collect()
    array.foreach(println)
    //TODO 关闭连接
    sc.stop();
  }
}

效果

提示：这里统计学习计划的总量
例如：
1、spark代码
2、CSDN 技术博客1 篇