大数据学习03 Spark入门项目 wordCount 不同的实现

2# 大数据学习03 Spark入门项目 wordCount 不同的实现

• 前言
• 一、聚合
• 二、代码实现
• • 第二种方式实现wordCount代码
• 总结

简述02的学习内容

1.建立与Spark框架的连接

    val sparConf = new SparkConf().setMaster("local").setAppName("WordCount")
    val sc = new SparkContext(sparConf)

2.按行读取文件目录

val lines:RDD[String] = sc.textFile("data")

3.扁平化操作，将一行数据拆分形成一个一个的单词

val words:RDD[String] = lines.flatMap(_.split(" "))

4.单词分组

val wordToCount = wordGroup.map {
      case (word, list) => {
        (word, list.size)
      }
    }

提示：以下是本篇文章正文内容，下面案例可供参考

代码如下（示例）：

package com.test.bigdata.spark.core.wc

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark02_WordCount {
  def main(args: Array[String]): Unit = {

    //TODO 建立与Spark框架的连接
    //JDBC ：Connection
    val sparConf = new SparkConf().setMaster("local").setAppName("WordCount")
    val sc = new SparkContext(sparConf)
    //TODO 执行业务操作

    val lines: RDD[String] = sc.textFile("data")


    val words: RDD[String] = lines.flatMap(_.split(" "))

    val wordToOne = words.map(
      word => (word, 1)
    )

    val wordGroup: RDD[(String, Iterable[(String, Int)])] = wordToOne.groupBy(t => t._1)

    val wordToCount = wordGroup.map {
      case (word, list) => {


        list.reduce(
          (t1, t2) => {
            (t1._1, t1._2 + t2._2)
          }
        )


      }
    }

    //5.将转换结果采集到控制台打印出来
    val array: Array[(String, Int)] = wordToCount.collect()
    array.foreach(println)
    //TODO 关闭连接
    sc.stop();
  }
}

提示：这里对文章进行总结：
因为笔者才开始接触这方面的技术，没有大数据相关的基础，所以还有许多不理解的地方，接下来会先进性scala和lambda的学习