Spark入门程序(idea,scala)

工具idea 语言scala

spark编程入门程序

package com.doit.core
import org.apache.log4j.{Level, Logger}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}


object C01BaseDemo {
  //设置控制台打印日志的日志级别
  Logger.getLogger("org").setLevel(Level.ERROR)
  def main(args: Array[String]): Unit = {
    //1使用spark编程
    //首先 spark编程的入口 [环境]
    val conf = new SparkConf()
    //运行Master 设置程序名字
    
    conf
      .setMaster("local")
      .setAppName("date")
    //2.获取spark编程环境 SparkContext
    val context = new SparkContext(conf)
    //3.读取本地文件
    //RDD 可以理解成为Iterator(迭代器)
    val data: RDD[String] = context.textFile("doit-spark/data/a.txt")
    //4.调用方法(算子) 处理数据 [数据:理解成为迭代器]
    val res: RDD[String] = data.map(e => e + "-hello")
    //5.输出结果 /存储到磁盘/HDFS/mysql/打印
    res.foreach(println)
    //6.回收环境
    context.stop()
  }

}

注意:导包apache的包,内容解释都在注释里