栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

broadCast、cache、checkpoint、累加器

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

broadCast、cache、checkpoint、累加器

broadCast

def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local[*]").setAppName(this.getClass.getName)
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")

    //
    val set = Set("hello")
    val broadcast: Broadcast[Set[String]] = sc.broadcast(set)

    val rdd1: RDD[String] = sc.textFile("hdfs://hadoop10:9000/a.txt")
  rdd1.flatMap(_.split(" ")).filter(v => {
    //通过广播变量获取set集合
    broadcast.value.contains(v)
  }).collect().foreach(println)

  }

cache

def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local[*]").setAppName(this.getClass.getName)
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")

    //cache 缓存机制,可以将前面的计算结果缓存,当rdd的计算结果再此被调用时,可以直接从缓存中获取,不必重复计算,提升效率
    //val rdd1: RDD[String] = sc.makeRDD(List("张三")).map(_ + System.currentTimeMillis())  //输出结果不一样
    val rdd1: RDD[String] = sc.makeRDD(List("张三")).map(_ + System.currentTimeMillis()).persist() //输出结果一样,说明存在缓存机制
      rdd1.foreach(println)
      rdd1.foreach(println)
  }

checkpoint

object checkPoint {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local[*]").setAppName(this.getClass.getName)
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")

    //
    sc.setCheckpointDir("hdfs://hadoop10:9000/rdd-checkpoint")
    val rdd1: RDD[String] = sc.makeRDD(List("张三")).map(_ + System.currentTimeMillis())
    rdd1.checkpoint() //
    rdd1.foreach(println)
    rdd1.foreach(println)
    rdd1.foreach(println)
  }
}

累加器

object accumulators {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local[*]").setAppName(this.getClass.getName)
  val sc = new SparkContext(conf)
  sc.setLogLevel("WARN")

    //实时累加,executer端对对分区内数据做累加,然后将数据拉取到Driver端做分区间累加
    var count = sc.longAccumulator("c1")
     sc.makeRDD(1 to 5).foreach(v => count.add(v))
    sc.makeRDD(1 to 6).foreach(v => count.add(v))
    println(count)
    sc.stop()
  }
}

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/963342.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号