栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

checkpoint

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

checkpoint

package com.shujia.core

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
import org.apache.spark.storage.StorageLevel

object Demo21checkpoint{
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf()
    conf.setAppName("Demo21checkpoint")
    conf.setMaster("local")

    val sc: SparkContext = new SparkContext(conf)

    //设置checkpoint的目录
    sc.setCheckpointDir("Spark/data/checkpoint")

    val stuRDD: RDD[String] = sc
      .textFile("Spark/data/students.txt")

    val mapStuRDD: RDD[String] = stuRDD
      .map(line => {
        println("=====读取了Student数据=====")
        line
      })

    //对多次使用的RDD进行cache 默认会将其缓存到内存中
   mapStuRDD.cache()

    //如果想要使用其他的缓存策略 需要适用persist()方法
    //mapStuRDD.persist(StorageLevel.MEMORY_ONLY)
    //mapStuRDD.persist(StorageLevel.MEMORY_AND_DISK_SER)

    
    mapStuRDD.checkpoint()

    //统计班级人数
    val clazzRDD: RDD[(String, Int)] = mapStuRDD
      .map(line => (line.split(",")(4), 1))

    val clazzCntRDD: RDD[(String, Int)] = clazzRDD
      .reduceByKey(_ + _)

    //打印
    clazzCntRDD.foreach(println)

    //统计性别人数
    val genderRDD: RDD[(String, Int)] = mapStuRDD
      .map(line => (line.split(",")(3), 1))

    val genderCntRDD: RDD[(String, Int)] = genderRDD
      .reduceByKey(_ + _)

    //打印
    genderCntRDD.foreach(println)

    //使用完了记得释放缓存的RDD
  mapStuRDD.unpersist()

    while(true){

    }
  }
}

package com.shujia.core

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object Demo22Acc {
  def main(args: Array[String]): Unit = {
    //累加器
    val conf: SparkConf = new SparkConf()
    conf.setAppName("Demo22Acc")
    conf.setMaster("local")

    val sc: SparkContext = new SparkContext(conf)

    //通过List构建RDD
    val intRDD: RDD[Int] = sc.parallelize(List(1, 2, 3, 4, 5))

    var localVal:Int=1

    intRDD
      .map(i=>{
        println(s"原来的值:$localVal")
        localVal += 1
        println(s"现在的值:$localVal")
        i*i
      }).foreach(println)
  }
}

原来的值:1
现在的值:2
1
原来的值:2
现在的值:3
4
原来的值:3
现在的值:4
9
原来的值:4
现在的值:5
16
原来的值:5
现在的值:6
25 

package com.shujia.core

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object Demo22Acc {
  def main(args: Array[String]): Unit = {
    //累加器
    val conf: SparkConf = new SparkConf()
    conf.setAppName("Demo22Acc")
    conf.setMaster("local")

    val sc: SparkContext = new SparkContext(conf)

    //通过List构建RDD
    val intRDD: RDD[Int] = sc.parallelize(List(1, 2, 3, 4, 5),2)

    var localVal:Int=1

    intRDD
      .map(i=>{
        println(s"原来的值:$localVal")
        localVal += 1
        println(s"现在的值:$localVal")
        i*i
      }).foreach(println)
  }
}

原来的值:1
现在的值:2
1
原来的值:2
现在的值:3
4

原来的值:1
现在的值:2
9
原来的值:2
现在的值:3
16
原来的值:3
现在的值:4
25

package com.shujia.core

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
import org.apache.spark.util.LongAccumulator

object Demo22Acc {
  def main(args: Array[String]): Unit = {
    //累加器
    val conf: SparkConf = new SparkConf()
    conf.setAppName("Demo22Acc")
    conf.setMaster("local")

    val sc: SparkContext = new SparkContext(conf)

    //通过List构建RDD
    val intRDD: RDD[Int] = sc.parallelize(List(1, 2, 3, 4, 5),2)

    var localVal:Int=1

    
    intRDD
      .map(i=>{
        
        println(s"原来的值:$localVal")
        localVal += 1
        println(s"现在的值:$localVal")
        i*i
      }).foreach(println)

    
    println(s"localVal的值为:$localVal")

  }
}

 原来的值:1
现在的值:2
1
原来的值:2
现在的值:3
4

原来的值:1
现在的值:2
9
原来的值:2
现在的值:3
16
原来的值:3
现在的值:4
25

localVal的值为:1

package com.shujia.core

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
import org.apache.spark.util.LongAccumulator

object Demo22Acc {
  def main(args: Array[String]): Unit = {
    //累加器
    val conf: SparkConf = new SparkConf()
    conf.setAppName("Demo22Acc")
    conf.setMaster("local")

    val sc: SparkContext = new SparkContext(conf)

    //通过List构建RDD
    val intRDD: RDD[Int] = sc.parallelize(List(1, 2, 3, 4, 5),2)

    var localVal:Int=1

    
    intRDD
      .map(i=>{
        
        println(s"原来的值:$localVal")
        localVal += 1
        println(s"现在的值:$localVal")
        i*i
      }).foreach(println)

    
    println(s"localVal的值为:$localVal")

    ///使用累加器
    //在算子外部(Driver端)定义
    val longAcc: LongAccumulator = sc.longAccumulator("longAcc")
    intRDD
      .map(i=>{
        //在算子内部使用累加器
        println(s"longAcc原来的值:${longAcc.value}")
        longAcc.add(1)
        println(s"longAcc现在的值:${longAcc.value}")
        i*i
      }).foreach(println)

    //在算子外部(Driver)获取最终的结果
    println(s"longAcc的值为:${longAcc.value}")
  }
}

 

原来的值:1
现在的值:2
1
原来的值:2
现在的值:3
4

原来的值:1
现在的值:2
9
原来的值:2
现在的值:3
16
原来的值:3
现在的值:4
25


localVal的值为:1


longAcc原来的值:0
longAcc现在的值:1
1
longAcc原来的值:1
longAcc现在的值:2
4


longAcc原来的值:0
longAcc现在的值:1
9
longAcc原来的值:1
longAcc现在的值:2
16
longAcc原来的值:2
longAcc现在的值:3
25


longAcc的值为:5

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/978573.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号