闭包检查
从计算的角度, 算子以外的代码都是在 Driver 端执行, 算子里面的代码都是在 Executor]端执行。那么在 scala 的函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭包的效果，如果使用的算子外的数据无法序列化，就意味着无法传值给 Executor端执行，就会发生错误，所以需要在执行任务计算前，检测闭包内的对象是否可以进行序列化，这个操作我们称之为闭包检测。Scala2.12 版本后闭包编译方式发生了改变。
序列化方法和属性
从计算的角度, 算子以外的代码都是在 Driver 端执行 val user = new User(100);, 算子里面的代码都是在 Executor端执行。
异常案例import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object SerErrorCase {
def main(args: Array[String]): Unit = {
val cf: SparkConf = new SparkConf().setAppName("SerCase").setMaster("local[*]")
val sc = new SparkContext(cf)
val value: RDD[Int] = sc.makeRDD(List(1, 1, 1, 1))
val user = new User(100);
val value1: RDD[Int] = value.map(num => {
num + user.age
})
value1.collect().foreach(println)
}
class User(num: Integer) {
val age = 2 + num
}
}
成功案例
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object SerCase {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf().setAppName("SerCase").setMaster("local[*]")
val sc = new SparkContext(conf)
val value: RDD[Int] = sc.makeRDD(List(1, 1, 1, 1))
val user = new User(100);
val value1: RDD[Int] = value.map(num => {
num + user.age
})
value1.collect().foreach(println)
}
class User(num: Integer) extends Serializable {
val age = 2 + num
}
}
