栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

java.lang.ClassCastException在远程服务器上的Spark作业中使用Lambda表达式

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

java.lang.ClassCastException在远程服务器上的Spark作业中使用Lambda表达式

您在这里遇到的是一个后续错误,该错误掩盖了原始错误。

序列化lambda实例时,它们用于

writeReplace
从作为
SerializedLambda

实例的持久形式中分解其JRE特定实现。当
SerializedLambda
实例已恢复,它的
readResolve
方法将被调用来重建适当的拉姆达实例。如文档所述,它将通过调用定义原始lambda的类的特殊方法来做到这一点。重要的一点是,需要原始类,而这正是您的情况所缺少的。

但是,……有……的特殊行为

ObjectInputStream
。当遇到异常时,它不会立即纾困。它将记录异常并继续该过程,标记当前正在读取的所有对象,从而也将错误对象也视为错误对象。仅在该过程结束时,它才会引发遇到的原始异常。使它如此奇怪的是,它还将继续尝试设置这些对象的字段。但是,当您查看方法
ObjectInputStream.readOrdinaryObject
行1806时:

…    if (obj != null &&        handles.lookupException(passHandle) == null &&        desc.hasReadResolveMethod())    {        Object rep = desc.invokeReadResolve(obj);        if (unshared && rep.getClass().isArray()) { rep = cloneArray(rep);        }        if (rep != obj) { handles.setObject(passHandle, obj = rep);        }    }    return obj;}

您会看到报告异常

readResolve
时它不会调用该方法。但是,如果没有发生替换,那么继续尝试设置引荐来源网址的字段值不是一个好主意,但这正是此处发生的情况,因此生成了一个。
lookupException``null``ClassCastException

您可以轻松重现该问题:

public class Holder implements Serializable {    Runnable r;}public class Defining {    public static Holder get() {        final Holder holder = new Holder();        holder.r=(Runnable&Serializable)()->{};        return holder;    }}public class Writing {    static final File f=new File(System.getProperty("java.io.tmpdir"), "x.ser");    public static void main(String... arg) throws IOException {        try(FileOutputStream os=new FileOutputStream(f); ObjectOutputStream   oos=new ObjectOutputStream(os)) { oos.writeObject(Defining.get());        }        System.out.println("written to "+f);    }}public class Reading {    static final File f=new File(System.getProperty("java.io.tmpdir"), "x.ser");    public static void main(String... arg) throws IOException, ClassNotFoundException {        try(FileInputStream is=new FileInputStream(f); ObjectInputStream ois=new ObjectInputStream(is)) { Holder h=(Holder)ois.readObject(); System.out.println(h.r); h.r.run();        }        System.out.println("read from "+f);    }}

编译这四个类并运行

Writing
。然后删除类文件
Defining.class
并运行
Reading
。然后你会得到一个

Exception in thread "main" java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field test.Holder.r of type java.lang.Runnable in instance of test.Holder    at java.io.ObjectStreamClass$FieldReflector.setObjFieldValues(ObjectStreamClass.java:2089)    at java.io.ObjectStreamClass.setObjFieldValues(ObjectStreamClass.java:1261)

(测试1.8.0_20)


最重要的是,一旦了解了序列化问题,您可能会忘记此序列化问题,解决问题所要做的就是确保定义lambda表达式的类在lambda所在的运行时中也可用反序列化。

直接从IDE运行Spark Job的示例(默认情况下,spark-submit分发jar):

SparkConf sconf = new SparkConf()  .set("spark.eventLog.dir", "hdfs://nn:8020/user/spark/applicationHistory")  .set("spark.eventLog.enabled", "true")  .setJars(new String[]{"/path/to/jar/with/your/class.jar"})  .setMaster("spark://spark.standalone.uri:7077");


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/394840.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号