栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Scala避坑:Caused by: java.io.IOException: unexpected exception type

Scala避坑:Caused by: java.io.IOException: unexpected exception type

问题描述:

本地利用sbt打包上传到服务器集群上运行,报错:Caused by: java.io.IOException: unexpected exception type。
本地环境Scala本版2.12.15,spark版本2.3.2。
本文的报错代码是:

val data = df.where("key=val1").first()
解决方案:

在网上找了很多解决办法,替换函数等各种尝试,结果都没能解决问题。最后发现是因为Scala版本不一致导致的问题。
检查服务器上的Scala版本是2.11.8的,将本地的Scala卸载换成和服务器上的版本一样,重新sbt打包。上传服务器运行并成功解决问题。

总结:很多情况都会遇到版本不一致而出现不可预期的问题,比如python也有非常严重的版本适配问题。所以,为了避免出现一些奇奇怪怪的问题,在开发过程中一定要保持各环境版本的一致性。这样能免了很多烦恼。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/714287.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号