scala 的 jar 包提交的 spark 平台出现异常 java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize。
原因scala 工程打包时用的 scala version 和 spark 中的 scala version 不一样。
解决办法(1)查看 spark 中的 scala version
# 命令
spark-shell
# 结果
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://sh01:4040
Spark context available as 'sc' (master = local[*], app id = local-1654591145512).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_ / _ / _ `/ __/ '_/
/___/ .__/_,_/_/ /_/_ version 2.4.7
/_/
Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_141)
Type in expressions to have them evaluated.
Type :help for more information。
很明显:spark 中的 scala version 是 2.11.12 。
(2) 本地 scala 版本保持与 spark 中的一致
cs install scala:2.11.12 && cs install scalac:2.11.12
(3) 重新打包scala工程,并上传 jar包。



