Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
解决方法
代码中的spark版本依赖必须和集群spark版本一致 否则报如上错误。
我的服务器有两套不一样的spark集群版本因此命令有两个如下：
spark-submit
--class com.picc.cn.Spark2Hdfs
--master yarn
--deploy-mode client
--driver-memory 4g
--num-executors 10
--executor-memory 4g
--executor-cores 2
Spark2Hdfs.jar
spark2-submit
--class com.picc.streaming.SparkStreamingToHdfs
--master yarn
--deploy-mode client
--driver-memory 4g
--num-executors 10
--executor-memory 4g
--executor-cores 2
SparkStreamingToHdfs.jar
