Spark - ml.dmlc.xgboost4j / spark 版本匹配与 NoSuchMethodError 解决

spark 项目引入 ml.dmlc.xgboost4j 训练并读取 xgboost 模型，load 模型期间报错 NoSuchMethodError，通过源码的分析得到 xgboost 与 spark 版本对应关系。

xgboost 依赖：

        
            ml.dmlc
            xgboost4j-spark
            $version
        

spark 依赖：

        
            org.apache.spark
            spark-mllib_2.11
            $version
        

对应关系：

使用 xgboost 时需要保证 spark 版本大于等于下表对应 spark 版本

由于使用的 xgboost 的 spark 版本与实验环境 spark 版本不一致，排了半天依赖冲突的错误，博主 spark 环境为 2.4.5。

起初使用 0.70 版本的 Xgboost，执行后报错 Error: org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/JsonInput;Z)Lorg/json4s/JsonAST$JValue，上面日志的报错信息多了 shaded 标识，因为起初认为是依赖冲突才导致的 NosuchMethod，但是发现 shaded 重定向后依然不生效才把问题锁定到 Spark 版本依赖而非 org.json4s.jackson 依赖冲突。

既然冲突来源于 Spark 版本依赖，那么只需寻找适配 spark = 2.4.5 的 xgboost 版本即可。提高版本执行后报错 java.lang.NoSuchMethodError: org.apache.spark.ml.util.MLReadable.$init$(Lorg/apache/spark/ml/util/MLReadable;)V。

当然使用二分法一个一个试 xgboost 的版本也是没有问题的，但是不够优雅，所以决定查看 Xgboost 源码，寻找其 jar 包编译对应的 spark 版本，登录 xgboost 的 Github 查看其 java-package 中对应的 pom 文件获取其编译对应的 spark 版本，选择不同的 release 版本即可。

关于 NosuchMethodError 这个错，之前已经总结过两篇文章：解决汇总V1，解决汇总V2 ，加上这篇文章一共三篇，几乎覆盖了本地和集群执行几种常见的 NoSuchMethod 的解决方法，总的来说还是先定位再解决比较省事，常见的问题和解决方案如下：

A.Exclude 去除多余依赖

常见于 A.jar B.jar 拥有相同方法名，例如都拥有 com.xxx.run 方法，就会报错

B.Relocation 重定向方法名

场景同上，多见于同一方法名存放在项目依赖的不同 dependency 中

C.执行 Jar 包高低版本

同一项目，但在不同 dependency 中存在高低版本，就会报错，例如 v1，v2 版本都有 com.xxx.run 方法，需要对高低版本进行取舍，保留其一

D.执行环境高低版本

同一项目，不同 dependency 编译的 spark 环境 or 其他执行环境不同，就会报错，例如上面提到的 xgboost 场景，这时候需要保持执行环境一致才能解除报错

E.Java 虚拟机高低版本

项目按 java 1.8/8 编译，但执行环境为 1.7/7 ，常见于 java -c 本地执行任务，将 java 环境统一即可解决问题

通过查询源码编译版本，最终任务在 Spark = 2.4.5 / Xgboost = 0.90 的版本下执行成功，非常的奈斯 