栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

实战思路-解决Hadooop生态圈的兼容问题

实战思路-解决Hadooop生态圈的兼容问题

在使用Hadoop生态开源软件过程中,不同软件的版本不兼容是经常出现的问题,主要表现为项目代码在编译的过程中出现:ClassNotFound或者NoSuchMethod的异常。

ClassNotFoundError:

NoSuchMethodError:

这些错误绝大部分情况下是由于不同软件版本的不兼容导致的,比如Hive3.1.2与Spark3不兼容。

Hive3.1.2兼容Spark2,在Hive源码的包中,可以查看到其pom中的spark依赖是2.4.5,也就是说Hive3.1.2使用了Spark2.4.5中的Api,但在项目环境中,只有Spark3的jar包,而Spark3已经对Spark2进行了修改,修改包含对类的删除和方法声明的修改,在这种情况下,编译项目时就会出现上述错误。

解决办法: 一,将spark jar包替换为2.4.5

这种方法最简单直接,但有时并不可行,出现按下葫芦浮起瓢的情况,解决了这个报错,又出现另一个类似的错误,主要是因为其他软件依赖的是spark3。这样的话,就只能走第二种解决方法。

二,编译Hive源码,将其spark依赖改为Spark3

在这个过程中,可以会出现错误,比如之前提到的两个找不到类和方法,修改源码就是唯一的解决方法,庆幸的是,大多数情况下,这种修改不会特别复杂。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/630458.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号