栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark写hive报错 (Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1)

spark写hive报错 (Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1)

Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1

业务场景:spark 抽取ck数据进Hive
结论:CDH 自带的hive 版本和hadoop支持的hive 版本对应不上 导致报错
办法:
1:去掉pom文件中的hive 依赖(去掉依赖的话 本地执行会报错 但是线上不会报错)





2:有看到有人说把这个依赖换成:(这个我没有测试过 不太确定的是否正确 核心应该是把版本号 改成 2.1.1-cdh6.2.1 类似于这种)


    org.apache.hive
    hive-serde
    2.1.1-cdh6.2.1


    org.apache.hive
    hive-exec
    2.1.1-cdh6.2.1
    
        
            org.apache.avro
            avro
        
    


    org.apache.hive.hcatalog
    hive-hcatalog-core
    2.1.1-cdh6.2.1
    
        
            org.apache.avro
            avro
        
    

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/628839.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号