栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink提交jar(带依赖)出现找不到类NoClassDefFoundError+ClassNotFoundException、类冲突NoMatching.....,的解决办法

Flink提交jar(带依赖)出现找不到类NoClassDefFoundError+ClassNotFoundException、类冲突NoMatching.....,的解决办法

Flink提交jar(带依赖)出现找不到类NoClassDefFoundError+ClassNotFoundException、类冲突NoMatching…,的解决办法 博主结合以下文章进行了总结

官方文档
Flink官方文档

阿里云开发者社区

Datastream 开发打包问题

阿里云云栖号CSDN博客
Datastream 开发打包问题

Flink程序打包,要遵顼以下要求

    Hadoop依赖不打包。

    使用Table API 带多个flink-connector-xxx.jar,需要自定特定的Maven打包插件,由于flink-connector-xxx.jarr包中含有相同的类名(比如jdbc、hive、kafka等)。

    Flink核心依赖不需要打包

下面为我提供的Maven的pom给出参考


    
        xxxx
        com
        1.0-SNAPSHOT
    
    4.0.0

    xxxxxxx
    1.0-SNAPSHOT
    
        1.12.1
        2.11
        UTF-8
        1.8
        ${target.java.version}
        ${target.java.version}
        2.12.1
    
    

        
        
            org.apache.flink
            flink-java
            ${flink.version}
            provided
        
        
            org.apache.flink
            flink-clients_${scala.binary.version}
            ${flink.version}
            provided
        
        
            org.apache.flink
            flink-streaming-java_${scala.binary.version}
            ${flink.version}
            provided
        
        
            org.apache.flink
            flink-table-planner_${scala.binary.version}
            ${flink.version}
            provided
        
        
            org.apache.flink
            flink-table-api-java-bridge_${scala.binary.version}
            ${flink.version}
            provided
        
        
            org.apache.flink
            flink-table-planner-blink_${scala.binary.version}
            ${flink.version}
            provided
        


        
        
            org.apache.flink
            flink-connector-hive_${scala.binary.version}
            ${flink.version}
        
        
            org.apache.flink
            flink-connector-jdbc_${scala.binary.version}
            ${flink.version}
        


        
        
            mysql
            mysql-connector-java
            5.1.44
        
        
            commons-beanutils
            commons-beanutils
            1.9.3
        


        
        
            org.apache.hadoop
            hadoop-client
            3.1.3
            provided
        


        
       
            org.apache.hive
            hive-exec
            ${hive.version}
            
                
                    org.apache.calcite
                    calcite-core
                
                
                    org.apache.calcite
                    calcite-druid
                
                
                    org.apache.calcite.avatica
                    avatica
                
            
        
        
            org.apache.hive
            hive-jdbc
            3.1.2
            
                
                    org.glassfish
                    javax.el
                
            
        


        
        
            org.apache.logging.log4j
            log4j-slf4j-impl
            ${log4j.version}
            runtime
        
        
            org.apache.logging.log4j
            log4j-api
            ${log4j.version}
            runtime
        
        
            org.apache.logging.log4j
            log4j-core
            ${log4j.version}
            runtime
        



    
    
        
            
                org.apache.maven.plugins
                maven-compiler-plugin
                3.1
                
                    ${target.java.version}
                    ${target.java.version}
                
            
            
                org.apache.maven.plugins
                maven-shade-plugin
                3.1.1
                
                    
                    
                        package
                        
                            shade
                        
                        
                            
                                
                                    org.apache.flink:force-shading
                                    com.google.code.findbugs:jsr305
                                    org.slf4j:*
                                    org.apache.logging.log4j:*
                                
                            
                            
                                
                                    *:*
                                    
                                        meta-INF/*.SF
                                        meta-INF/*.DSA
                                        meta-INF/*.RSA
                                    
                                
                            
                            


                                
                                


                                
                                
                                    com.MysqlToHiveSql
                                


                            
                        
                    
                
            
        
    


有问题,可以在评论处提出
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/746614.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号