flink报错踩坑：org.apache.flink.table.catalog.hive.client.HiveShimV100.registerTemporaryFunction

当想使用本地开发环境运行flink读写线上hive数据来运行时报错。我使用maven管理的开发环境依赖。由于代码发布到测试环境集群上跑时并没有报错，而测试环境对应的依赖都是使用放在上面的依赖jar的，并不使用本地maven管理的依赖（也就是没有打入项目jar）。所以我猜测是本地运行环境依赖有问题，也就是项目中maven的pom文件的依赖有问题。

在多次检查该项目中maven的pom文件导入的依赖和反复查看flink Table API Connector针对hive的官方文档后终于解决了问题。

下面是我处理问题的一些环境版本：

• flink 1.13.6
• hive 1.1.0-cdh5.15.1
• hadoop 2.6.0-cdh5.15.1

这两个问题主要原因是使用maven管理本地环境依赖时依赖没有使用正确。虽说原因很简单，但实际在我们使用排查的时候往往要花费大量的时间解决，而且官方文档的示例主要还是依据主流版本组件给的，所以直接寻找很难找到解决的办法。

Exception in thread “main” java.lang.NoSuchMethodError: org.apache.hadoop.hive.common.JavaUtils.closeClassLoadersTo(Ljava/lang/ClassLoader;Ljava/lang/ClassLoader;)Z
at org.apache.flink.table.planner.delegation.hive.HiveParser$HiveParserSessionState.close(HiveParser.java:397)
at org.apache.flink.table.planner.delegation.hive.HiveParser.clearSessionState(HiveParser.java:342)
at org.apache.flink.table.planner.delegation.hive.HiveParser.parse(HiveParser.java:210)
at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:704)
at com.medbook.foreign.ella.transform.ResOperationLog.transRes(ResOperationLog.java:39)
at com.medbook.foreign.ella.transform.ResOperationLog.main(ResOperationLog.java:45)

这个是在我maven的pom中使用如下依赖时产生的，只列出了重点的依赖，在最下面我会给出完整的flink连接hive读写的依赖

    8
    8
    1.13.6
    2.11
    1.1.0
    2.6.0



    
        org.apache.flink
        flink-connector-hive_${scala.binary.version}
        ${flink.version}
        
    

    
    
        org.apache.hive
        hive-exec
        ${hive.version}
        
    


    
    
        org.apache.hadoop
        hadoop-client
        ${hadoop.version}
        
    
 

我们可以看到hive、hadoop的版本时使用原生的版本，而我的集群环境的hive、hadoop版本都使用的时cdh版本所以报错了此种找不到某个方法的错误，这是由于兼容性问题。

    1.1.0
    2.6.0

随后我把它换成了如下的版本：

1.1.0-cdh5.15.12.6.0-cdh5.15.1

Exception in thread “main” java.lang.NullPointerException
at org.apache.flink.table.catalog.hive.client.HiveShimV100.registerTemporaryFunction(HiveShimV100.java:422)
at org.apache.flink.table.planner.delegation.hive.HiveParser.parse(HiveParser.java:207)
at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:704)
at com.medbook.foreign.ella.transform.ResOperationLog.transRes(ResOperationLog.java:37)
at com.medbook.foreign.ella.transform.ResOperationLog.main(ResOperationLog.java:43)

在我解决完错误一以后又爆出了错误二，看到错误我了解到可能是flink连接hive依赖的版本有问题。如下这个依赖：

    
        org.apache.flink
        flink-connector-hive_${scala.binary.version}
        ${flink.version}
        
    

我查阅了官方给的示例maven，如下图。心里想着没错啊，百思不得其解。

最后突然想到集群环境服务器上我是下载了flink指定hive版本的连接jar包，该不会是maven导入依赖下也需要指定把，于是我再次翻看了文章对应的内容。

然后我将依赖改为了下面的内容：

	org.apache.flink
	flink-sql-connector-hive-1.2.2_${scala.binary.version}
	${flink.version}
	

依赖竟然导入成功了，我想这次稳了，果然稳了，数据跑出来了。可以看出我把

flink-connector-hive_${scala.binary.version}

改成了

flink-sql-connector-hive-1.2.2_${scala.binary.version}

就是上面指定的hive版本的连接器jar，所以你们其他版本导入连接依赖时一定也要按照指定版本的来。

下面我的环境下连接hive的最简依赖pom，其他环境也类似，重点是官方示例没有给出的hadoop-client的环境依赖，为啥呢，是因为hive最后也还是要连接hadoop的。相当于我们本地环境需要连接集群的hadoop，所以需要有一个hadoop-client依赖，同时你的本地也配置了连接集群hadoop的hadoop包以及环境变量。而我们官网给出的示例是针对在线上集群环境下的依赖，本身就包含了flink-shaded-hadoop-2-uber-2.7.5-10.0.jar这种连接hadoop的依赖jar，所以就不需要给出啦！但我们本地环境当然需要我们自己配置了。

    
        book-data-warehouse
        com.medbook.warehouse
        1.0-SNAPSHOT
    
    4.0.0

    
        8
        8
        1.13.6
        2.11
        1.1.0-cdh5.15.1
        2.6.0-cdh5.15.1
    

    
    
        
        
            org.apache.flink
            flink-clients_${scala.binary.version}
            ${flink.version}
        

        
        
            org.apache.flink
            flink-sql-connector-hive-1.2.2_${scala.binary.version}
            ${flink.version}

        

        
            org.apache.flink
            flink-table-api-java-bridge_${scala.binary.version}
            ${flink.version}

        

        
            org.apache.flink
            flink-table-planner-blink_${scala.binary.version}
            ${flink.version}

        

        
        
            org.apache.hive
            hive-exec
            ${hive.version}

        

        
        
            org.apache.hadoop
            hadoop-client
            ${hadoop.version}

        

    

    

        
            
                org.apache.maven.plugins
                maven-compiler-plugin
                
                    1.8
                    1.8
                
            

            
                org.scala-tools
                maven-scala-plugin
                2.15.2
                
                    
                        
                            compile
                            testCompile
                        
                    
                
            

            
                org.apache.maven.plugins
                maven-shade-plugin
                2.4.3
                
                    
                        package
                        
                            shade
                        
                        
                            
                                
                                    *:*
                                    
                                        META-INF/*.SF
                                        META-INF/*.DSA
                                        META-INF/*.RSA
                                    
                                
                            
                            
                                
                                    
                                
                            
                        
                    
                
            


        
    

最后的提醒：由于大数据各组件纷繁，又存在各种版本以及操作依赖的兼容性，所以看官方给出的文档示例一定要举一反三，找到自己版本对应的依赖包、以及api，才能正确书写、并运行代码。