记一次Spark和Hbase的netty冲突

主要日志信息

Exception in thread “main” java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;

这个是由于hbase和spark的netty-all依赖不同的版本引起的：

例如：pom文件中,hbase在spark core的前面

        org.apache.hbase
        hbase-client
        1.4.9
        provided
    
    
        org.apache.spark
        spark-core_2.12
        2.4.4
        provided
    

此时就会出现，spark和hbase 的netty的冲突 就会报 bug

dependencyManagement标签中如果定义了重复依赖的版本，则导入此版本。
如果dependencyManagement中没有定义重复依赖的版本，则利用最短路径原则：

1，比如有如下两个依赖关系：
A -> B -> C -> D(V1)
F -> G -> D(V2)
这个时候项目中就出现了两个版本的D，这时maven会采用最短路径原则，选择V2版本的D，因为V1版本的D是由A包间接依赖的，整个依赖路径长度为3，而V2版本的D是由F包间接依赖的，整个依赖路径长度为2。

2，如果重复依赖的路径长度是相同的，则使用声明优先原则。比如：
A -> B -> D(V1)
F -> G -> D(V2)
这个时候因为两个版本的D的依赖路径都是一样长，最短路径原则就失效了。这个时候Maven的解决方案是：按照依赖包在
pom.xml中声明的先后顺序，优先选择先声明的包。

再看上面的pom.xml导入的依赖，没有定义dependencyManagement标签。所以使用最短路径原则。
对于netty-all依赖，hbase-client和spark-core的依赖路径长度都是1，所以使用声明优先原则，
所以使用hbase-client中定义的netty-all依赖版本4.1.8。（上图中显示的spark-core依赖的nettt-all的版本是错误的，应该是4.1.17）。

由于最终导入了hbase-client依赖的4.1.8版本的netty-all，所以spark-core中的代码无法使用4.1.17版本中的函数，最终导致报错，找不到函数。

1,首先，把spark-core的包放在 hbase-client的前面，此时的依赖关系

2，把hbase-client的netty-all用标签排除

 
            org.apache.hbase
            hbase-server
            ${hbase.version}
            
                
                    netty-all
                    io.netty
                
            

3,然后定义dependencyManagement标签，声明netty-all版本

        
            
                io.netty
                netty-all
                4.1.18.Final
            
        

参考：
原文链接：https://blog.csdn.net/qq_41775852/article/details/105754222