使用flume从kafka上传数据到hdfs不成功
问题描述
查看日志文件发现报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
报错图片:
原因分析：
一般这类问题，不是少jar包，那就是jar包冲突，大概率情况是hadoop的lib目录下的guava包和flume的lib下guava包冲突了,版本不一致就会报错(hadoop为高版本),直接把flume的guava删掉就OK了
但是!!!
我自己的都删掉了还是报错,后来仔细琢磨,自己写的时间戳拦截器然后打包放到lib里,冲突也只能是自己的的jar包冲突
回到ideal中查看maven依赖,果然发现了问题,依赖自己下载的是guava11.0的低版本,所以才会导致和hadoop里的guava包冲突
解决方案：
先在这个位置把低版本的guava删掉(我这里是已经下载好高版本的)
然后添加和hadoop版本一致(27.0)的依赖,然后等待ideal下载,然后再查看刚刚guava依赖的位置发现已经是高版本的了
然后打包放回flume里,完美解决!!!
