关于Flume采集数据在hdfs形成大量小文件的处理方法

在我们使用Flume采集数据到hadoop上的时候，由于没有专门更改对应配置文件，容易造成hdfs小文件过多的现象。
这个时候我们就需要进入到Flume对应的配置文件里面更改hdfs对应的agent文件
将这个rollSize数据设置为128M大小即可，这样的话数据满了128 M才会滚动文件，将数据传输到hdfs上，这样的话大量临时小文件会统一放在一起打包到HDFS上。
当然也可以设置为其它大小，不过rollSize的大小默认为1M，设置为0 的话，就按照临时文件大小来上传。
当然HDFS的文件快大小为我们使用的hadoop3.x 的HDFS块大小为128M，故设置为128M比较妥当。