1、你是如何实现Flume数据传输的监控的
使用第三方工具Ganglia实时监控Flume,通过Ganglia工具页面展示的flume运行时的put和take数量对flume进行监控
2、Flume参数调优
1.Source
通过增加Source的个数增大Source的读取数据的能力;
batchSize参数决定Source一次批量运输到Channel的event条数,适当调大可以提高Source搬运event的性能。
2.Channel
memory 性能高,但是可能会造成数据丢失;File性能较差,但是数据相对安全。
3.sink
增加sink的个数可以增加event的消费能力,但是过多的sink也会占用系统资源;
调大batchSize参数,可以适当提高sink的性能
3、Flume采集数据会丢失吗?
使用Flume采集数据一般不会丢失数据,因为source到channel是事务的,channel到sink是事务的,所以source和sink中是不会丢失数据的,但是如果channel使用的memory的话可能在宕机,或者channel溢出后,会造成数据丢失。



