栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flume(三)面试题

Flume(三)面试题

1、你是如何实现Flume数据传输的监控的

​ 使用第三方工具Ganglia实时监控Flume,通过Ganglia工具页面展示的flume运行时的put和take数量对flume进行监控

2、Flume参数调优

​ 1.Source

​ 通过增加Source的个数增大Source的读取数据的能力;

​ batchSize参数决定Source一次批量运输到Channel的event条数,适当调大可以提高Source搬运event的性能。

​ 2.Channel

​ memory 性能高,但是可能会造成数据丢失;File性能较差,但是数据相对安全。

​ 3.sink

​ 增加sink的个数可以增加event的消费能力,但是过多的sink也会占用系统资源;

​ 调大batchSize参数,可以适当提高sink的性能

3、Flume采集数据会丢失吗?

​ 使用Flume采集数据一般不会丢失数据,因为source到channel是事务的,channel到sink是事务的,所以source和sink中是不会丢失数据的,但是如果channel使用的memory的话可能在宕机,或者channel溢出后,会造成数据丢失。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/652225.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号