栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flume应用(负载均衡)

flume应用(负载均衡)

第一步:

开启hadoop

strat-all.sh
flume应用 负载均衡

第一步:

开启hadoop

strat-all.sh

第二步:

上次只在第一台配置了flume 需要传输给其他两台。

scp -r /export/servers/apache-flume-1.9.0-bin/ root@hd2:/export/servers/
scp -r /export/servers/apache-flume-1.9.0-bin/ root@hd3:/export/servers/

接下来配置负载均衡,其实只要配置文件。

exec-avro.conf 这个文件 上传到 /export/servers/apache-flume-1.9.0-bin/conf

修改这个文件,

下一步:

avro-logger.conf 这个文件 上传 到 hd2 的 /export/servers/apache-flume-1.9.0-bin/conf

需要修改

下一步:

第三台一样,avro-logger.conf 这个文件上传 记得改名字


开始启动:

必须先启动hd2 hd3 在启动hd1 , 回到hd2 /export/servers/apache-flume-1.9.0-bin/

bin/flume-ng agent -c ./conf -f ./conf/avro-logger.conf -n a1 -Dflume.root.logger=INFO,console

第三台也一样。回到flume的根目录执行。

bin/flume-ng agent -c ./conf -f ./conf/avro-logger.conf -n a1 -Dflume.root.logger=INFO,console

最后,开启第一台

也是回到flume的根目录执行。这个是exec-avro

bin/flume-ng agent -c ./conf -f ./conf/exec-avro.conf -n a1 -Dflume.root.logger=INFO,console

根目录下必须有logs文件夹。

hd1 执行 //每隔三秒写入

while true;do echo "access access ....">>/root/logs/123.log;sleep 3;done

成功,随机找一台空闲时间的主机进行传输。有可能是hd2 也有可能是hd3

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/632987.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号