栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flume配置

Flume配置

一、解压

将压缩包拉入software下,如图所示。注:有的不是放在software下面,但步骤是一样的

 切到software进行解压,解压至module下 注:空格及解压的路径不能出错,C要大写。有的解压位置不在module,那就把module换成你要解压的文件下。(z: 表示 tar 包是被 gzip 压缩过的。x: 从 tar 包中把文件提取出来。v: 显示详细信息。f: 指定被处理的文件)

cd /opt/software
tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/

解压后可以去module(自己解压的位置)里面查看是否解压成功

 二、添加系统环境变量
vi /etc/profile

注 :FLUME_HOME=后面跟的是自己的路径,因为我的在opt/module下所以我的路径是这个(有的解压位置不是这个就按你的解压路径复制上去(Moba不支持Ctarl+c/v。右击Copy复制paste粘贴))

保存并退出

先按Esc
:wq

 退出之后读取并执行

source /etc/profile

三、修改Flume环境变量

切到cd /opt/module/apache-flume-1.9.0-bin/conf/下    注 :红色标注的是自己的路径

 拷贝环境变量文件

cp flume-env.shtemplate flume-env.sh

编辑flume-env.sh

vi flume-env.sh

进来以后(直接打/JAVA_HOME可以快速找到我们要更改的位置 )

下面是更改后的代码截图(等号后面的是自己的路径跟jdk的版本)

 四、配置文件

拷贝配置文件

cp flume-conf.properties.template flume-client.properties

vi编辑

vi flume-client.properties

添加内容如下

 五、启动

注:-n: agent 名称   -c:配置文件路径conf    -f:配置文件名称

flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console

六、集群拷贝

注意:root@Hadoop101:/opt/module/

红色标明的是你要拷贝的虚拟机名字

蓝色标记的是你要拷贝到那个目录下

scp -r /usr/local/soft/apache-flume-1.9.0-bin root@Hadoop101:/opt/module/
scp -r /usr/local/soft/apache-flume-1.9.0-bin root@Hadoop102:/opt/module/

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/653952.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号