flume两种简单功能配置

• 示例1
• • • 实现功能
  • （1）编写配置文件
  • （2）启动Flume Agent
  • （3）测试
• 示例2
• • • 实现功能
  • （1）修改配置文件
  • （2）启动Flume Agent
  • （3）测试
  • （4）查看结果

前提：flume已成功安装且已正确配置相应的环境变量

监控指定目录，当目录有新的日志文件产生时，把日志一行一行打印到控制台。

创建和修改配置文件。

cd /opt/module/apache-flume-1.8.0-bin/conf
vi agent1.conf

输入以下内容。

#1、定义Agent名称、Source、Channel、Sink的名称
agent1.sources = source1
agent1.channels = channel1
agent1.sinks = sink1

#2、配置channel组件属性
agent1.channels.channel1.type = memory

#2、配置source组件属性
agent1.sources.source1.channels = channel1
agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /home/flume/flumetest1

#2、配置sink组件属性
agent1.sinks.sink1.channel = channel1
agent1.sinks.sink1.type = logger

(在apache-flume-1.8.0-bin文件夹下）
bin/flume-ng agent -n agent1 -c conf -f conf/agentconf -Dflume.root.logger=INFO,console

在/home/flume/flumetest1 目录下模拟生成新的日志文件（目录提前创建）
Echo "Hello Flume."> test.log

结果图如下

内容写入Channel后文件被标记，增加“.COMPLETED”的后缀。

监控指定目录，当目录有新的文件产生时，把日志保存到HDFS中。

输入以下内容

#1、定义Agent名称、Source、Channel、Sink的名称
agent2.sources = source2
agent2.channels = channel2
agent2.sinks = sink2

#2、配置channel组件属性
agent2.channels.channel2.type = memory
agent2.channels.channel2.capacity = 10000
agent2.channels.channel2.transactionCapacity = 100

#2、配置source组件属性
agent2.sources.source2.channels = channel2
agent2.sources.source2.type = spooldir
agent2.sources.source2.spoolDir = /home/flume/flumetest2

#定义拦截器，为消息添加时间戳
agent2.sources.source2.interceptors = i1
agent2.sources.source2.interceptors.i1.type = org.apache.flume.interceptor.TimestampInt
erceptor$Builder

#2、配置sink组件属性
agent2.sinks.sink2.channel = channel2
agent2.sinks.sink2.type = hdfs
agent2.sinks.sink2.hdfs.path = hdfs://node0:9000/flume/%Y%m%d
agent2.sinks.sink2.hdfs.filePrefix = events-
agent2.sinks.sink2.hdfs.fileType = DataStream

#不按照条数生成文件
agent2.sinks.sink2.hdfs.rollCount = 0

#HDFS上的临时文件达到128MB时生成一个HDFS文件
agent2.sinks.sink2.hdfs.rollSize = 134217728

#HDFS上的临时文件间隔60秒时生成一个HDFS文件
agent2.sinks.sink2.hdfs.rollInterval = 60

执行以下命令
bin/flume-ng agent -n agent2 -c conf -f conf/agent2.conf -Dflume.root.logger=INFO,console

新开一个窗口，在/home/flume/flumeteat2 目录下模拟产生新的日志文件(事先新建目录）
echo "Hello Flume." > test12.log

hdfs dfs -lsr /flume

或者

本文仅作学习分享，参考资料已在文章结尾标明

[1]杨治明,许桂秋.Hadoop大数据技术与应用[M].北京:人民邮电出版社,2021:207-209.