1.配置包
将apache-flume-1.6.0-bin.tar.gz flume配置包放入虚拟机的opt目录下
2.进入conf目录
1.进入到conf目录： /opt/apache-flume-1.6.0-bin/conf 2.将配置包放入到该目录下： 一下就是aa.conf 配置文件包 3.修改配置文件的输出路径： producer.sinks.sk1.hdfs.path=hdfs://jiaojianying:8020/flume/a01/%Y-%m-%d-%H 4.将hdfs的端口改为自己虚拟机的集群端口 5.在opt目录下创建 n01文件夹： mkdir n01 6.在n01目录下创建a.log日志文件： touch a.log 7.在a.log中随便写入一些字符
producer.sources = s1 producer.channels = c1 producer.sinks = sk1 producer.sources.s1.type = spooldir producer.sources.s1.spoolDir = /var/log/nginx producer.sources.s1.fileHeader = true producer.sources.s1.batchSize = 100 producer.channels.c1.type = memory producer.channels.c1.capacity = 1000000 producer.channels.c1.transactionCapacity = 10000 producer.sinks.sk1.type = hdfs producer.sinks.sk1.hdfs.path=hdfs://jiaojianying:8020/a01/%Y-%m-%d-%H producer.sinks.sk1.hdfs.filePrefix=events- producer.sinks.sk1.hdfs.fileSuffix = .log producer.sinks.sk1.hdfs.round = true producer.sinks.sk1.hdfs.roundValue = 1 producer.sinks.sk1.hdfs.roundUnit = minute producer.sinks.sk1.hdfs.fileType=DataStream producer.sinks.sk1.hdfs.writeFormat=Text producer.sinks.sk1.hdfs.rollInterval=1 producer.sinks.sk1.hdfs.rollSize=128 producer.sinks.sk1.hdfs.rollCount=0 producer.sinks.sk1.hdfs.idleTimeout=60 producer.sinks.sk1.hdfs.useLocalTimeStamp = true producer.sources.s1.channels = c1 producer.sinks.sk1.channel = c1
3.运行flume
bin/flume-ng agent -c conf -f /opt/kafka/conf/fk.conf -Dflume.root.logger=DEBUG,console -n a1
4.检验
运行完毕后进去50070端口检验 jiaojianying:8020/a01/%Y-%m-%d-%H 该目录下是否运行成功。
5.flume监控nginx日志目录到hdfs
1.将aa.conf 配置文件的sources的接受文件的路径修改为nginx生成日志的路径：/var/log/nginx
2.启动nginx 刷新生成日志。
3.进入到flume的bin目录下再次运行flume 检查nginx生成的日志是 否成功上传：
bin/flume-ng agent -c conf -f conf/aa.conf -Dflume.root.logger=DEBUG,console -n producer
6.再次检验
1.进入到hdfs的/flume/a01/%Y-%m-%d-%H 目录下检查是否上传成功。
7.替换定时任务器
有了flume采集器以后，将前期的定时任务器进行替换升级。
