第一步：数据采集
从图中可以看出，我们分别再web服务器和slave1上部署Flume，再web服务器上agent的Source来源于nginx日志，经过channel传输到Sink，Sink将数据输出到slave1，Agent的Source，最终将数据上传到hdfs上。
第二步：部署Flume
之前写过Flume入门教程 可关注微信公众号“暗物质魂”，回复“Flume”,可获取相关资料和教程。
第三步：编写配置文件
再Flume安装目录下新建job文件夹,并进入该文件夹
web服务器 vim web1.conf
a1.sources=r1 a1.sinks=k1 a1.channels=c1 # Describe/configure the source a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /root/log/bloglog/ a1.sources.r1.fileSuffix = .COMPLETED a1.sources.r1.fileHeader = true a1.sinks.k1.type=avro a1.sinks.k1.hostname=slave1 a1.sinks.k1.port=45454 a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 a1.sources.r1.channels=c1 a1.sinks.k1.channel=c1
slave1服务器 vim slave2.conf
a2.sources=r1 a2.sinks=k1 a2.channels=c1 a2.sources.r1.type=avro a2.sources.r1.bind=slave1 a2.sources.r1.port=45454 # Describe the sink a2.sinks.k1.type = hdfs a2.sinks.k1.hdfs.path = hdfs://master:8020/flume/upload/%Y%m%d/%H #上传文件的前缀 a2.sinks.k1.hdfs.filePrefix = blogvue- #是否按照时间滚动文件夹 a2.sinks.k1.hdfs.round = true #多少时间单位创建一个新的文件夹 a2.sinks.k1.hdfs.roundValue = 1 #重新定义时间单位 a2.sinks.k1.hdfs.roundUnit = hour #是否使用本地时间戳 a2.sinks.k1.hdfs.useLocalTimeStamp = true #积攒多少个 Event 才 flush 到 HDFS 一次 a2.sinks.k1.hdfs.batchSize = 100 #设置文件类型，可支持压缩 a2.sinks.k1.hdfs.fileType = DataStream #多久生成一个新的文件 a2.sinks.k1.hdfs.rollInterval = 60 #设置每个文件的滚动大小大概是 128M a2.sinks.k1.hdfs.rollSize = 33554432 #文件的滚动与 Event 数量无关 a2.sinks.k1.hdfs.rollCount = 0 a2.channels.c1.type=memory a2.channels.c1.capacity=1000 a2.channels.c1.transactionCapacity=100 a2.sources.r1.channels=c1 a2.sinks.k1.channel=c1
启动flume先启动slave1的agent再启动wen服务器的agent
再Flume安装目录下slave1启动命令
bin/flume-ng agent -c conf/ -n a2 -f job/slave2.conf -Dflume.root.logger=INFO,console
web服务器启动命令
bin/flume-ng agent -c conf/ -n a1 -f job/web1.conf -Dflume.root.logger=INFO,console web
注意：两台服务器上必须配置好域名解析和免密登陆
上传测试文件
#随便复制一个测试文件到Flume的监控目录下
cp t.txt ./bloglog/
查看HDFS上结果
