大数据分析数据仓库项目实战(实时数据仓库架构)

一、数据采集服务

日志数据从nginx到kafka, 有两种方式：
一种是nginx直接写到kafka，需要安装nginx-kafka插件，安装过程见 nginx-kafka的安装使用
另一种是，通过OpenResty收集数据，flume采集落地，再传给kafka，OpenResty安装过程见 OpenResty安装使用。

2、编写nginx-kafka.conf

在nginx所在的机器上安装Flume，使用TailDirSource和KafkaChannel将数据采集到Kafka中，不需要sink。

a1.sources = r1
a1.channels = c1

a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /root/taildir_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /log/access-.*.log

a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = node-1.51doit.cn:9092,node-2.51doit.cn:9092,node-3.51doit.cn:9092
a1.channels.c1.kafka.topic = access19
a1.channels.c1.parseAsFlumeEvent = false

a1.sources.r1.channels = c1

启动flume: