~/Downloads $ tar zxvf apache-flume-1.8.0-bin.tar.gz
~/Downloads $ mv apache-flume-1.8.0-bin /usr/local #注意root执行
~/Downloads $ tar zxf kafka_2.11-1.0.0.tgz
~/Downloads $ mv kafka_2.11-1.0.0.tgz /usr/local #注意root执行
apache-flume-1.8.0-bin/conf $ touch flume-kafka.conf
apache-flume-1.8.0-bin/conf $ vim flume-kafka.conf
#agent1组件名称
agent1.sources = source
agent1.sinks = sink
agent1.channels = channel
#agent1-source
agent1.sources.source.type = spooldir
agent1.sources.source.spoolDir = /usr/local/apache-flume-1.8.0-bin/logdir
#agent1-sink
agent1.sinks.sink.type = org.apache.flume.sink.kafka.KafkaSink
agent1.sinks.sink.topic = traj#这里是kafka的topic名字
agent1.sinks.sink.brokerList = 127.0.0.1:9092 #本机端口为9092
agent1.sinks.sink.requiredAcks = 1
agent1.sinks.sink.batchSize = 100
#agent1-channel
agent1.channels.channel.type = memory
agent1.channels.channel.capacity = 1000
agent1.channels.channel.transactionCapacity = 100
#绑定source和sink到channel上
agent1.sources.source.channels = channel
agent1.sinks.sink.channel = channel
在kafka文件下
qigong kafka-zookeeper【启动zk】
bin/zookeeper-server-start.sh config/zookeeper.properties
– 失败原因可能因为java版本过低，新mac升级java8
安装完后
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
【启动kafka服务】
bin/kafka-server-start.sh config/server.properties
【创建topic】
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic traj
bin/kafka-topics.sh --list --zookeeper localhost:2181
–查询分区内容
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic traj --from-beginning
【开启kafka消费】
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic traj
bin/flume-ng agent --conf conf --conf-file conf/flume-kafka.conf --name agent1 -Dflume.root.logger=INFO,console
#这里注意权限问题，如果没有读logdir文件中的权限一定要在sudo执行
Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
【flume/bin/logdir中写入数据】
agent.sources = s1
agent.channels = c1
agent.sinks = k1
agent.sources.s1.type=exec
agent.sources.s1.command=tail -F /usr/local/kafka.log
agent.sources.s1.channels=c1
agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100
#设置Kafka接收器
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的broker地址和端口号
agent.sinks.k1.brokerList=localhost:9092
#设置Kafka的Topic
agent.sinks.k1.topic=traj
#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
agent.sinks.k1.channel=c1
.clickhouse server
http://localhost:8123/play 进行sql操控
clickhouse拥有自己的数据类型，且每个表必须指定自己的engine，用于创建数据表
Set allow_experimental_geo_types = 1;
CREATE TABLE algorithm_res.cluster_res (
cluster_id String,
uuid String,
time_stamp DateTime,
start_position Point,
end_position Point
)
ENGINE = MergeTree()
ORDER BY time_stamp
SETTINGS allow_experimental_geo_types = 1
MergeTree表引擎主要用于海量数据分析，支持数据分区、存储有序、主键索引、稀疏索引、数据TTL等。MergeTree支持所有ClickHouse SQL语法，但是有些功能与MySQL并不一致，比如在MergeTree中主键并不用于去重MergeTree 引擎系列的基本理念如下：当有巨量数据要插入到表中时，需要高效地一批批写入数据片段，并希望这些数据片段在后台按照一定规则合并。应对表的并发访问，我们使用多版本机制。换言之，当同时读和更新表时，数据从当前查询到的一组片段中读取。没有冗长的的锁。插入不会阻碍读取。对表的读操作是自动并行的。
特点：
存储的数据按主键排序。
允许使用分区（在指定了主键的情况下）。查询中指定了分区键时 ClickHouse 会自动截取分区数据。这也有效增加了查询性能。
支持数据副本。
支持数据采样。
1.MergeTree
数据插入过程中多次重复写入数据存储
2.ReplacingMergeTree
清除重复数据，节省数据空间
3.SummingMergeTree
适合汇总统计的场景
4.AggregatingMergeTree
适合数据聚合
5.CollapsingMergeTree
适合记录银行流水的场景–每一行后有sign标记，用于判断是否有效
6.Versioned CollapsingMergeTree
与5类似，加了version版本
7.GraphiteMergeTree
用于对稀疏数据进行聚合和平均操作
1.TinyLog
快速读写大量小表，每个表不超过100万行
2.Log
临时数据表，用于测试或演示
3.StripeLog
适用于少量数据（不超过100万条）写多张表
Kafka
Mysql
ODBC
JDBC
HDFS
S3
Distributed
MaterializedView
Dictionary
Merge
File
Null
Set
Join
URL
View
Memory
Buffer
