kafka安装与使用

安装jdk安装zk官网下载kafka的压缩包:http://kafka.apache.org/downloads解压缩至如下路径

/usr/local/kafka/

修改配置文件：/usr/local/kafka/kafka2.11-2.4/config/server.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id= 0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://10.100.12.246:9092
#kafka的消息存储文件
log.dir=/usr/local/data/kafka-logs
#kafka连接zookeeper的地址
zookeeper.connect= 10.100.12.246:2181

进入到bin目录下。使用命令来启动
先启动zookeeper

./zookeeper-server-start.sh -daemon ../config/zookeeper.properties
./kafka-server-start.sh -daemon../config/server.properties

查看进程在不在

server.properties核心配置详解：

创建 topic

./kafka-topics.sh --create --zookeeper 10.100.12.246:2181 --replication-factor 1 --partitions 1 --topic test

查看当前kafka内有哪些topic

./kafka-topics.sh --list --zookeeper 10.100.12.246:2181

产生消息
kafka自带了一个producer命令客户端，可以从本地文件中读取内容，或者我们也可以以命令行中直接输入内容，并将这些内容以消息的形式发送到kafka集群中。在默认情况下，每一个行会被当做成一个独立的消息。使用kafka的发送消息的客户端，指定发送到的kafka服务器地址和topic

./kafka-console-producer.sh --broker-list 10.100.12.246:9092 --topic test

消费消息
对于consumer，kafka同样也携带了一个命令行客户端，会将获取到内容在命令中进行输 出， 默认是消费最新的消息 。使用kafka的消费者消息的客户端，从指定kafka服务器的指定 topic中消费消息。

方式一：从最后一条消息的偏移量+1开始消费

./kafka-console-consumer.sh --bootstrap-server 10.100.12.246:9092 --topic test

方式二：从头开始消费

./kafka-console-consumer.sh --bootstrap-server 10.100.12.246:9092 --from-beginning --topic test

几个注意点：
消息会被存储
消息是顺序存储
消息是有偏移量的
消费时可以指明偏移量进行消费