Kafka是一种高吞吐量的分布式订阅消息系统,这里我们将Kafka作为数据源,让Kafka产生数据发送给Spark Streaming应用程序,Spark Streaming应用程序再对接收到的数据进行实时处理,从而完成一个典型的流计算过程。
实验步骤如下:
- 第一个终端启动zookeeper
./bin/zookeeper-server-start.sh config/zookeeper.properties
- 第二个终端启动kafka
bin/kafka-server-start.sh config/server.properties
- 第三个终端测试kafka是否启动正常
./bin/kafka-topics.sh --create --zookeeper localhost:2181 >--replication-factor 1 --partitions 1 --topic wordsendertest
可以用list列出所有创建的Topic，验证是否创建成功
./bin/kafka-topics.sh --list --zo
