基于 Ubuntu 玩转 Hudi Docker Demo （2）—— 测试数据写入 Kafka

基于 Ubuntu 玩转 Hudi Docker Demo 系列文章：
《基于 Ubuntu 玩转 Hudi Docker Demo （1）—— 集群安装》
《基于 Ubuntu 玩转 Hudi Docker Demo （2）—— 测试数据写入 Kafka》
《基于 Ubuntu 玩转 Hudi Docker Demo （3）—— Spark写入和查询》
《基于 Ubuntu 玩转 Hudi Docker Demo （4）—— Hive 查询 Hudi 表》

上一篇文章《基于 Ubuntu 玩转 Hudi Docker Demo （1）—— 集群安装》 介绍了如何在 Ubuntu 安装 Docker， 编译 Hudi 源码 以及 使用 docker-compose 部署测试集群。

本文主要介绍如何把测试数据写入到 Kafka 集群。

本文使用 kafkacat 来生产、消费、查看元数据。
在 Ubuntu 在通过以下命令安装：

sudo apt update
sudo apt get install kafkacat

kafkacat 详细介绍可见 《Kafka 命令行工具 kcat/kafkacat》

确保 /etc/hosts 文件有以下配置：

127.0.0.1 adhoc-1
127.0.0.1 adhoc-2
127.0.0.1 namenode
127.0.0.1 datanode1
127.0.0.1 hiveserver
127.0.0.1 hivemetastore
127.0.0.1 kafkabroker
127.0.0.1 sparkmaster
127.0.0.1 zookeeper

在 hudi 源码目录下有两个测试数据文件：

kafkacat -b kafkabroker -L -J | jq .

cat docker/demo/data/batch_1.json | kafkacat -b kafkabroker -t stock_ticks -P

kafkacat -b kafkabroker -L -J | jq .

消费10条数据

 kafkacat -C -b kafkabroker -t stock_ticks -p 0 -o -10

至此，测试数据已写入到 Kafka

下一篇：《基于 Ubuntu 玩转 Hudi Docker Demo （3）—— Spark写入和查询》