栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 云计算 > 云平台

kafka connector使用(单机手动启动版)

云平台 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

kafka connector使用(单机手动启动版)

背景

需要将redis 某个/类频道推送的数据写入到kafka topic中。

实现 一、编写kafka source connector代码和配置文件

我这里是在github上找了一个别人已经实现了的kafka-redis-connector,选取了source的部分。git地址。
连接器配置文件xx.properties介绍:

name=定义连接器名字
connector.class=连接器的类名(例如:com.curtain.source.RedisSourceConnector或者RedisSourceConnector)
tasks.max=连接器创建任务的最大数
topic=要写入的kafka主题
redis.uri=redis地址(例如:redis://127.0.0.1:6379)
redis.cluster.enabled=false 不开启集群
redis.channels=订阅的redis频道
redis.channels.pattern.enabled=true 开启模糊订阅

二、打包
  1. 首先package该项目,会有一个该项目的jar包。
  2. 其次收集该项目所依赖的jars。如图:
  3. 将这些收集到的jar包放在一个文件夹下,编写一个tar.bat文件将这些jar包全部解压。tar.bat文件内容如下:
@echo off
 
cd %1
for /r %cd% %%i in (*.jar) do (
	jar xf  %%i
)
 
pause
  1. 解压完之后,删除所有的.jar文件、META-INF文件夹下的.rsa 和.sf的文件。
  2. 打开cmd命令行,输入jar -cvfM connect-redis.jar . 打出一个包含所有依赖的超级jar
三、上传文件

将jar包上传到connect-standalone.properties文件里plugin.path所指的路径下,默认是/usr/share/java。再上传连接器的配置(位置没有要求,最好和别的kafka配置放一起)。

四、启动连接器

执行命令

bin/connect-standalone.sh config/connect-standalone.properties connector1.properties

这样,我们就启动了一个kafka redis source connector啦。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/897092.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号