栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

flink集群消费kerberos认证的kafka

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

flink集群消费kerberos认证的kafka

首先用单机的java代码去消费kerberos认证的kafka,已经跑通,主要用到的几个文件如下所示:

1.jaas文件

 

2.krb5.conf

 

3.keytab认证文件

4.还需要提供principle,我的是kafka/bigdata-4@EXAMPLE.COM

单机的先把程序跑通了以后,就开始进行flink的认证。

首先需要修改flink配置文件flink-conf.yaml,修改这几项内容,然后把配置文件同步到整个集群,重启flink集群,内容如下

 

这是flink集群模块,另外还需要在代码里配置,代码里的配置不能只在主节点进行认证,因为实际消费kafka的时候是taskmanager消费的,所以需要在所有机器进行认证。代码如下:

主节点认证:

 

taskmanager认证:

 

消费kafka:

 

第二步的目的是为了把环境变量设置到其他机器上,经过测试,以上步骤,缺一不可。

需要注意的是,如果第二步的map操作并行度设置不当,那么会导致只有部分机器有kerberos认证,部分机器没有认证。

这一问题可以通过自定义kafka source来实现,在kafka source里面设置环境变量。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/703627.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号