栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

kafka的sasl权限管理

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

kafka的sasl权限管理

kafka的sasl权限管理 一.配置zookeeper 1.修改zoo.cfg

在文件末尾添加

authProvider.=org.apache.zookeeper.server.auth.SASLAuthenticationProvider #IdOfBroker是指ZK节点的myid
requireClientAuthScheme=sasl
jaasLoginRenew=3600000
zookeeper.sasl.client=true
2.在conf目录下新增配置文件JAAS,
touch zoo_jaas.conf

vim zoo_jaas.conf

添加以下内容

Server {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin"
    user_kafka="kafka@123";
};
3.将kafka认证相关的jar包导入到zookeeper

在zookeeper目录下创建存放jar包的目录 zk_sasl_lib,然后将kafka中的jar包拷贝到当前目录下

kafka-clients-3.0.0.jar
lz4-java-1.7.1.jar
slf4j-api-1.7.30.jar
slf4j-log4j12-1.7.30.jar
snappy-java-1.1.8.1.jar
4.修改zkEnv.sh
for jar in /home/hadoop/software/zookeeper-3.5.7/zk_sasl_lib/*.jar;
do
   CLASSPATH="$jar:$CLASSPATH"
done

export SERVER_JVMFLAGS="-Xmx${ZK_SERVER_HEAP}m $SERVER_JVMFLAGS -Djava.security.auth.login.config=/home/hadoop/software/zookeeper-3.5.7/conf/zoo_jaas.conf"

然后重启zookeeper

二.配置kafka 1.新建 kafka_server_jaas.conf文件

放在kafka的config目录下

KafkaServer {
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="admin"
 password="admin@123"
 user_admin="admin@123"
 user_producer="producer@123"
 user_consumer="consumer@123";
};
Client{
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="kafka"
 password="kafka@123";
};

Client的username和password要与zookeeper配置的jaas文件一致

2.修改server.properties文件
listeners=SASL_PLAINTEXT://localhost:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN
allow.everyone.if.no.acl.found=false
authorizer.class.name=kafka.security.authorizer.AclAuthorizer
#kafka3.0版本之后用kafka.security.authorizer.AclAuthorizer 3.0之前用kafka.security.auth.SimpleAclAuthorizer
super.users=User:admin
3.修改启动脚本

修改kafka-server-start.sh文件

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=/home/hadoop/software/kafka_2.12-3.0.0/config/kafka_server_jaas.conf"
fi

在kafka的config目录下创建文件kafka_producer_jaas.conf,添加以下内容

KafkaClient {
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="producer"
 password="producer@123";
};

创建kafka_consumer_jaas.conf,添加内容

KafkaClient {
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="consumer"
 password="consumer@123";
};

修改kafka-console-producer.sh

exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/home/hadoop/software/kafka_2.12-3.0.0/config/kafka_producer_jaas.conf kafka.tools.ConsoleProducer "$@"

修改kafka-console-consumer.sh

exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/home/hadoop/software/kafka_2.12-3.0.0/config/kafka_consumer_jaas.conf kafka.tools.ConsoleConsumer "$@"
4.修改客户端配置信息

在producer.properties和consumer.properties中添加认证机制

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

在consumer.properties中加入分组配置

group.id=test-group
5.授权 创建主题
./bin/kafka-topics.sh --create --bootstrap-server 192.168.2.128:9092 --replication-factor 1 --partitions 3 --topic test1
查看主题
./bin/kafka-topics.sh --list --bootstrap-server 192.168.2.128:9092
增加生产权限
./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181,192.168.2.137:2181,192.168.2.138:2181 --add --allow-principal User:producer --operation Write --topic test
增加消费权限
./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181,192.168.2.137:2181,192.168.2.138:2181 --add --allow-principal User:consumer --operation Read --topic test
配置消费分组权限
./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181,192.168.2.137:2181,192.168.2.138:2181 --add --allow-principal User:consumer --operation Read --group test-group
查看配置信息
./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181,192.168.2.137:2181,192.168.2.138:2181 --list
生产数据
./bin/kafka-console-producer.sh --broker-list 192.168.2.128:9092 --topic test --producer.config ./config/producer.properties
消费数据
./bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.128:9092 --topic test --from-beginning --consumer.config ./config/consumer.properties
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/946658.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号