栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kafka源码解析之SocketServer

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka源码解析之SocketServer

这就是因为对请求不区分优先级。

[](()1 基本概念

=====================================================================

[](()1.1 Data plane & Control plane


Data plane和Control plane的字面意思是数据面和控制面,各自对应数据类请求和控制类请求。

Kafka请求类型分为:

  • 数据类请求

Data plane负责处理数据类请求

  • 控制类请求

Control plane负责处理控制类请求

Controller与Broker交互的请求类型有如下种类:

  • LeaderAndIsrRequest

  • StopReplicaRequest

  • UpdateMetadataRequest

都属控制类请求,通常应该被赋予高优先级,比如PRODUCE和FETCH请求。

SocketServer负责对这两大类请求区分处理。

[](()1.2 监听器(Listener)


区分数据类请求和控制类请求不同处理方式的主要途径。即创建多组监听器分别执行数据类和控制类请求的处理。

  • Kafka Broker端如下参数用以配置监听器

监听器定义为

[](()EndPoint类


[](()属性
  • host

Broker主机名。

  • port

Broker端口号。

  • listenerName

监听器名称。目前预定义的名称包括

  • PLAINTEXT

  • SSL

  • SASL_PLAINTEXT

  • SASL_SSL

Kafka允许自定义其他监听器名称,比如CONTROLLER、INTERNAL。

  • securityProtocol:监听器使用的安全协议。Kafka支持4种安全协议

  • PLAINTEXT

  • SSL

  • SASL_PLAINTEXT

  • SASL_SSL

Broker端参数

比如若Broker端参数配置如下:

配置3个监听器,分别是CONTROLLER、INTERNAL和EXTERNAL,使用的安全协议分别是PLAINTEXT、PLAINTEXT和SSL。

那SocketServer如何实现Data plane与Control plane分离的呢?

[](()SocketServer

===========================================================================

[](()属性


  • 实现请求优先级相关的字段

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Pbrt46xB-1650711271357)(https://img-blog 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 .csdnimg.cn/20210102165652824.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTg5NTEw,size_1,color_FFFFFF,t_70)]

对于Data plane,线程池的说法没有问题,因为Processor线程确实有很多,而Acceptor也可能多个,因为SocketServer会为每个EndPoint(每套监听器)创建一个对应的Acceptor线程。

但Control plane不同。

Control plane那组属性变量都是以Opt结尾的,即Option类型,完全可以不使用Control plane,即你可让Kafka不区分请求类型,2.2.0之前设计就是这样。

但一旦开启Control plane设置,其Processor线程和Acceptor线程都是1个。

它对应的RequestChannel里面的请求队列长度被硬编码成20,即控制类请求的数量应该远小于数据类请求,因而不需要为它创建线程池和较深的请求队列。

[](()创建Data plane所需资源

===============================================================================

  • 负责为Data plane创建所需资源

  • 执行流程

  • 最大连接数计数器将被用来确保没有配额超限的情形发生

  • 创建Processor线程池。对于Data plane而言,线程池的数量由Broker端参数num.network.threads决定

  • 将<监听器,Acceptor线程>对加入到Acceptor线程池统一管理

比如配置listeners=PLAINTEXT://localhost:9092, SSL://localhost:9093,默认会为PLAINTEXT和SSL监听器分别创建一个Acceptor线程和一个Processor线程池。

具体为哪些监听器创建依据配置而定,Kafka只会为Data plane所使的监听器创建这些资源。

[](()创建Control plane所需资源
如配置listeners=PLAINTEXT://localhost:9092, SSL://localhost:9093,默认会为PLAINTEXT和SSL监听器分别创建一个Acceptor线程和一个Processor线程池。

具体为哪些监听器创建依据配置而定,Kafka只会为Data plane所使的监听器创建这些资源。

[](()创建Control plane所需资源

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/831989.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号