栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

《kafka权威指南》学习记录1

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

《kafka权威指南》学习记录1

本博客只作为自己学习的一个记录。

一.kafka生产者

1.kafka生产者组件

main线程 send线程 producerrecord对象 序列化器 分区器。

Producerrecord对象格式:topic [key] [partition] value

2.生产者发送消息过程

3.kafka生产者应用程序开发步骤

创建生产者

Properties KafkaProducer 三个必须配置:kafka ip,key和value的序列化方式。

发送消息到kafka

发送并忘记

同步发送:feature对象的get方法

异步发送:send()方法里传入一个回调函数

其他的一些配置 能说出几个

顺序保证:retries设为0 max.in.flight.requests.per.connection topic分区数为1

4.序列化器

自定义序列化器

实现serializer接口,重写configure() serialize() close()方法,不建议自定义,kafka自带已够用。

arvo序列化方式

什么是arvo?

答:是一种与编程语言无关的序列化格式,提供一种共享文件的方式。

arvo的一个很重要的特性非常适合kafka?

答:

arvo的原理?

答:它的原理在于描述序列化对象的schema格式:{“namespace”:"***","type":"***","name","类名",["fields":{"name":"字段名","type":"字段类型"}]},这样的结构就算修改数据的schema,不用修改所有负责读取数据的应用程序,不会出现异常或阻断性错误。

schema注册表解决的问题?

答:

arvo序列化和反序列化流程?

答:通过序列化将数据序列化为字节数组,数据中包括schema的ID信息,同时将schema注册到注册表(一个组件),读取反序列化时通过schema id从注册表获取schema.

arvo在kafka中的具体使用?

答:

5.分区

分区策略:默认三种 注:其中一种根据key的散列值,进行取余时是根据所有的分区,而不是所有的可用分区。这就存在一个问题,如果分区不可用,就会发生错误。

自定义分区策略

能想出一种应用场景?

答:

具体实现方法?

答:实现partitioner接口,重写三个方法config() partition() close()

自定义分区器实现好了怎么使用?

答:

6.拦截器

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/732719.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号