栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

kafka 设置topic的数据时间为log日志生成的时间

kafka 设置topic的数据时间为log日志生成的时间

在kafka的topic Configs中有一个设置:

message.timestamp.type

修改topic config 参考:

​​​​​​kafka topic config 参数_Sara2018的博客-CSDN博客_kafka topic 参数

它有2个参数:

分别是:CreateTime --kafka创建数据的时间

和:LogAppendTime --日志生成的时间,这个时间是生成日志所在的机器的时间

kafka的topic configs默认是createtime

什么时候设置成LogAppendTime?(即适用的场景)

flink处理历史数据时,事件时间只能与当前的时间作比较,及小于现在的时间都参与计算,大于的视为脏数据过滤掉。这样的话,我们没有办法知道对于之前的某个时间,数据是否为脏数据,因为kafka timestamp 都是现在的时间。

而设置成LogAppendTime之后,kafka timestamp就是那条数据产生是的机器时间戳,这样每条数据除了事件时间,还有产生这条数据的时间。通过事件时间

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/736370.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号