栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Flink CDC知识点整理

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Flink CDC知识点整理

一、什么是CDC

CDC 全称 Change Data Capture,即改变数据捕获

Flink CDC 中文文档

之前的数据集成可能是这样的:


Mysql的Binlog改动被Canal捕获数据变动,通过Kafka传输到Flink,之后由Flink进行数据的Transformation

Canal和Kafka组件在这个流程的使用,是比较难以维护和复杂的。

现在通过Flink CDC 可以直接捕获Binlog,达到这样的效果:

这样无需通过Canal

二、CDC业界方案 1.基于查询的CDC
  • 离线调度查询作业,批处理
  • 不保障实施性
2.基于日志的CDC
  • cannal、Flink CDC等
  • 例如基于Binlog实现
  • 实时性
三、CDC方案比对

  • Flink的Transformation能力基于其强大的SQL处理能力
传统数据集成方案

1.单链路全量同步

2.双链路,全量、增量割裂,定时回流

3.

四、基于Flink CDC实现数据集成


  • 全量阶段把需要读取的数据块处理任务分为多个Task,实现并行读取
  • 全量和增量能够实现无锁一致性自动切换,增量阶段只需要一个Task去实现增量读取
性能对比

Flink CDC 相对于Debezium是资源换性能的方案,在并发上做文章(其实Flink CDC底层源码也还是用到了Debezium的)

参考
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/948586.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号