CDC 全称 Change Data Capture,即改变数据捕获
Flink CDC 中文文档
之前的数据集成可能是这样的:
Mysql的Binlog改动被Canal捕获数据变动,通过Kafka传输到Flink,之后由Flink进行数据的Transformation
Canal和Kafka组件在这个流程的使用,是比较难以维护和复杂的。
现在通过Flink CDC 可以直接捕获Binlog,达到这样的效果:
这样无需通过Canal
二、CDC业界方案 1.基于查询的CDC- 离线调度查询作业,批处理
- 不保障实施性
- cannal、Flink CDC等
- 例如基于Binlog实现
- 实时性
- Flink的Transformation能力基于其强大的SQL处理能力
1.单链路全量同步
2.双链路,全量、增量割裂,定时回流
3.
- 全量阶段把需要读取的数据块处理任务分为多个Task,实现并行读取
- 全量和增量能够实现无锁一致性自动切换,增量阶段只需要一个Task去实现增量读取
Flink CDC 相对于Debezium是资源换性能的方案,在并发上做文章(其实Flink CDC底层源码也还是用到了Debezium的)



