数据同步系统通过 Oracle Goldengate、Gbase RTSync 等工具复制 Oracle、Gbase 8s等数据库的业务数据到 Gbase 8a MPP Cluster,为了应对业务系统可能的峰值,在系统中加入 Kafka 消息队列作为缓冲区。以 Oracle 同步实时数据到 Gbase 8a 集群为例,总体流程如下:
OGG 发送端(GoldenGate Extract)从 Oracle 的在线日志和归档日志中抽取事务信息,生成 Trail 文件。OGG 接收端(GoldenGate Replicat)收到 Trail 文件,抽取事务信息转换为目标格式,并生产事务消息到 Kafka。集群的 Consumer 模块从 Kafka中消费事务消息,将数据更新到 Gbase 8a MPP Cluster 中。
Kafka consumer 的主要功能就是同步 Kafka 数据到 Gbase 8a MPP Cluster:
- 根据配置,可以指定需要同步的业务;
- 在同步过程中,提供同步状态查询功能;
- 实现数据同步的高可用性和事务数据一致性。



