栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

GBase 8a Kafka 数据同步

GBase 8a Kafka 数据同步

数据同步系统通过 Oracle Goldengate、Gbase RTSync 等工具复制 Oracle、Gbase 8s等数据库的业务数据到 Gbase 8a MPP Cluster,为了应对业务系统可能的峰值,在系统中加入 Kafka 消息队列作为缓冲区。以 Oracle 同步实时数据到 Gbase 8a 集群为例,总体流程如下: 

OGG 发送端(GoldenGate Extract)从 Oracle 的在线日志和归档日志中抽取事务信息,生成 Trail 文件。OGG 接收端(GoldenGate Replicat)收到 Trail 文件,抽取事务信息转换为目标格式,并生产事务消息到 Kafka。集群的 Consumer 模块从 Kafka中消费事务消息,将数据更新到 Gbase 8a MPP Cluster 中。

Kafka consumer 的主要功能就是同步 Kafka 数据到 Gbase 8a MPP Cluster:

  • 根据配置,可以指定需要同步的业务;
  • 在同步过程中,提供同步状态查询功能;
  • 实现数据同步的高可用性和事务数据一致性。 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/683195.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号