场景：
某大数据云平台项目，需要从事务型数据库实施同步到Gbase8a数据库，用来存储长时间序列历史数据用于各种数据分析场景。同时对分析场景有一定实时要求，要求数据延迟在分钟级以内。
分析：
对业务流程进行梳理发现需要实时从事务型数据库同步操作到8a数据库，而且存在大量的对历史数据的频繁地进行单条DML操作，其中更新操作为非全列更新，原有的数据延迟定期加载的方式不能满足现场要求，经评估采用kafka存储操作信息，8a通过consumer消费的方式消费进入8a数据库 。
利用kafka高吞吐量、低延迟的优势，对前端短时密集的事物操作进行存储，通过Gbase8a consumer功能批量读取kafka中的大量事物操作，进行攒批读取，对冲合并后，以批量insert和批量delete的方式进行入库处理。对于密集型事务操作可以进行有效地消费，同时延迟达到要求。实际测试基础数据量百亿级表，混合dml延迟低于15秒。
方案优点：
能满足准实时同步数据业务需求，对于有历史数据操作需求的业务场景的，单纯通过增量数据加载的方式不能满足业务要求的场景，consumer功能可以补充8a实时同步方面的功能。对于大批量的单条dml操作，consumer可以对kafka的消息进行内部的攒批读取对冲合并入库处理，提升了Gbase8a分析库对事务型操作的准实时同步性能。
