栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

mongoshake同步mongodb数据到kafka

mongoshake同步mongodb数据到kafka

前言

在上一篇,mongoshake实现mongodb数据同步中,我们详细探讨了如何使用mongoshake实现数据从mongodb同步到mongodb的完整流程,本篇基于mongoshake,继续探讨在数据同步中的另一个场景,即从mogodb同步数据到kafka

业务场景举例

有这样一个需求场景,mongo的某个数据集中,存储了海量的操作行为日志数据,比如定义了一个数据对象的模型集合,有100多个字段,在这个对象模型中,不同的操作行为有一个tag标签作为区分

在下游的应用中,需要接收行为日志数据进行计算分析,得出操作行为轨迹,由于日志数据写到mongodb和下游的分析应用是独立的微服务,两者之间并没有直接的关系,同时又要求系统的性能具备较高的性能,于是想到使用mongoshake作为中介,将mongodb的数据同步到kafka的topic,下游的各个应用只需要监听相关的topic数据即可

这种需求可以衍生出很多其他的场景来,有兴趣的同学可以深入思考,下面来演示下具体的操作步骤

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/746587.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号