栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

基于Flink CDC构建MySQL和PostgreSQL的Streaming ETL

基于Flink CDC构建MySQL和PostgreSQL的Streaming ETL

基于Flink CDC构建MySQL和PostgreSQL的Streaming ETL

​ 本文将展示如何基于Flink CDC快速构建MySQL和PostgreSQL的ETL。本教程的演示将在Flink SQL CLI中进行,只涉及 SQL,不需要 Java/Scala 代码,也不需要安装 IDE。

​ 假设我们正在经营电子商务业务,商品和订单的数据存储在MySQL数据库中,订单的物流信息存储在 PostgreSQL数据库中。对于订单表,为了方便进行分析,我们希望找到的相关商品和物流信息上对应的商品和物流信息构成一张宽表,并且实时把它写到Elasticsearch中。

​ 接下来的内容将介绍如何使用 Flink Mysql/PostgreSQL CDC来实现这个需求,系统的整体架构如下图所示: [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nw1GqSA9-1639730289994)(/Users/ylchou/Library/Application Support/typora-user-images/flink-cdc-streaming-etl.png)]

准备阶段

​ 准备一台已经安装了Docker和Docker Compose的Linux或者MacOS电脑。

准备教程所需要的组件

后文以docker-compose的方式准备所需要的组件。

使用下面的内容创建一个docker-compose.yml文件:

version: '2.1'
services:
  postgres:
    image: debezium/example-postgres:1.1
    
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/674292.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号