栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

KETTLE实现MYSQL增量同步和全量同步

KETTLE实现MYSQL增量同步和全量同步

什么是增量同步 什么是全量同步 全量同步:

每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方,包括系统和所有数据。这种备份方式每次都需要对系统和所有数据进行一次全量备份。
如上,如果两次备份之间数据没有任何变化,那么两次备份的数据是一样的。也就是说100GB的数据即使没有发生任何数据变化,也会多耗费100GB的存储空间去做备份。但这种备份方式最大的好处就是在恢复丢失数据时,只需要对一个完整的备份进行操作就能够恢复丢失数据,大大加快了系统或数据恢复的时间

增量同步:

增量备份即在第一次全量备份的基础上,分别记录每次的变化。由于增量备份在备份前会判断数据是否发生变化,并仅记录每次变化情况,所以相较于其他两种备份方式它最大的好处在于其所需存储空间最少的(相同的变化情况下),备份速度最快的。当然在数据还原上来说,它的恢复时间是最长的,效率较低。恢复数据时,需要在第一次完备的基础上,整合每次的一个变化情况。

通过Kettle实现全量同步 步骤一:创建两个数据库,分别为资源数据库a和目标数据库b

步骤二:新建作业JOB

流程为设置变量·获取表名·数据同步

步骤三:获取表名


将表输入的内容复制记录到结果

步骤三:数据同步

设置变量



获取table_name下的字段

检查目标数据库的表是否存在

存在–数据同步


从a库输入–> b库输出

不存在–创建新表

表输入

设置变量

❕作业中要勾选改该选项 以保证循环执行语句

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761688.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号