栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Kettle---依赖控制及失败重试

Kettle---依赖控制及失败重试

Kettle---依赖控制及失败重试

场景介绍:⭐️解决方案:

计算表中的记录数等待

场景介绍:

在千万级数据量的情况下,清空一张表,插入数据。很简单的操作。

可以使用SQL脚本执行清空操作,然后插入数据。

这样的话就可能存在风险:清空指令已执行,但是表还未真正的清空,同时插入数据操作已开始,这样清空数据操作有可能将新插入的数据一并清空。大数据量在Mysql数据库中体现应该更明显。


⭐️解决方案:

【计算表中的记录数】&【等待】来结合使用,编写如图。

计算表中的记录数

判断表中的数据量(类似select count(1) from table).,也可以自定义自己的SQL

等待

其实第一个wait 可以直接指回去判断表中记录。文中为了可读性多余加了一组判断和等待。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/745762.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号