栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

使用Kettle循环处理数据(方式二)

使用Kettle循环处理数据(方式二)

接上文:使用Kettle循环处理数据(方式一),觉得流程比较繁琐,又琢磨到一种批量执行的方式。

下面是批量执行的全转换流程。目的是统计某一个库中前缀相同的表的数据量。

1、获取表名:

可以批量将某一个数据库下的所有表获取到。

2、过滤记录:

过滤表名前缀是 nic_newtrack 的表

3、公式:

使用 公式 组件,将表名拼接到需要执行的 SQL 语句中

公式 组件填写的详细信息:

"insert into tablecount select '"&[tablename]&"',count(*) num from "& [tablename]

其中,中括号 [] 用来引用上一个组件 “过滤记录” 里传过来的字段 tablename ,其实就是一个参数

与符号 & 是用来将字符串与参数拼接起来,形成一整个字符串

sql 里面拼接的 tablecount 是提前建好的一张表,用来记录每一张表的数据量。包含两个字段:tablename、count

4、字段选择:

只保留上一步 公式 组件拼接的 sql

5、执行SQL脚本:


等待执行完之后,数据库中的 tablecount 表中,就会记录需要统计的表的数据量。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/653766.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号