栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kettle入门(四)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kettle入门(四)

核心组件 分类

勺子(Spoon)

是一个图形化界面,可以基于此界面开发转换和作业。

最常用的组件

平底锅(Span)

利用Span可以用命令行的形式执行由Spoon编辑好的转换(Trans)

厨房(Kitchen)

利用Kitchen可以用命令行的形式执行由Spoon编辑的好的作业(Job)

菜单(Carte)

轻量级的Web容器,用于创建专用、远程的ETL Server 运行平台

Linux使用xxx.shWindows使用xxx.bat
连接数据库 工作中主要连接mysql所以此处使用JDBC连接mysql数据库

1.获取mysql-connector-java.jar包

2.将mysql-connector-java.jar包放于data-intergrationlib目录下

3.打开spoon

4.在左侧主对象树窗口新建一个转换或者作业

5.在新建的对象上右键新建数据连接或者在DB目录上右键新建

6.在数据库连接弹窗中选择【一般】

7.在连接类型中选择【MySQL】

8.在连接方式中选择【Native(JDBC)】

9.在连接名称中输入链接名称

可根据自己公司或者自己的命名习惯进行命名

比如:mysql_local_case

10.设置栏中填充数据库连接参数

11.打开“选项”,在右边“命名参数”中填加characterEncoding,值为utf8

此举用以预防中文乱码问题

12.点击下方的【测试】按钮,若配置信息正确就会弹出连接成功的提示,否则需要根据提示修改配置信息

使用JDBC链接maxCompute

1.获取JDBC驱动

https://github.com/aliyun/aliyun-odps-jdbc/releases?spm=a2c4g.11186623.0.0.1dc87268G24roo

2.将获取的jar包存放于data-intergrationlib目录下

4.在左侧主对象树窗口新建一个转换或者作业

5.在新建的对象上右键新建数据连接或者在DB目录上右键新建

6.在数据库连接弹窗中选择【一般】

7.在连接类型中选择【Generic database】

8.在连接方式中选择【Native(JDBC)】

9.在连接名称中输入链接名称

可根据自己公司或者自己的命名习惯进行命名

比如:maxCompute_<案例名称>

10.设置栏中填充数据库连接参数

1.“Dialect”设置为“Hadoop Hive 2”

2."自定义连接 URL"设置为jdbc:odps:?project=

参数说明

为MaxCompute服务所在区域的Endpoint

例如,华东1(杭州)区域的外网Endpoint为http://service.cn-hangzhou.maxcompute.aliyun.com/api详情:https://help.aliyun.com/document_detail/34951.htm?spm=a2c4g.11186623.0.0.1dc87268G24roo#concept-m2j-h1y-5db

为MaxCompute项目空间名称

useProjectTimeZone为是否使用MaxCompute项目空间的时区

举例

jdbc:odps:http://service.cn-hangzhou.maxcompute.aliyun.com/api?project=test_project&useProjectTimeZone=true;

3.“自定义驱动类名称”设置为com.aliyun.odps.jdbc.OdpsDriver

4.“用户名”设置为项目空间的AccessKey ID

5.“密码”设置为项目空间的AccessKey ID 对应的AccessKey Secret

11.点击下方的【测试】按钮,若配置信息正确就会弹出连接成功的提示,否则需要根据提示修改配置信息

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/749582.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号