勺子(Spoon)
是一个图形化界面,可以基于此界面开发转换和作业。
最常用的组件
平底锅(Span)
利用Span可以用命令行的形式执行由Spoon编辑好的转换(Trans)
厨房(Kitchen)
利用Kitchen可以用命令行的形式执行由Spoon编辑的好的作业(Job)
菜单(Carte)
轻量级的Web容器,用于创建专用、远程的ETL Server 运行平台
Linux使用xxx.shWindows使用xxx.bat
连接数据库
工作中主要连接mysql所以此处使用JDBC连接mysql数据库
1.获取mysql-connector-java.jar包
2.将mysql-connector-java.jar包放于data-intergrationlib目录下
3.打开spoon
4.在左侧主对象树窗口新建一个转换或者作业
5.在新建的对象上右键新建数据连接或者在DB目录上右键新建
6.在数据库连接弹窗中选择【一般】
7.在连接类型中选择【MySQL】
8.在连接方式中选择【Native(JDBC)】
9.在连接名称中输入链接名称
可根据自己公司或者自己的命名习惯进行命名
比如:mysql_local_case
10.设置栏中填充数据库连接参数
11.打开“选项”,在右边“命名参数”中填加characterEncoding,值为utf8
此举用以预防中文乱码问题
12.点击下方的【测试】按钮,若配置信息正确就会弹出连接成功的提示,否则需要根据提示修改配置信息
使用JDBC链接maxCompute
1.获取JDBC驱动
https://github.com/aliyun/aliyun-odps-jdbc/releases?spm=a2c4g.11186623.0.0.1dc87268G24roo
2.将获取的jar包存放于data-intergrationlib目录下
4.在左侧主对象树窗口新建一个转换或者作业
5.在新建的对象上右键新建数据连接或者在DB目录上右键新建
6.在数据库连接弹窗中选择【一般】
7.在连接类型中选择【Generic database】
8.在连接方式中选择【Native(JDBC)】
9.在连接名称中输入链接名称
可根据自己公司或者自己的命名习惯进行命名
比如:maxCompute_<案例名称>
10.设置栏中填充数据库连接参数
1.“Dialect”设置为“Hadoop Hive 2”
2."自定义连接 URL"设置为jdbc:odps:
参数说明
例如,华东1(杭州)区域的外网Endpoint为http://service.cn-hangzhou.maxcompute.aliyun.com/api详情:https://help.aliyun.com/document_detail/34951.htm?spm=a2c4g.11186623.0.0.1dc87268G24roo#concept-m2j-h1y-5db
useProjectTimeZone为是否使用MaxCompute项目空间的时区
举例
jdbc:odps:http://service.cn-hangzhou.maxcompute.aliyun.com/api?project=test_project&useProjectTimeZone=true;
3.“自定义驱动类名称”设置为com.aliyun.odps.jdbc.OdpsDriver
4.“用户名”设置为项目空间的AccessKey ID
5.“密码”设置为项目空间的AccessKey ID 对应的AccessKey Secret
11.点击下方的【测试】按钮,若配置信息正确就会弹出连接成功的提示,否则需要根据提示修改配置信息



