栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

7.5.4、Kettle

7.5.4、Kettle

1、集群模式,集群安装

1)准备三台服务器

master作为Kettle主服务器,服务器端口号为8080,
node1和node2作为两个子服务器,端口号分别为8081和8082。

2)进到/usr/local/soft/data-integration/pwd目录,修改配置文件
修改主服务器配置文件carte-config-master-8080.xml


    master
    master
    8080
    Y
    cluster
    cluster

修改从服务器配置文件carte-config-8081.xml


    
      master
      master
      8080
      cluster
      cluster
      Y
    

Y

    slave1
    node1
    8081
    cluster
    cluster
    N

修改从配置文件carte-config-8082.xml


    
      master
      master
      8080
      cluster
      cluster
      Y
    

Y

    slave2
    node2
    8082
    cluster
    cluster
    N

分发整个kettle的安装目录,通过scp命令 分发/root/.kettle目录到node1、node2

启动相关进程,
在master,node1,node2上分别执行

[root@master]# ./carte.sh master 8080
[root@node1]# ./carte.sh node18081
[root@node2]# ./carte.sh node2 8082

2、集群案例,将hive表中数据传输到hdfs上

(1)进入资源库,创建转换

(2)创建集群服务器运行
左上角–>主对象树–>子服务器(创建3个,master,node1,node2)–>创建kettle集群–>运行(创建集群Run,运行)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/350542.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号