KETTLE（三）--kettle连接MySQL转换到HDFS

第一步

1.Hadoop地址：https://archive.apache.org/dist/hadoop/common/
2. 下载hadoop在windows环境下支持包hadoopwindows-master.
  https://github.com/sardetushar/hadooponwindows
我这里hadoop下载的版本是2.7.7版本最好在网上查好你要下载那个版本，不然会报错
第二步
配置环境变量，添加%HADOOP_HOME%，添加path

第三步
Hadoop的文件配置
添加文件夹“data”，文件夹内添加datanode，namenode
修改文件，文件位置：hadoop-3.0.0etchadoopXXX
1.配置core-site.xml

    
       fs.default.name
       hdfs://localhost:9000
   

2.配置hdfs-site.xml

      
    
        dfs.replication
        1
    
    
     dfs.permissions
     false
  
   
       dfs.namenode.name.dir
       /D:/Installed/hadoop-3.0.0/data/namenode
   
   
        fs.checkpoint.dir
        /D:/Installed/hadoop-3.0.0/data/snn
    
    
        fs.checkpoint.edits.dir
        /D:/Installed/hadoop-3.0.0/data/snn
    
       
       dfs.datanode.data.dir
       /D:/Installed/hadoop-3.0.0/data/datanode
   

3.配置mapred-site.xml

    
       mapreduce.framework.name
       yarn
   

4.配置yarn-site.xml

    
       yarn.nodemanager.aux-services
       mapreduce_shuffle
    
    
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
       org.apache.hadoop.mapred.ShuffleHandler
    

初始化Hadoop

以管理员方式打开cmd，运行hadoop：

cd D:javahadoop-3.0.0bin
hadoop namenode –format

然后启动Hadoop，出现四个窗口启动成功！

命令：start-all.cmd

将上边四个文件替换调kettle中的Hadoop文件
 1.连接Hadoop
  
  
点击测试，连接
  
  
  
mysql连接

输出
通过excel输出 可以查看数据准确性