栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

内网同步数据库(mysql)DATAX

内网同步数据库(mysql)DATAX

1. DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、Hbase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 2.在源数据库和目标数据库不能同时连接时,可使用DataX 将需要同步的数据提取出来成CSV格式的数据文件,在到目标数据库,使用DataX将CSV文件数据导入数据库。 步骤1:

创建datax job json文件:

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "数据库用户名",
                        "password": "密码",
                        "connection": [
                            {
                                "querySql": [
                                    "select * from table;"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://127.0.0.1/数据库"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "txtfilewriter",
                    "parameter": {
                        "print": true,
                        "encoding": "UTF-8",
                        "path": "csv文件存放位置",
                        "fileName": "csv文件名",
                        "writeMode": "truncate",
                        "dateFormat": "YYYY-MM-dd hh:mm:ss",
                        "header": [
                            "id",
                            "**",
                            "**",
                            "**(需要保存的字段)"
                        ]
                    }
                }
            }
        ]
    }
}

执行完后,得到csv数据文件。
2.将csv文件数据导入数据库

{
  "job": {
    "setting": {
      "speed": {
        "channel": 2
      }
    },
    "content": [
      {
        "reader": {
          "name": "txtfilereader",
          "parameter": {
            "path": [
              "G:/result/result.csv"
            ],
            "encoding": "UTF-8",
            "column": [
              {
                "index": 0,
                "name": "id",
                "type": "long"
              },
              {
                "index": 1,
                "name": "**",
                "type": "string"
              },
              {
              	"index": "字段索引",
                "name": "字段名",
                "type": "字段类型"
              },
              ********
            ],
            "skipHeader": "true"
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "writeMode": "update",
            "username": "root",
            "password": "密码",
            "column": [
              "id",
              "code",
 				*****
            ],
            "connection": [
              {
                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/数据库",
                "table": [
                  "table表"
                ]
              }
            ]
          }
        }
      }
    ]
  }
}

3.执行成功数据同步完成

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/701640.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号