基于flink架构来完成数据同步,数据量大的话比datax较快,分布式
2、数据源支持多种数据源,以source(读)与sink(写)存在,支持实时数据库kafka等
脚本文件:StreamToStream.json
{
"job" : {
"content" : [ {
"reader" : {
"parameter" : {
"column" : [ {
"name": "id",
"type" : "id"
}, {
"name": "string",
"type" : "string"
} ],
"sliceRecordCount" : [ "10"]
},
"name" : "streamreader"
},
"writer" : {
"parameter" : {
"print" : true
},
"name" : "streamwriter"
}
} ],
"setting" : {
"speed" : {
"channel" : 1
}
}
}
}
4、运行任务–脚本文件:StreamToStream.json
flinkx -mode local -job ./job/StreamToStream.json -flinkconf ./ flinkconf/ -pluginRoot ./syncplugins/5、监听日志
6、通过web界面查看任务运行情况flinkx 任务启动后,会在执行命令的目录下生成一个nohup.out文件 tail -f nohup.out
http://master:8888



