[nier@hadoop102 bin]$ python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
2022-02-24 15:35:23.922 [main] WARN ConfigParser - 插件[streamreader,streamwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/opt/module/datax/plugin/reader/._hdfsreader/plugin.json]不存在. 请检查您的配置文件.
2022-02-24 15:35:24.928 [main] ERROR Engine -
经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/opt/module/datax/plugin/reader/._hdfsreader/plugin.json]不存在. 请检查您的配置文件.
at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
at com.alibaba.datax.core.util.ConfigParser.parseonePluginConfig(ConfigParser.java:153)
at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
at com.alibaba.datax.core.Engine.entry(Engine.java:137)
at com.alibaba.datax.core.Engine.main(Engine.java:204)
根据报错找到datax/plugin/reader下浏览了下面的文件，._hdfsreader文件存在，但是里面没有plugin.json，于是决定删除试试
解决办法：删除datax/plugin/reader下所有._xxxx隐藏文件
**注意：**一定要._*er这种方式匹配文件，否则会匹配到里面的隐藏jar包
find /opt/module/datax/plugin/reader/ -type f -name "._*er" | xargs rm -rf
同理也删除datax/plugin/writer/下所有._xxxx隐藏文件
find /opt/module/datax/plugin/writer/ -type f -name "._*er" | xargs rm -rf
再次运行不会报错
[nier@hadoop102 datax]$ python bin/datax.py job/job.json
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
2022-02-24 16:01:15.644 [main] INFO VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2022-02-24 16:01:15.661 [main] INFO Engine - the machine info =>
osInfo: Oracle Corporation 1.8 25.212-b10
jvmInfo: Linux amd64 3.10.0-862.14.4.el7.x86_64
cpu num: 2
totalPhysicalMemory: -0.00G
freePhysicalMemory: -0.00G
maxFileDescriptorCount: -1
currentOpenFileDescriptorCount: -1
GC Names [PS MarkSweep, PS Scavenge]
MEMORY_NAME | allocation_size | init_size
PS Eden Space | 256.00MB | 256.00MB
Code Cache | 240.00MB | 2.44MB
Compressed Class Space | 1,024.00MB | 0.00MB
PS Survivor Space | 42.50MB | 42.50MB
PS Old Gen | 683.00MB | 683.00MB
metaspace | -0.00MB | 0.00MB
2022-02-24 16:01:15.680 [main] INFO Engine -
{
"content":[
{
"reader":{
"name":"streamreader",
"parameter":{
"column":[
{
"type":"string",
"value":"DataX"
},
{
"type":"long",
"value":19890604
},
{
"type":"date",
"value":"1989-06-04 00:00:00"
},
{
"type":"bool",
"value":true
},
{
"type":"bytes",
"value":"test"
}
],
"sliceRecordCount":100000
}
},
"writer":{
"name":"streamwriter",
"parameter":{
"encoding":"UTF-8",
"print":false
}
}
}
],
"setting":{
"errorLimit":{
"percentage":0.02,
"record":0
},
"speed":{
"byte":10485760
}
}
}
2022-02-24 16:01:15.699 [main] WARN Engine - prioriy set to 0, because NumberFormatException, the value is: null
2022-02-24 16:01:15.701 [main] INFO PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2022-02-24 16:01:15.701 [main] INFO JobContainer - DataX jobContainer starts job.
2022-02-24 16:01:15.703 [main] INFO JobContainer - Set jobId = 0
2022-02-24 16:01:15.725 [job-0] INFO JobContainer - jobContainer starts to do prepare ...
2022-02-24 16:01:15.726 [job-0] INFO JobContainer - DataX Reader.Job [streamreader] do prepare work .
2022-02-24 16:01:15.726 [job-0] INFO JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2022-02-24 16:01:15.726 [job-0] INFO JobContainer - jobContainer starts to do split ...
2022-02-24 16:01:15.727 [job-0] INFO JobContainer - Job set Max-Byte-Speed to 10485760 bytes.
2022-02-24 16:01:15.728 [job-0] INFO JobContainer - DataX Reader.Job [streamreader] splits to [1] tasks.
2022-02-24 16:01:15.729 [job-0] INFO JobContainer - DataX Writer.Job [streamwriter] splits to [1] tasks.
2022-02-24 16:01:15.753 [job-0] INFO JobContainer - jobContainer starts to do schedule ...
2022-02-24 16:01:15.760 [job-0] INFO JobContainer - Scheduler starts [1] taskGroups.
2022-02-24 16:01:15.762 [job-0] INFO JobContainer - Running by standalone Mode.
2022-02-24 16:01:15.774 [taskGroup-0] INFO TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2022-02-24 16:01:15.783 [taskGroup-0] INFO Channel - Channel set byte_speed_limit to -1, No bps activated.
2022-02-24 16:01:15.783 [taskGroup-0] INFO Channel - Channel set record_speed_limit to -1, No tps activated.
2022-02-24 16:01:15.798 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2022-02-24 16:01:15.899 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[105]ms
2022-02-24 16:01:15.899 [taskGroup-0] INFO TaskGroupContainer - taskGroup[0] completed it's tasks.
2022-02-24 16:01:25.803 [job-0] INFO StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.055s | All Task WaitReaderTime 0.073s | Percentage 100.00%
2022-02-24 16:01:25.804 [job-0] INFO AbstractScheduler - Scheduler accomplished all tasks.
2022-02-24 16:01:25.804 [job-0] INFO JobContainer - DataX Writer.Job [streamwriter] do post work.
2022-02-24 16:01:25.805 [job-0] INFO JobContainer - DataX Reader.Job [streamreader] do post work.
2022-02-24 16:01:25.805 [job-0] INFO JobContainer - DataX jobId [0] completed successfully.
2022-02-24 16:01:25.806 [job-0] INFO HookInvoker - No hook invoked, because base dir not exists or is a file: /opt/module/datax/hook
2022-02-24 16:01:25.807 [job-0] INFO JobContainer -
[total cpu info] =>
averageCpu | maxDeltaCpu | minDeltaCpu
-1.00% | -1.00% | -1.00%
[total gc info] =>
NAME | totalGCCount | maxDeltaGCCount | minDeltaGCCount | totalGCTime | maxDeltaGCTime | minDeltaGCTime
PS MarkSweep | 0 | 0 | 0 | 0.000s | 0.000s | 0.000s
PS Scavenge | 0 | 0 | 0 | 0.000s | 0.000s | 0.000s
2022-02-24 16:01:25.807 [job-0] INFO JobContainer - PerfTrace not enable!
2022-02-24 16:01:25.808 [job-0] INFO StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.055s | All Task WaitReaderTime 0.073s | Percentage 100.00%
2022-02-24 16:01:25.809 [job-0] INFO JobContainer -
任务启动时刻 : 2022-02-24 16:01:15
任务结束时刻 : 2022-02-24 16:01:25
任务总计耗时 : 10s
任务平均流量 : 253.91KB/s
记录写入速度 : 10000rec/s
读出记录总数 : 100000
读写失败总数 : 0
这里写自定义目录标题
datax运行job案例时报错“位置信息错误，您提供的配置文件[/opt/module/datax/plugin/reader/._hdfsreader/plugin.json]不存在. 请检查您的配置文件.”解决办法： 欢迎使用Markdown编辑器
新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格
设定内容居中、居左、居右SmartyPants 创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入
导出导入
欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。
新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：
- 全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；全新的 KaTeX数学公式 语法；增加了支持甘特图的mermaid语法1 功能；增加了 多屏幕编辑 Markdown文章功能；增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；增加了 检查列表 功能。
撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G
直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。
强调文本 强调文本
加粗文本 加粗文本
标记文本
删除文本
引用文本
H2O is是液体。
210 运算结果是 1024.
插入链接与图片链接: link.
图片:
带尺寸的图片:
居中的图片:
居中并且带尺寸的图片:
当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。
如何插入一段漂亮的代码片去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.
// An highlighted block var foo = 'bar';生成一个适合你的列表
项目
项目
项目
- 项目1项目2项目3
一个简单的表格是这么创建的：
| 项目 | Value |
|---|---|
| 电脑 | $1600 |
| 手机 | $12 |
| 导管 | $1 |
使用:---------:居中
使用:----------居左
使用----------:居右
| 第一列 | 第二列 | 第三列 |
|---|---|---|
| 第一列文本居中 | 第二列文本居右 | 第三列文本居左 |
SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：
| TYPE | ASCII | HTML |
|---|---|---|
| Single backticks | 'Isn't this fun?' | ‘Isn’t this fun?’ |
| Quotes | "Isn't this fun?" | “Isn’t this fun?” |
| Dashes | -- is en-dash, --- is em-dash | – is en-dash, — is em-dash |
-
Markdown
- Text-to- HTML conversion tool Authors
- John
- Luke
一个具有注脚的文本。2
注释也是必不可少的Markdown将文本转换为 HTML。
KaTeX数学公式您可以使用渲染LaTeX数学表达式 KaTeX:
Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N Gamma(n) = (n-1)!quadforall ninmathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分
Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t . Gamma(z) = int_0^infty t^{z-1}e^{-t}dt,. Γ(z)=∫0∞tz−1e−tdt.
新的甘特图功能，丰富你的文章你可以找到更多关于的信息 LaTeX 数学表达式here.
关于 甘特图 语法，参考 这儿, UML 图表
可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：
这将产生一个流程图。:
关于 Mermaid 语法，参考 这儿, FLowchart流程图
我们依旧会支持flowchart的流程图：
关于 Flowchart流程图 语法，参考 这儿. 导出与导入 导出
如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。
导入如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。
mermaid语法说明 ↩︎
注脚的解释 ↩︎
