栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

DataX开发问题集锦(持续更新中)

DataX开发问题集锦(持续更新中)

1、Datax同步数据时报错出现脏数据

(1)问题现象

{"message":
"No enum constant com.alibaba.datax.plugin.unstructuredstorage.reader.
UnstructuredStorageReaderUtil.Type.BIGINT","record"......}

(2)问题原因

DataX不能完全支持所有Hive表的数据类型(本表中不支持bigint,所以报脏数据),仅仅支持一下数据类型

(3)解决方式

将DataX启动文件中的hdfsreader中的column字段的类型改成DataX支持的类型
(本表中将bigint改成long)

任务重跑成功

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/714551.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号