栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

开发小计-hive数据异常(二)

开发小计-hive数据异常(二)

最近执行hive 脚本重跑数据的时候,出现数据重跑失败,创建的是外表。重跑数据报以下异常:

// ${hdfsPath} 为具体的hdfs 路径,此处做伪代码处理

INFO Failed with exception java.io.IOException: rename for src path: ${hdfsPath} to dest path:${hdfsPath} returned false
INFO FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. java.io.IOException: rename for src path:${hdfsPath} to dest path:${hdfsPath} returned false

​

以上错误基本信息是发生IO 异常,无法重命名hdfs 地址,重跑数据需要删除原始数据,应该是没有删除,所以执行以下命令进行数据删除

一、先查询目标dt 是否存在

    hadoop fs -ls    ${url} 

二、执行脚本删除

   hadoop fs -rm -r  ${url}

删除后重试成功

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/335842.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号