栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【hive】hive任务报错does not have enough number of replicas.

【hive】hive任务报错does not have enough number of replicas.

任务报错信息:Caused by: java.io.IOException: Unable to close file because the last blockBP-xxxx:blk_xxxx does not have enough number of replicas.

通过查看hdfs日志分析,在任务执行对应时间点namenode rpc处理时长明显耗时增长

说明hdfs性能不足,在大量写入或者删除的场景下会导致该问题。

查看namenode的审计日志分析create和delete操作较之前多了几倍

解决办法:开启IBR特性,减少块上报频率,降低nn压力

dfs.namenode.file.close.num-committed-allowed 调整为1
dfs.blockreport.incremental.intervalMsec调整为1000

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/746341.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号