栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

wordcount job测试超时问题解决

wordcount job测试超时问题解决

wordcount job测试超时问题解决

问题

在完成MapReduce模块搭建后,首先用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。无奈的是,跑了很多次都报出同样的错误,一查原来是三台机子时间不一样所导致的。问题报错为SYSTEM TIMES ON MACHINES MAY BE OUT OF sync…

下图是出错原因,FAILED主要原因是TIME_OUT,也就是时间不同步导致的。

之后就需要对此进行解决了,根据报错原因,我查找了很多篇CSDN文章,参照他人的解决办法

解决过程

也尝试了不少方法,终于解决了。。。如果和我有同样问题的小伙伴,不妨试试

  1. 检查是否安装了ntp服务是否已经开启

sudo rpm -qa | grep ntp

fontpackages-filesystem-1.41-1.1.el6.noarch
ntp-4.2.6p5-1.el6.centos.x86_64
ntpdate-4.2.6p5-1.el6.centos.x86_64
这说明ntp服务已开启
不需要yum -y install ntp ntpdate

  1. 设置系统时间和网络时间一致

ntpdate cn.pool.ntp.org

对每个主机进行一次这样的命令


3.配置完毕后,再start-dfs.sh start-yarn.sh 进行job测试就可以SUCCESSFULLY!圆满!

终于解决了!!一个错误需要花费N倍的时间去解决-----

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/434113.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号