hadoop集群:关于Could not obtain block:报错问题
在访问hdfs时,遇到了上述问题,
属于是节点问题:
然后依次查看,防火墙是否关闭,DataNode是否启动,数据块是否损坏:
检查得知问题是其二,然后在命令行对应主机重启hadoop-deamon start datanode, jps查看是已经启动了的,
再试试执行代码是否报错,
同样问题,
还有DataNode经常会自动挂掉,
…
去web端看一下(主机:9870)
在LIVE NODE中发现其他节点没有真正启动起来
好了
那么重启呗,
重新格式化
去配置文件里找hdfs数据存储路径:
所有节点删掉$HADOOP_HOME%/data/dfs/data/current
然后重启hadoop集群(关掉安全模式%HADOOP_HOME% $bin/hdfs dfsadmin -safemode leave)
也可以在web端看到数据被删掉了,
这里楼主查看发现还有之前的数据目录,但是内容已经是丢失了的
需要把这些损坏的数据块也删除
执行hdfs fsck
hdfs fsck
然后把数据重新上传再执行就OK了。



