栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

修改主机名/删除节点/多次初始化导致无法正常开启分布式集群

修改主机名/删除节点/多次初始化导致无法正常开启分布式集群

修改主机名/删除节点/多次初始化导致无法正常开启分布式集群

我一开始设定了master,slave1,slave2三个结点,分布式集群测试通过了,后来改了一下主机名,还把slave2结点删了,就怎么改集群都没办法正常上传文件,走了无数弯路后总结了以下方法解决:

    写在最前面:以下内容【全部结点都要改!】
    vi /etc/hosts(原来写了的master和slave,改主机名了记得改主机名,删了结点的记得改
    vi /home/jmxx/hadoop/etc/hadoop/slaves(写slave结点,删了的记得改,不改的话jps正常但active nodes显示0
    vi /home/jmxx/hadoop/etc/hadoop/core-site.xml(重要的事说三遍,所有结点都要打开虚拟机重新改
    vi /home/jmxx/hadoop/etc/hadoop/yarn-site.xml(如果修改了主机名的有master的都要改,再说一遍,把主机名master改成啥了就写成啥

    全部修改完后关闭集群:
    stop-dfs.sh
    stop-yarn.sh
    如果上面哪里原来设置错误,会导致结点不能正常关闭,不用管它

    删除最开始建立集群时fds存放的hadoop的数据
    rm -rf /home/jmxx/hadoopdata/*
    删除后新建目录
    mkdir hadoopdata/tmp
    mkdir hadoopdata/data
    mkdir hadoopdata/name
    重新初始化
    cd /home/jmxx/hadoop/bin/
    hdfs namenode -format

    应该就改好了,重新开启集群:
    start-dfs.sh
    start-yarn.sh
    再次运行测试下pi行不行:
    hadoop jar ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar pi 10 10

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/762082.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号