栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop集群 增加节点/增加磁盘

Hadoop集群 增加节点/增加磁盘

  1. 在虚拟机中新建一个机器。

  2. 设置静态IP

  3. 将修改/etc/hosts

     192.168.102.10 master
     192.168.102.11 slave-1
     192.168.102.12 slave-2
     192.168.102.13 slave-3
     192.168.102.14 slave-4

    在然后在其他节点hosts文件中增加

     192.168.102.14 slave-4
  4. 修改hostname 命令hostnamectl set-hostname Slave-4 通过hostname命令查看修改结果

  5. 关闭防火墙

     systemctl stop firewalld.service      //停止firewall
     systemctl disable firewalld.service //禁止firewall开机启动
     systemctl status firewalld.service //查看防火墙状态
  6. 节点免密码登录 使用命令

     ssh-keygen -t rsa(一路回车)

    生成id_rsa(私钥)、id_rsa.pub(公钥)然后

     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    将Salve-4的公钥拷贝到其他节点上,再将其他节点的公钥拷贝到Salve-4上

     Salve-4节点上执行
     ssh-copy-id -i  Master
     ssh-copy-id -i  slave-1
     ssh-copy-id -i  slave-2
     ssh-copy-id -i  slave-3(这里没有执行,待把slave-3修复了再执行)

    在其他节点执行

     ssh-copy-id -i  slave-4

    再用ssh验证相互之间的免密码登陆

     ssh slave-4(master,等hostname)
  7. 在/usr/local/hadoop2.7.2/etc/hadoop/slaves 中增加slave-4

  8. 将其他一个节点的/etc/profile,/usr/local目录下文件传输到slave-4中,目录位置不变

     scp -r /etc/profile root@slave-4:/etc/
     scp -r /usr/local root@slave-4:/usr/
  9. 修改系统默认JDK

     update-alternatives --install /usr/bin/java java /usr/local/jdk1.8/bin/java 300
     update-alternatives --install /usr/bin/java javac /usr/local/jdk1.8/bin/javac 300
     update-alternatives --install /usr/bin/jar jar /usr/local/jdk1.8/bin/jar 300
     update-alternatives --config java
     然后选择
        4           /usr/local/jdk1.8/bin/java
     这一行
  10. 在虚拟磁盘扩容,已经实现了虚拟机中的扩容(分区,创建文件系统,挂载),这里实现HDFS中识别出增加的容量 删除hdfs-site.xml中dfs.data.dir指定的文件

      
    dfs.data.dir  
    /usr/local/data  
    datanode上数据块的物理存储位置  
    

    删除core-site.xml中hadoop.tmp.dir指定的文件,删除/usr/local/hadoop 放着各个节点ID会不一样。

    
    hadoop.tmp.dir
    /usr/local/hadoop/tmp
    
    

    格式化namenode

    hdfs namenode -format

    格式化完毕,原来的数据全部被清空了。产生了一个新的hdfs 查看信息

     hdfs dfsadmin -report
  11. 第10个步骤可能是多余的没必要 在增加磁盘的情况下,只需要在挂载完硬盘之后修改hdfs-site.xml文件即可。

      
     dfs.data.dir  
     /usr/local/data,/newdisk/hadoop-data/  
     datanode上数据块的物理存储位置  
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/582522.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号