上一篇文章,介绍了动态扩容前的基础配置。
本文将讲述HDFS和Hbase动态增删的具体内容。
一、HDFS动态增节点---slave3
开始之前要保证其他节点开启Hadoop集群,毕竟是动态的嘛
1.安装Hadoop (slave3)
把其他节点上的hadoop发送到slave3节点上
scp -r /usr/hadoop root@slave3:/usr/
2.修改slaves文件(所有节点)
#加入slave3 vi $HADOOP_HOME/etc/hadoop/slaves slave1 slave2 slave3
3.启动节点 slave3
$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode $HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager
4.查看状态 master
hdfs dfsadmin -refreshNodes hdfs dfsadmin -report
效果图:
也可以通过web端进行查看:
二、HDFS动态删节点----slave2
在所有的节点上
1.修改hdfs-site.xml文件
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop/ vi hdfs-site.xmldfs.hosts.exclude /usr/hadoop/hadoop-2.7.3/etc/hadoop/excludes
2.创建excludes文件,加入slave2
touch excludes vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/excludes slave2
3.关闭节点进程
在slave2上
sbin/hadoop-daemon.sh stop datanode sbin/yarn-daemon.sh stop nodemanage
4.查看状态
在master上
hdfs dfsadmin -refreshNodes hdfs dfsadmin -report
效果图:
也可以通过web端进行查看:
图中slave2的状态显示Decommission in Progress,表示slave2退出了集群
三、Hbase动态增删---slave3
Hbase的动态增删要比HDFS的简单一些。当然,要先保证其他节点的Hbase是开启的。
1.安装hbase 在slave3上
把其他节点上的hbase发送到slave3节点上
scp -r /usr/hbase root@slave3:/usr/
2. 修改regionserver文件(所有节点)
#在hbase的conf路径下 vi regionserver slave1 slave2 slave3
3.开启节点 (在slave3上)
#在bin目录下 ./hbase-daemon.sh start regionserver 之后可以进入hbase shell 通过status 查看状态 在新的节点上进入hbase shell 然后输入balance_switch true 过一会,你就会发现regions 已经负载均衡了。
同理要删除slave3节点则需要在slave3上运行
#bin目录下 ./hbase-daemon.sh stop regionserver 或者 graceful_stop.sh regionser(主机名) 之后可以进入hbase shell 通过status 查看状态
当然,也可以通过hbase web来进行查看状态,在这里就不再详细展示了。
至此,HDFS与Hbase的动态增删节点就讲完了,希望能对大家有所帮助。感谢大家的支持。



