HDFS-服役新服务器及数据存储均衡

• HDFS-服役新服务器
• • 1 环境准备
  • 2 服役新节点具体步骤
  • • 2.1 启动hadoop104 dataNode
    • 2.2 启动hadoop104 nodeManager
    • 2.3 刷新nameNode
    • 2.4 检查DN节点
    • 2.5 Hadoop104上传文件
  • 3 服务器间数据均衡
  • • 3.1 开启数据均衡命令
    • 3.2 停止数据均衡命令

Hadoop版本：3.1.3
需求：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

1. 在 hadoop101 主机上再克隆一台 hadoop104 主机
2. 修改 IP 地址和主机名称和域名映射

# 修改IP地址文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改主机名称
vim /etc/hostname
# 添加域名映射
vim /etc/hosts

3. 删除 hadoop104 上 Hadoop 的历史数据，data 和 log 数据
4. 配置hadoop4到其它服务器免登录操作
5. 补充workers，添加Hadoop04
6. 检查是否有启动白名单，编辑whitelist，分发

hdfs --daemon start datanode

yarn --daemon start nodemanager

hdfs dfsadmin -refreshNodes

[develop@hadoop104 ~]$ hadoop fs -put hadoop104.txt /

文件上传，Hadoop104服务器存在副本数据

思考：如果数据不均衡（hadoop105 数据少，其他节点数据多），怎么处理？

由于数据存储最短路径原则，会导致dataNode节点存储数据不均衡，需要手动执行集群均衡命令
注意：由于 HDFS 需要启动单独的 Rebalance Server 来执行 Rebalance 操作，所以尽量不要在 NameNode 上执行 start-balancer.sh，而是找一台比较空闲的机器。

[develop@hadoop104 sbin]$ start-balancer.sh -threshold 20

对于参数 20，代表的是集群中各个节点的磁盘空间利用率相差不超过 20%，可根据实际情况进行调整

[develop@hadoop104 sbin]$ stop-balancer.sh