栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

集群分发、分布式集群格式化、集群单点启动、启动停止集群

集群分发、分布式集群格式化、集群单点启动、启动停止集群

一、集群分布

①:把module目录拷贝到hadoop100:

[root@hadoop102 opt]# cd /opt

[root@hadoop102 opt]# scp -r module/ hadoop100:/opt/

②:把module目录拷贝到hadoop101:

[root@hadoop102 opt]# rsync -av module hadoop101:/opt/

③:把 /etc/profile拷贝到hadoop100 hadoop101

[root@hadoop102 opt]# rsync -av /etc/profile hadoop101:/etc

[root@hadoop102 opt]# rsync -av /etc/profile hadoop100:/etc

④:在hadoop100和hadoop101上分别要进行source /etc/profile

[root@hadoop100 opt]# source /etc/profile

[root@hadoop101 opt]# source /etc/profile

二、分布式集群格式化

①:删除data目录和logs目录

分布式集群第一次启动之前要格式化格式化之前,要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉

[root@hadoop101 opt]# cd /opt/module/hadoop-3.1.3

[root@hadoop101 opt]# rm -rf data

[root@hadoop101 opt]# rm -rf logs

②:在指定namenode运行的服务器上执行格式化:

(namenode指定在hadoop100上运行的)

[root@hadoop100 hadoop-3.1.3]# hdfs namenode -format

三、集群单点启动

在每个节点上分别启动下边表格的进程:

hadoop100

hadoop101

hadoop102

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

Hadoop100:

hdfs --daemon start namenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop101:

yarn --daemon start resourcemanager

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop102:

hdfs --daemon start secondarynamenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

(1)启动hdfs相关

hdfs --daemon start namenode

hdfs --daemon start datanode

(2)启动yarn相关

yarn --daemon start resourcemanager

yarn --daemon start nodemanager

四、启动停止集群

①:启动集群:

如果集群上已经启动hadoop相关程序,可以先执行停止。

在hadoop100上执行以下脚本,用来启动hdfs:

[root@hadoop100] start-dfs.sh

在hadoop101上执行以下脚本,用来启动yarn:

[root@hadoop101] start-yarn.sh

②:停止集群:

在hadoop100上执行以下脚本,用来停止hdfs:

[root@hadoop100] stop-dfs.sh

在hadoop101上执行以下脚本,用来停止yarn:

[root@hadoop101] stop-yarn.sh

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/673689.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号