栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【无标题】hadoop全分布式模式

【无标题】hadoop全分布式模式

1.实训目的和内容
    理解hadoop的全分布模式原理

熟练掌握部署Fully-Distributed Mode(全分布模式)

先决条件

支持平台:linux、window

所需软件:3台或5台虚拟机,安装jdk、ssh、hadoop

参考官网:Apache Hadoop 3.3.1 – Hadoop Cluster Setup

IP

主机名

192.168.121.134

hadoop01

192.168.121.135

hadoop02

192.168.121.136

hadoop03

2.实训步骤

1. 克隆虚拟机,修改网络配置和主机名

从原本的hadoop克隆出hadoop1、hadoop2和hadoop3

nmtui命令网络配置并激活,注意:/24是子网掩码设置,必须要添加。

修改主机名   hadoop01,hadoop02,hadoop03

三台都需要关闭防火墙

克隆三台虚拟机,选择完整克隆

 

 

 Hadoop02和Hadoop03和他一样的

然后三台都关闭自己的防火墙并查看状态

 

 

 三台均配 /etc/hosts

 

 测试三台之间是否互通

 

2. 配置多台虚拟机ssh免密登录

在hadoop01上设置命令

Ssh-keygen 钥匙生成器

Ssh-copy-id 主机名(hadoop01 hadoop02  hadoop03)     拷贝公钥

Ssh 主机名(hadoop01 hadoop02  hadoop03) 测试免费

 

 

 

Hadoop02和hadoop03和上面一样。

3. 配置hadoop完全分布模式

(1)在hadoop01上配置jdk

上传并解压jdk和hadoop  jar包

 

 

(2)在Hadoop01上配置环境变量

vim  /etc/profile 

编辑内容如下:

# jdk

# hadoop

# jdk

export JAVA_HOME=/export/servers/jdk

export PATH=$PATH:$JAVA_HOME/bin

# hadoop

export HADOOP_HOME=/export/servers/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 验证成功   

 

(2)配置完全分布式集群环境

1配置 hadoop-env.sh  第25行

 

2配置core-site.xml  ##是hadoop的核心配置文件。配置了HDFS的主进程NameNode。

        fs.defaultFS

        hdfs://hadoop01:9000

   

 

3配置hdfs-site.xml,配置用于设置HDFS的NameNode和DataNode两大进程

   

        dfs.replication

        3##配置HDFS的副本数目,一般默认为3.

   

   

        dfs.namenode.secondary.http-address

        hadoop02:50090

   

 

4配置mapred-site.xml,是MapReduce的核心配置文件

cp mapred-site.xml.template mapred-site.xml先拷贝一份,然后用mapred-site.xml进行配置。

 

 

        mapreduce.framework.name

        yarn

     

5配置yarn-site.xml文件,是YAEM的核心框架,要指定yarn集群的管理者

   

        yarn.nodemanager.aux-services

        mapreduce_shuffle

   

   

        yarn.resourcemanager.hostname

        hadoop01

   

 

6配置slaves文件

进去之后先删除里面的内容,一般出现的是localhost,填入下面内容。

Hadoop01

Hadoop02

Hadoop03

 

 

4,将hadoop01的文件分发到hadoop02、hadoop03

scp /etc/profile hadoop02:/etc/profile

scp /etc/profile hadoop03:/etc/profile

scp -r /export/ hadoop02:/

scp -r /export/ hadoop03:/

然后在Hadoop02和hadoop03启动服务,source   /etc/profile

5. 执行hadoop集群初始化并启动

(1)格式化文件系统

在hadoop01上执行格式化系统

hdfs namenode  -format

 

(2)启动hadoop程序

在hadoop01上启动节点

start-dfs.sh  ##在主节点

start-yarn.sh

 

最后输入三个虚拟机都输入jps,发现Hadoop01有五个节点,hadoop02有四个,Hadoop03有三个。

(3)网页浏览namenode节点

名称节点 - http://192.168.10.123:50070/

 注:所有节点也可以单独启动

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

hadoop-daemon.sh start resourcemanager

hadoop-daemon.sh start nodemanager

hadoop-daemon.sh start secondarynamenode

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/752394.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号