栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop学习之搭建部署全分布环境

Hadoop学习之搭建部署全分布环境

环境:

ubuntu16.04

jdk1.8

第一步:下载hadoop安装包

链接:https://pan.baidu.com/s/1dK25Nfw1ToSJirS8nn3BLA 
提取码:LYF1

下载为hadoop-2.7.3

解压

cd ~
tar -zxvf hadoop-2.7.3.tar.gz

创建软链接

ln -s hadoop-2.7.3 hadoop

设置环境变量

vi ~/.bashrc

在该文件最后添加加入

export HADOOP_HOME=~/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 保存退出

环境变量马上生效

source ~/.bashrc

验证环境变量是否配置

whereis hdfs

whereis start-all.sh

第二步:克隆主机

把ubuntu关闭

在右侧点击要克隆的主机,点击右键,选择管理——>克隆

下一步

下一步

 

选择创建完整克隆

 

 修改名字位置按照自己电脑需要来修改

 将这个步骤执行三次得到三台主机即可

最后可得

准备工作完成

第二步:hadoop配置文件准备前工作

三个主机都打开

1.修改主机名
sudo vi /etc/hostname

将原来内容删除,增加如下内容

node1#这里的node1只是主机node1,2,3,分别改为node2,node3

 重启生效

sudo reboot

三个主机分别修改!!!即可

2.修改映射ip地址及主机名

对三台虚拟机,分别依次修改/etc/hosts

sudo vi /etc/hosts

查看IP地址,每个主机ip都不一样,都得查看

ifconfig

inet addr 字段为ip地址 

sudo vi /etc/hosts后为下图

删除原有字段

添加如下内容,该ip地址都为每个主机的ip,根据实际情况修改!!!

192.168.163.129 node1
192.168.163.130 node2
192.168.163.131 node3

 

 三台主机都需要这样操作!!!

3.免密登录设置

在主机node1生成密匙对

ssh-keygen -t rsa

敲击三次回车即可得到id_rsa.pub和id_rsa通过命令ls ~/.ssh查看

 

将id_rsa.pub复制到node1、node2、node3主机去

ssh-copy-id -i ~/.ssh/id_rsa.pub node1
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3

 

利用免密登录验证

ssh node1
ssh node2
ssh node3

如每次ssh主机都可变换名称即可!!!如

ssh node2

可看到名称改变说明成功!!!

4.安装NTP服务

三台主机都需要安装,分别按下步骤安装!!!

安装时需联网

sudo apt-get install ntp

查询是否运行,有ntp字样,说明运行了

sudo dpkg -l | grep ntp

 

6.设置Hadoop配置文件

所有主机都得配置!!!

共有6个文件分别为:

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaver

下面分别配置

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/434098.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号