Ubuntu hadoop2.7.7伪分布式搭建流程

目录

• 前言
• 1.安装Linux
• 2. 测试是否连接互联网
• 3. 查看ip 以及网关
• 4. 设置固定ip和网关
• 5. 关闭防火墙:
• 6. 安装vim:
• • 6.1. 遇见问题：
  • 6.2. 解决方法：
• 7. 确认openssh-client、openssh-server是否安装，并安装
• • 7.1. 遇见问题：
  • 7.2. 解决方法：
• 8. 修改主机名
• 9. 免密登录
• • 9.1. 测试是否免密登陆成功
• 10. 解压安装包并配置环境
• 11. 修改配置文件
• 12. 格式化
• 13. 测试
• • 13.1. 遇到问题：
  • 13.2. 解决方法：
  • • 方法一：
    • 方法二：

---

前言

这是本人第一次写，欢迎多多指导和给意见谢谢 ⊙ω⊙

本篇文章参考了我老师给的安装文档

如果有遇到的问题并已经解决的也可以发给我，我合并到问题和解决方法里面
2333

---

文件上传方法：

1. 可在安装完ssh后链接Xshell rz 命令进行上传（不能上传文件夹） / 链接Xfpt上传文件到虚拟机中
2. 可以在vm里面给虚拟机安装vm tools，安装好后可以直接拖拽经Ubuntu里面进行

hadoop和jdk的分享链接：
jdk：
链接：https://pan.baidu.com/s/1zf8XXLoauuKrUrP2tyhrjw
提取码：i4m0
hadoop：
链接：https://pan.baidu.com/s/1BiOUNV8DeLHYlSvXkPFxKw
提取码：lm08
本文章的全部百度云链接后期如果阿里云盘能分享了都会换成阿里云盘的链接

---

1.安装Linux

ubuntu16.04.6 的镜像文件
链接：https://pan.baidu.com/s/1pNMRKlzZjNwFNypHyl3gXQ
提取码：7law

2. 测试是否连接互联网

ping www.baidu.com

ping不了自己去找方法后面的写完这里懒得写

3. 查看ip 以及网关

ifconfig

4. 设置固定ip和网关 5. 关闭防火墙:

查看防火墙状态

sudo ufw status

输出：Status: inactive

关闭防火墙

sudo ufw disable

输出：防火墙在系统启动时自动禁用

再次确认防火墙状态

sudo ufw status

输出：Status: inactive

6. 安装vim:

sudo apt-get install vim

6.1. 遇见问题：

6.2. 解决方法：

sudo apt-get purge vim-common
sudo apt-get update
sudo apt-get upgrade
sudo apt-get install vim

7. 确认openssh-client、openssh-server是否安装，并安装

dpkg -l | grep openssh

此为未安装，所以需要执行以下命令

sudo apt-get install openssh-client
sudo apt-get install openssh-server

7.1. 遇见问题：

这是因为,openssh-server是依赖于openssh-clien的,那ubuntu不是自带了openssh-client吗?原由是自带的openssh-clien与所要安装的openssh-server所依赖的版本不同,这里所依赖的版本是1:7.2p2-4

7.2. 解决方法：

sudo apt-get install openssh-client=1:7.2p2-4

8. 修改主机名

sudo vim  /etc/hosts

修改主机名为 node0 （X为看你自己该教程默认都为0）

sudo vim /etc/hostname

修改主机名为 node0（X为看你自己该教程默认都为0）

9. 免密登录

通过ssh-keyen生成一个RSA的密钥对

ssh-keygen -t rsa 

公钥追加到~/.ssh/authorized_keys文件中

ssh-copy-id -i  ~/.ssh/id_rsa.pub 

9.1. 测试是否免密登陆成功

ssh node0 ///(X为看你自己改教程默认都为0)

10. 解压安装包并配置环境

上传方法在前言下面

重新创建一个名为hadoop的文件夹（也可以是其他只不过记得修改后面的所有路径）将压缩包都放入其中再解压缩

mkdir XXXX

tar zxvf jdk-8u144-linux-x64.tar.gz
ln  -s  jdk1.8.0_144  jdk
vim  ~/.bashrc

export JAVA_HOME=/home/用户名/hadoop/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.

Esc->:wq

source  ~/.bashrc

tar -zxvf hadoop-2.7.3.tar.gz
ln -s hadoop-2.7.3 hadoop
vim ~/.bashrc

export HADOOP_HOME=/home/用户名/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

Esc->:wq

source  ~/.bashrc

11. 修改配置文件

地址：/home/用户名/hadoop/hadoop/etc/hadoop
修改hadoop-env.sh

vim hadoop-env.sh

找到JAVAHOME，修改为export JAVA_HOME=/home/用户名/hadoop/jdk

export JAVA_HOME=/home/用户名/hadoop/jdk

修改hdfs-site.xml 并添加以下代码（不确定是否能称为代码）:

  dfs.replication
  1

修改core-site.xml 并添加以下代码（不确定是否能称为代码），注意主机名是否为当前机的:

   fs.defaultFS
   hdfs://node0:9000
	



   hadoop.tmp.dir
   /home/用户名/hadoop/hadoop/tmp
	

先复制一份mapred-site.xml.template将其命名为mapred-site.xml （若有请跳过）
cp mapred-site.xml.template mapred-site.xml

修改mapred-site.xml 并添加以下代码（不确定是否能称为代码）:

   mapreduce.framework.name
   yarn
	

修改yarn-site.xml 并添加以下代码（不确定是否能称为代码），注意主机名是否为当前机的:

   yarn.resourcemanager.hostname
   node0
	



   yarn.nodemanager.aux-services
   mapreduce_shuffle
	

12. 格式化

在/home/用户名/hadoop/hadoop/etc/hadoop 该路径中进行格式化

hdfs namenode -format

13. 测试

start-all.sh
Jps

确认是5个教程（除了jps进程）如果不是去logs内查看对应的log这问题。
再通过Web界面访问：
HDFS: XXX.XXX.XXX.XXX:50070 XXX.XXX.XXX.XXX:50090
Yarn: XXX.XXX.XXX.XXX:8088 XXX.XXX.XXX.XXX此为自己虚拟机的ip地址

13.1. 遇到问题：

yarn可以在虚拟机内访问但无法在主机访问则先确认自己的端口的情况

13.2. 解决方法：

先用

netstat -tpnl | grep java		

此命令查看端口调用情况

发现是没设置端口给外网ip
以下有两种方法（！！！！！若要修改记得先关hadoop再修改）：

方法一：

（此方法本人并未使用过这个链接的方法"https://www.cnblogs.com/zmoumou/p/10001856.html”的方法应该是没问题的）
去master主机中：更改/etc/hosts文件

方法二：

（该方法我忘了从哪个网站看到的，我是结合了看到的和方法一）
将此添加到yarn-site.xml内

    
        yarn.resourcemanager.webapp.address
        0.0.0.0:8088
    

重新启动，再次确认进程是否齐全和是否能打开对应web

至此hadoop搭建完成
hbase其他的后面随缘写