HaDoop安装配置笔记

参考博客：
Hadoop伪分布搭建_小Chou熊的博客-CSDN博客
Linux中Hadoop的环境搭建 - L波涛 - 博客园 (cnblogs.com)
Hadoop安装搭建伪分布式教程（全面）吐血整理

在此之前

你需要配置变量环境，可以参照[[1.jdk配置]]
在profile中的

export HADOOP_HOME=/bigData/hadoop-2.8.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

你需要配置以下三个文件

因为Hadoop是运行在jdk之上的，所以需添加jdk变量位置
在hadoop-env.sh 添加
export JAVA_HOME=/root/software/jdk1.8.0_181

1. core-site.xml

你需要在Hadoop根目录下，创建tmp 文件夹，mkdir tmpip地址，需要使用ifconfig命令查看内网ipip地址后的9000端口可能存在占用问题，导致HADOOP无法启动，所以需要你修改


 fs.defaultFS
hdfs://192.168.182.128:9000




hadoop.tmp.dir
/root/software/hadoop-2.7.5/tmp

2. mapred-site.xml

因为mapred-site.xml.template 是存在的
mapred-site.xml不存在
所以你需要复制一份
cp mapred-site.xml.template mapred-site.xml


mapreduce.framework.name
yarn

3. yarn-site.xml


    yarn.nodemanager.aux-services
    mapreduce_shuffle


												 
    mapreduce.framework.name
	yarn

格式化HDFS集群，启动yarn服务

hadoop namenode -format

start-dfs.sh

start-yarn.sh

你可以使用 jps，来验证>启动结果：

启动结果 start-dfs.sh启动结果

9226 DataNode
8525 SecondaryNameNode
8334 NameNode

start-yarn.sh启动结果

9659 NodeManager
9535 ResourceManager

其他问题 1. 无法访问web页面

防火墙没有关闭

参考博客：
Linux关闭防火墙命令_baidu_36124158的博客-CSDN博客_linux关闭防火墙
Linux关闭防火墙命令 - 简书 (jianshu.com)
查看开启情况：

systemctl status firewalld

关闭防火墙：

systemctl stop firewalld

端口未开放端口被占用 2. 配置ssh密钥

在多次启动关闭HADOOP中，需要多次输入密码，这个过程就会过于麻烦，所这个时候就需要ssh密钥直接启动登录

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys