hadoop 伪分布搭建

1. 创建目录

mkdir /opt/soft

mkdir /opt/data

ls /opt

2.java配置

（1）上传 jdk 压缩文件到 soft 目录

（2）解压 jdk 压缩文件到 opt 目录，并将 jdk1.8.0_112 目录变为 jdk

cd /opt

tar -zxvf soft/jdk-8u202-linux-x64.tar.gz

mv jdk1.8.0_202/ jdk

（3）在 hadoop-eco.sh 中添加相关内容后，保存并退出

输入：vi /etc/profile.d/hadoop-eco.sh

添加：

JAVA_HOME=/opt/jdk

PATH=$JAVA_HOME/bin:$PATH

输入：source /etc/profile.d/hadoop-eco.sh

（4）查看java版本

输入：java -version

（5）免密操作：

生成密钥

输入：ssh-keygen -t rsa

将本机的公钥拷贝给其他机器

输入：ssh-copy-id -i root@localhost

3.hadoop配置

（1）上传 Hadoop 压缩文件到 soft 目录

（2）解压 Hadoop 压缩文件到 opt 目录，并将Hadoop.2.7.3 目录变为 Hadoop

cd /opt

tar –zxvf soft/hadoop.2.7.1.tar.gz

mv hadoop.2.7.1/ hadoop

（3）在 hadoop-eco.sh 中追加相关内容后，保存并退出。追加的内容如下：

输入：vi /etc/profile.d/hadoop-eco.sh

添加：

HADOOP_HOME=/opt/hadoop

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

输入：source /etc/profile.d/hadoop-eco.sh

1. 在创建分布式时，需先手动创建 Hadoop 工作需要的目录

先创建第一级目录

mkdir /opt/hadoop-record/

然后在hadoop-record里面创建四个目录

NameNode 数据存放目录：mkdir /opt/hadoop-record/name

SecondaryNameNode 数据存放目录：mkdir /opt/hadoop-record/secondary

DataNode 数据存放目录：mkdir /opt/hadoop-record/data

临时数据存放目录：mkdir /opt/hadoop-record/tmp

1. 配置hadoop

cd /opt/hadoop/etc/hadoop

hadoop-env.sh 的配置：修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk

yarn-env.sh 的配置：修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk

core-site.xml 的配置：

fs.defaultFS

hdfs://localhost:9000

hadoop.tmp.dir

file:///opt/hadoop-record/tmp

hdfs-site.xml 的配置：

dfs.replication

1

dfs.namenode.name.dir

file:///opt/hadoop-record/name

dfs.datanode.data.dir

file:///opt/hadoop-record/data

mapred-site.xml 的配置：

mapreduce.framework.name

yarn

yarn-site.xml 的配置：

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

1. 查看hadoop版本

输入： hadoop version

（7）格式化 NameNode

输入：hdfs namenode -format

（8）启动 HDFS

输入：start-dfs.sh

（9）启动 YARN

输入：start-yarn.sh

1. 关闭防火墙

systemtcl status firewalld.service

systemtcl stop firewalld.service