1、新建一个虚拟机,可参考这篇,有详细的过程
(92条消息) Hadoop 新建一个虚拟机详细步骤(保姆式教程)_小镭敲代码的博客-CSDN博客
2、 查看虚拟机的IP地址
ip a
ifup ens33
ip a
在Xshell里面新建一个会话
3、配置java环境
现在/opt里创建一个soft文件
(1)上传 jdk 压缩文件到 soft 目录。
(2)解压 jdk 压缩文件到 opt 目录,并将 jdk1.8.0_112 目录变为 jdk。
cd /opt
tar -zxvf soft/jdk-8u112-linux- x64.tar.gzmv jdk1.8.0_112/ jdk
(3)在 hadoop-eco.sh 中添加相关内容后,保存并退出。
输入:vi /etc/profile.d/hadoop-eco.sh
JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
输入:source /etc/profile.d/hadoop-eco.sh (保存并使环境生效)
输入:java -version(查看java是否配置成功)
4、配置hadoop环境(前部分大致和配置java环境一样)
1)上传 Hadoop 压缩文件到 soft 目录
2)解压 Hadoop 压缩文件到 opt 目录,并将Hadoop.2.7.1 目录变为 Hadoop
cd /opt
tar –zxvf soft/hadoop.2.7.1.tar.gz
mv hadoop.2.7.1/ hadoop
配置hadoop环境变量
(3)输入:vi /etc/profile.d/hadoop-eco.sh
在 hadoop-eco.sh 中追加相关内容后,保存并退出。追加的内容如下:
HADOOP_HOME=/opt/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
(4)输入:source /etc/profile.d/hadoop-eco.sh
(5) 在创建分布式时,需先手动创建 Hadoop 工作需要的目录
(a)NameNode 数据存放目录为 /opt/hadoop-record/name。
(b)SecondaryNameNode 数据存放目录为 /opt/hadoop-record/secondary。
(c)DataNode 数据存放目录为 /opt/hadoop-record/data。
(d)临时数据存放目录为 /opt/hadoop-record/tmp。
(6)hadoop-env.sh 的配置:
修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk
(7)yarn-env.sh 的配置:
修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk
(8)core-site.xml 的配置:
fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir file:///opt/hadoop-record/tmp
(9)mapred-site.xml的配置:
mapreduce.framework.name yarn
(10)hdfs-site.xml 的配置
dfs.replication 1 dfs.namenode.name.dir file:///opt/hadoop-record/name dfs.datanode.data.dir file:///opt/hadoop-record/data
(11)yarn-site.xml 的配置
yarn.resourcemanager.hostname localhost yarn.nodemanager.aux-services mapreduce_shuffle
(12)查看hadoop安装成功
5、启动hadoop
格式化 NameNode——hdfs namenode -format
启动 HDFS——start-dfs.sh
移动YARN——start-yarn.sh
浏览器IP——50070
6、配置免密
生成密钥
ssh-keygen -t rsa
将本机的公钥拷贝本机
ssh-copy-id -i root@localhost



