一、haoop解压、创建软连接
将hadoop-2.8.5.tar.gz上传到hp01服务器/apps下
tar -xf hadoop-2.8.5.tar.gz -C /usr/local
进入/usr/local 后使用 ln -s hadoop-2.8.5 hadoop2 创建一个软连接
二、配置环境变量
在/etc/profile.d下使用vi命令新建hadoop.sh
export HADOOP_HOME=/usr/local/hadoop2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
后两个可不写
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
以上可复制到vi编辑器中:
保存，调用 source hadoop.sh
测试版本号 hadoop version
三、配置hadoop环境脚本中的java参数
在hadoop2/etc/hadoop下的
[root@hadoop01 hadoop]# vim hadoop-env.sh [root@hadoop01 hadoop]# vim mapred-env.sh [root@hadoop01 hadoop]# vim yarn-env.sh
全部添加上export JAVA_HOME=${JAVA_HOME}
四、创建Hadoop存储目录，在/目录下新建三个文件
[root@hp01 /]# mkdir -p hadoop_data/tmp [root@hp01 /]# mkdir -p hadoop_data/dfs/name [root@hp01 /]# mkdir hadoop_data/dfs/data
五、配置主从结点
删除hadoop2/etc/hadoop/slaves中配置，将hp02、hp03添加到slaves中作为集群的slaves（一行一个）
六、Hadoop文件配置
配置core-site.xml
fs.defaultFS hdfs://hp01:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/hadoop_data/tmp
配置改hdfs-site.xml
dfs.namenode.secondary.http-address hp01:9001 dfs.namenode.name.dir file:/hadoop_data/dfs/name dfs.datanode.data.dir file:/hadoop_data/dfs/data dfs.replication 2 dfs.webhdfs.enabled true
yarn-site.xml:
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address hp01:8032 yarn.resourcemanager.scheduler.address hp01:8030 yarn.resourcemanager.resource-tracker.address hp01:8031 yarn.resourcemanager.admin.address hp01:8033 yarn.resourcemanager.webapp.address hp01:8088
mapred-site-xml:
复制文件:
cp mapred-site.xml.template mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address hp01:10020 mapreduce.jobhistory.webapp.address hp01:19888
七、分发hp01的配置到hp02、hp03：
将hadoop远程复制到hp02 hp03上
[root@hp01 /]# scp -r /usr/local/hadoop-2.8.5/ hp02:/usr/local [root@hp01 /]# scp -r /usr/local/hadoop-2.8.5/ hp03:/usr/local
然后分别在hp02、hp03建一个软连接。 ln -s hadoop-2.8.5 hadoop2
将hadoop 环境变量远程复制到hp02 hp03上
[root@hp01 /]# scp -r /etc/profile.d/hadoop.sh hp02:/etc/profile.d [root@hp01 /]#scp -r /etc/profile.d/hadoop.sh hp03:/etc/profile.d
并在hp02、hp03中分别调用source hadoop.sh
将文件夹分发：
[root@hp01 /]# scp -r hadoop_data/ hp02:/ [root@hp01 /]# scp -r hadoop_data/ hp03:/
测试版本号 hadoop version
八、格式化主节点的存储目录
只对hp01的hadoop_data格式化。
第一次启动hadoop是需要格式化hadoop的namenode
命令：hdfs namenode –format
九、启动hadooop
启动dfs
命令：start-dfs.sh
启动yarn
命令：start-yarn.sh
通过jps命令，可以查看hadoop启动的进程
关闭yarn
命令：stop-yarn.sh
关闭dsf
命令：stop-dfs.sh
十、测试hadoop安装
在web页面中查看hdfs和yarn
http://192.168.150.101:50070
http://192.168.150.101:8088
