![[ 安装 ] Hadoop安装步骤！](http://www.mshxw.com/aiimages/31/450122.png "[ 安装 ] Hadoop安装步骤！")
- 一、准备工作
- 二、具体步骤
- （一）解压
- （二）更改权限
- （三）Hadoop配置
- hadoop-env.sh
- core-site.xml
- hdfs-site.xml
- （四）yarn配置
- 1.配置mapred-site.xml
- 2.配置yarn-site.xml
- 3.启动yarn
- （五）环境变量配置
- （六）启动关闭 服务
- （七）服务启动时输入密码优化
- （八）HDFS测试
前言：下文中的IP地址、文件路径、主机名等，请根据您自己的实际情况，进行修改和配置。
| Hadoop260下载链接 | 提取码：byfa |
|---|---|
| Hadoop-native下载链接 | 提取码：dgct |
一、准备工作
-
安装一台虚拟机（★★★ 虚拟机 CentOS 7的安装步骤 ★★★）
-
安装JDK环境（★★★ JDK安装步骤 ★★★）
-
启动一台虚拟机，并连接至Xshell、Xftp（连接方法）
-
建议在虚拟机里 opt 文件夹下单独创建两个文件夹（download、software），用来存放安装包和软件
-
建议在 software 目录下新建一个子目录 hadoop ，用来存放 hadoop 生态圈的相关软件
-
需要将 hadoop-2.6.0-cdh5.14.2.tar.gz 和 hadoop-native-64-2.6.0.tar 文件，上传至 download 目录。或者在shell窗口内，输入命令：yum install lrzsz，待加载完毕后可以直接将Windows下的文件拖拽至shell窗口内
提示：hadoop-native-64-2.6.0.tar 根据自己需要进行安装
1. 输入命令：tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/software/hadoop/，将文件解压至目标路径下。
2. 解压完毕后，到 software 的 hadoop 目录的下，输入命令：mv hadoop-2.6.0-cdh5.14.2/ hadoop260，将文件重命名。
【自选步骤】 输入命令：cd hadoop260/lib/native/，进到解压好的hadoop260文件夹下的native目录里，输入命令：ls，却发现什么文件都没有，这时，你再输入命令：tar -xvf /opt/download/hadoop-native-64-2.6.0.tar，将download里的对应的文件解压到此目录下，再输入命令：ls，就会发现多了很多文件。
下面这招对于解决，在启动 dfs 重遇到 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 这种报错时，有效果。【亲测有效】
输入命令：cd /opt/software/hadoop/hadoop260/etc/hadoop、vi hadoop-env.sh，将 HADOOP_OPTS 修改成如下代码。
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
（二）更改权限
进到/opt/software/hadoop目录下，输入命令：chown -R root:root hadoop260/，用来更改文件目录权限，更改完毕之后，可通过命令：ls -la，来查看。
（三）Hadoop配置 hadoop-env.sh
输入命令：cd /opt/software/hadoop/hadoop260/etc/hadoop，进入此文件夹下，输入命令：vi hadoop-env.sh，进行配置，利用命令：echo $JAVA_HOME，找到Java路径，并添加到配置项里，命令如下。配置完成后保存并退出。
export JAVA_HOME=/opt/software/jdk180
core-site.xml
输入命令：cd /opt/software/hadoop/hadoop260/etc/hadoop，进入此文件夹下，输入命令：vi core-site.xml，进行配置。将 < configuration > 部分修改成下方命令。
fs.defaultFS hdfs://192.168.59.200:9000 hadoop.temp.dir /opt/software/hadoop/hadoop260/tmp hadoop.proxyuser.root.users * hadoop.proxyuser.root.users *
hdfs-site.xml
输入命令：cd /opt/software/hadoop/hadoop260/，进入此文件夹下，新建一个 tmp 文件夹，在 tmp 文件夹下，再新建两个 name 、 data 文件夹，取 name 、 data 两个文件夹的路径并保存。
输入命令：cd /opt/software/hadoop/hadoop260/，进入此文件夹下，输入命令：vi hdfs-site.xml，进行配置。将 < configuration > 部分修改成下方命令。
（四）yarn配置dfs.replication 1 dfs.namenode.name.dir /opt/software/hadoop/hadoop260/tmp/name dfs.datanode.data.dir /opt/software/hadoop/hadoop260/tmp/data
输入命令：cd /opt/software/hadoop/hadoop260/etc/hadoop，进到此文件下，输入命令：mv mapred-site.xml.template mapred-site.xml，将 mapred-site.xml.template 这个文件重命名。
你也可以通过命令：cp mapred-site.xml.template mapred-site.xml，来复制一份出来并重命名，这一步主要是为了保留模板文件。
输入命令：vi mapred-site.xml，进行配置，将 < configuration > 部分修改成下方命令。
2.配置yarn-site.xmlmapreduce.framework.name yarn mapreduce.jobhistory.address 192.168.59.200:10020 mapreduce.jobhistory.webapp.address 192.168.59.200:19888
输入命令：vi yarn-site.xml，进行配置，将 < configuration > 部分修改成下方命令。
3.启动yarnyarn.resourcemanager.localhost localhost yarn.nodemanager.aux-services mapreduce_shuffle yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800
这边先不忙启动 yarn 。
（五）环境变量配置
1. 输入命令：vi /etc/profile，进入配置文件，输入下方命令，进行配置，配置完毕后保存并退出，输入命令：source /etc/profile，重新载入配置文件。
#HADOOP export HADOOP_HOME=/opt/software/hadoop/hadoop260 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_INSTALL=$HADOOP_HOME
2.重置完 /etc/profile 后，直接输入命令：hdfs namenode -format，进行格式化。
（六）启动关闭 服务
启动：
1. 格式化完毕之后，输入命令：start-dfs.sh，打开服务。其间需要你输入若干次密码和 yes/no ，该密码为当前虚拟机用户的密码，根据实际情况输入 yes/no ，当然一般情况下全部都是 yes 。
2.输入命令：start-yarn.sh，启动 yarn 服务。
3. 当跳转完毕之后，输入命令：jps，来查看服务是否已经开启。
你也可以通过命令：start-all.sh，来启动所有 hdfs 和 yarn 服务。
关闭：
1. 输入命令：stop-dfs.sh，关闭 hdfs 服务。
2.先输入命令：stop-yarn.sh，关闭 yarn 服务。
3. 当跳转完毕之后，输入命令：jps，来查看服务是否已经完全关闭。
你可先输入命令：jps，查看端口号，然后再输入命令：kill -9 （端口号），就能关闭。如果想关闭全部服务，则可以输入命令：stop-all.sh，来关闭所有 hdfs 和 yarn 服务。
（七）服务启动时输入密码优化
没有做过 免密操作 ，启动和关闭服务时就要频繁输入密码 ，如果你想避免频繁输入密码，那你就点这里！
（八）HDFS测试
1. 如果服务启动成功，在 web 端输入 URL: 192.168.59.200:50070，则会进行页面转跳，此界面是 hadoop 的 web 端窗口。
2. 尝试利用下方命令在 shell 窗口对 hdfs 进行操作，每操作一步可在下图指示处查看。
hdfs dfs -ls / #查看hdfs目录 hdfs dfs -mkdir /test hdfs dfs -chmod -R 777 /test #递归修改目录或文件权限 hdfs dfs -rm -r /test #递归删除 hdfs dfs -put FILE /test #上传文件FILE至hdfs根目录下的test目录 hdfs dfs -get /test/FILE #下载hdfs根目录下test目录中的FILE hdfs dfs -rm -f /test/FILE #删除hdfs根目录下test目录中的FILE hdfs dfs -cat /test/FILE
3. 如果提示无法进入该网站，建议尝试点击“重新载入”并等待1~2分钟，如果尝试过后仍不能访问，就要回头查看服务是否启动成功。
提示：如果再不行，那就换换浏览器吧。
