Hadoop开发环境搭建
第1关：配置开发环境 - JavaJDK的配置
1.mkdir /app //创建一个/app文件夹，我们之后的软件都将安装在该目录下。
2.cd /opt
3.tar -zxvf jdk-8u171-linux-x64.tar.gz //解压JDK并将其移动到/app目录下。
4.mv jdk1.8.0_171/ /app
5.vim /etc/profile //配置文件
（JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH）//esc—:wq保存并退出
6.source /etc/profile //使刚刚的配置生效。
7.java -version //测试一下环境变量是否配置成功。
第2关：配置开发环境 –
1.cd /opt
2.tar -zxvf hadoop-3.1.0.tar.gz -C /app
3.cd /app
4.mv hadoop-3.1.0/ hadoop3.1
5. ssh-keygen -t rsa -P ''//设置SSH免密登录时有必要的。
6.直接回车
7. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_key //把id_rsa.pub追加到授权的key里面去。
8. chmod 600 ~/.ssh/authorized_keys //修改权限
9. vim /etc/ssh/sshd_config //接着需要启用RSA认证，启动公钥私钥配对认证方式，如果提示权限不足在命令前加上sudo； 修改ssh配置：
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径
10. 我们要开始修改Hadoop的配置文件了，总共需要修改6个文件。分别是：
- hadoop-env.sh；
- yarn-env.sh ；
- core-site.xml；
- hdfs-site.xml；
- mapred-site.xml；
- yarn-site.xml。
11. echo $JAVA_HOME // 两个env.sh文件主要是配置JDK的位置，如果忘记了JDK的位置了，输入 echo $JAVA_HOME就可以看到哦。/app/jdk1.8.0_171
12.cd /app/hadoop3.1/etc/hadoop/
13.vim hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/app/jdk1.8.0_171
14.vim yarn-env.sh
export JAVA_HOME=/app/jdk1.8.0_171
15.vim core-site.xml
16.vim mapred-site.xml
17. vim hdfs-site.xml
18.vim yarn-site.xml
19. mkdir -p /usr/hadoop/tmp
20.mkdir /usr/hadoop/hdfs
21.mkdir /usr/hadoop/hdfs/data
22.mkdir /usr/hadoop/hdfs/name
23. vim /etc/profile
#set Hadoop Enviroment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
24. source /etc/profile
25. hadoop namenode -format
26. start-dfs.sh
