超完整的Hadoop集群安装实验,一定要看到最后

• • 安装准备
  • 安装JDK
  • 配置SSH免密登录验证
  • 下载hadoop（本文使用hadoop-2.7.3.tar.gz版本）
  • 配置hadoop
  • `至此大功告成，欢迎评论，转载请注明出处，对你有帮助就给个赞呗，感谢支持!!！`

注意：以上机器名和ip根据自己的机器配置

• 为了获取足够权限，首先输入su，之后会输入密码，但是在屏幕上看不到密码显示的

详见：https://blog.csdn.net/m0_50908439/article/details/120168017?spm=1001.2014.3001.5501

具体步骤见SSH无密码验证登录的实现

链接：https://hadoop.apache.org/

1. 执行命令tar -zxvf hadoop-2.7.3.tar.gz 解压
2. 执行命令 mv hadoop-2.7.3 hadoop 重命名
3. 执行命令 vi /etc/profile 配置环境变量
   输入：
   export HADOOP_HOME=/usr/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   执行命令 source /etc/profile 使配置立即生效

4. 修改配置文件：

   4.1 配置java环境
   编辑文件: vi /usr/hadoop/etc/hadoop/hadoop-env.sh
   找到如下一行：
   export JAVA_HOME=${JAVA_HOME}
   将这行内容修改为：
   export JAVA_HOME=/usr/java/jdk1.8.0_161
   将{JAVA_HOME}改成实际的java 目录
   4.2 配置core-site.xml 文件
   编辑文件： vi /usr/hadoop/etc/hadoop/core-site.xml
   标签之间（注意修改master名称为自己的名称）

                 hadoop.tmp.dir
                 /usr/hadoop/etc/hadoop/cloud


                 fs.defaultFS
                 hdfs://node1:8020

4.3 配置hdfs-site.xml 文件
编辑文件 vi /usr/hadoop/etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address
node2:50090


dfs.namenode.secondary.https-address
node2:50091


 
    dfs.name.dir
    /usr/hadoop/hdfs/name
 
 
    dfs.data.dir
    /usr/hadoop/hdfs/data
 

4.4 配置datanode—slaves
进入/usr/hadoop/etc/hadoop 目录
cd /usr/hadoop/etc/hadoop
vi slaves
node2
node3
4.5 配置masters
vi /usr/hadoop/etc/hadoop/masters
node1
若没有则在相同目录/usr/hadoop/etc/hadoop/下新建文件masters，并输入node1
vi masters
node1

4.6删除/usr/hadoop/share 下的doc
rm -rf /usr/hadoop/share/doc/
(8)拷贝haddoop 整个目录到其他节点
在node1机上执行下列命令，将配置好的hadoop拷贝至node2,node3。
scp -r /usr/hadoop root@node2:/usr/
scp -r /usr/hadoop root@node3:/usr/

5. node1上hadoop 格式化文件系统
   5.1、执行命令：hadoop namenode -format 格式化
   5.2、执行命令：start-all.sh 启动,hadoop 集群启动与验证
   5.3、执行命令：jps
   namenode上jps 验证进程
   
   datanode上jps验证进程
   node2:
   
   node3

6. hadoop 集群启动与验证

**注意：如果此时去webUi看的话可能没有节点，因为还要进行重要的一步，关闭防火墙。**
7. node1的浏览器查看
关闭防火墙：systemctl stop firewalld
查看启动状态 hadoop dfsadmin -report，*否则看不到节点*

http://node1:50070