hadoop分布式环境搭建步骤(hadoop环境搭建教程)

Apache版Hadoop的下载与安装

首先，我们要下载Hadoop安装包，这里我放的apache版Hadoop3安装包，百度网盘下载链接：https://pan.baidu.com/s/1fKtGK_QrxQ5ngiPuILWOkA
提取码：y5st
以及相应的java安装包，如果java环境版本和Hadoop版本不适配会导致安装失败：
链接：https://pan.baidu.com/s/1VFEVhW_yW96TA9kk5VCEQg
提取码：jr04

将Hadoop安装包解压

[vagary@vagary software]$ tar -zxvf hadoop-3.1.3.tar.gz ../app/

然后创建软连接

[vagary@vagary app]$ ln -s hadoop-3.1.3 hadoop

全局变量里声明Hadoop环境变量

export HADOOP_HOME=/home/vagary/app/hadoop
export JAVA_HOME=/home/vagary/app/java
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

将机器名换成一个固定的名称

hostnamectl set-hostname 机器名

###改完之后验证一下hostname

编辑etc/hadoop/core-site.xml文件

    
        fs.defaultFS
        hdfs://机器名:9000
    

更改etc/hadoop/hdfs-site.xml文件，设置副本数

    
        dfs.replication
        1
    

设置免登录

 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

命令验证一下

[vagary@vagary ~]$ ssh vagary@vagary date
Thu Mar 17 21:57:47 CST 2022

格式化文件系统

[vagary@vagary bin]$ hdfs namenode -format

启动Hadoop服务

[vagary@vagary ~]$ start-dfs.sh

查看是否启动成功，出现以下结果表示启动成功

[vagary@vagary ~]$ jps
21473 Jps
21049 DataNode
21275 SecondaryNameNode
20926 NameNode

设置执行MapReduce任务所需的HDFS目录

[vagary@vagary bin]$ hdfs dfs -mkdir /user
[vagary@vagary bin]$ hdfs dfs -mkdir /user/

将输入文件复制到分布式文件系统中

[vagary@vagary bin]$ hdfs dfs -mkdir input
[vagary@vagary bin]$ hdfs dfs -put etc/hadoop/*.xml input

运行一个实例验证是否成功

[vagary@vagary bin]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.2.jar grep input output 'dfs[a-z.]+'