Hadoop3本地单节点安装

apache官网下载hadoop
jdk安装包百度网盘下载 提取码：0u1v

严格按照步骤走，不要跳，不要跳，不要跳

# 2.1先安装java
cd /opt
tar -zxvf jdk-8-linux-x64.tar.gz
mv jdk1.8.0_301 jdk

# 配置环境变量/etc/profile在最后添加
#set java environment
export JAVA_HOME=/opt/jdk/
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

# 更新配置文件使其立即生效
source /etc/profile

# 2.2hadoop安装
tar -zxvf hadoop-3.3.2.tar.gz -C /opt
mv hadoop-3.3.2.tar.gz hadoop

# 2.2.1配置环境变量/etc/profile
vim /etc/profile
# 在最后添加
#HADOOP_HOME
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

# 更新配置文件使其立即生效
source /etc/profile

# 2.2.2编辑配置文件hadoop-env.sh
vim /opt/hadoop/etc/hadoop/hadoop-env.sh
# 将JAVA_HOME设置为Java安装根路径
export JAVA_HOME="/opt/jdk"

# 2.2.3修改配置文件mapred-env.sh
vim /opt/hadoop/etc/hadoop/mapred-env.sh
# 将JAVA_HOME设置为Java安装根路径
export JAVA_HOME="/opt/jdk"

# 2.2.4修改配置文件yarn-env.sh
vim /opt/hadoop/etc/hadoop/yarn-env.sh
# 将JAVA_HOME设置为Java安装根路径
export JAVA_HOME="/opt/jdk"

# 2.2.5修改配置文件core-site.xml
vim /opt/hadoop/etc/hadoop/core-site.xml
# 配置

        fs.defaultFS
        
        hdfs://192.168.0.107:9000


        hadoop.tmp.dir
        
        /opt/hadoop/tmp


# 2.2.6修改配置文件hdfs-site.xml
vim /opt/hadoop/etc/hadoop/hdfs-site.xml
# 配置

    dfs.replication
    
    1



    dfs.http.address
    192.168.0.107:9870


# 2.2.7修改配置文件mapred-site.xml
vim /opt/hadoop/etc/hadoop/mapred-site.xml
# 配置

    mapreduce.framework.name
    yarn


# 2.2.8修改配置文件yarn-site.xml
vim /opt/hadoop/etc/hadoop/yarn-site.xml
# 配置


    yarn.resourcemanager.hostname
    192.168.0.107



    yarn.nodemanager.aux-services
    mapreduce_shuffle

# 2.3设置ssh免密登录
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权
cd   # 退到开始位置

# 2.4开启hadoop
# 2.4.1格式化namenode，格式化之前清空 tmp 和 logs文件
rm -rf tmp/*
rm -rf logs/*
hdfs namenode -format
# 验证
ls /opt/hadoop/tmp/dfs/name/current
# fsimage是NameNode元数据在内存满了后，持久化保存到的文件。
# fsimage*.md5 是校验文件，用于校验fsimage的完整性。
# seen_txid 是hadoop的版本
# vession文件里保存：
# namespaceID：NameNode的唯一ID。
# clusterID:集群ID，NameNode和DataNode的集群ID应该一致，表明是一个集群。

# 2.4.2使用start-all开启所有进程
start-all.sh

# 2.5.3用jps验证，6个进程都有就ok了，前面是进程号
104224 Jps
44242 ResourceManager
44535 NodeManager
43256 DataNode
43739 SecondaryNameNode
42924 NameNode

# 2.6访问应用
# 2.6.1关闭防火墙
# 防火墙会阻止非本机对服务发起的请求，所以，如果要让外界访问到hadoop服务一定要配置防火墙，如果是在虚拟机上，就可以直接关闭了。
systemctl stop firewalld # 临时关闭
systemctl disable firewalld # 永久关闭

# 网页访问2.6.2访问
http://192.168.0.107:9870

能访问到下图界面即安装和配置已成功

下方图片所示位置即HDFS文件所在位置，例如Hive、Spark访问时即要访问这里。

声明：本文所载信息不保证准确性和完整性。文中所述内容和意见仅供参考，不构成实际商业建议，如有雷同纯属巧合。