Ubantu20.04.4安装Hadoop3.1.3单机部署

Hadoop3.1.3单机部署笔记记录

条件：
Ubantu20.04.4
jdk-8u261
hadoop3.1.3

ubuntu-20.04.4-live-server 安装步骤
jdk-8u261 安装步骤

1. 安装SSH，配置SSH无密码登录

sudo apt-get install openssh-server

进入 ~/.ssh/ 目录,若不存在，需要执行一次 ssh localhost
cd ~/.ssh/
按四下回车
ssh-keygen -t rsa
授权
cat ./id_rsa.pub >> ./authorized_keys
使命令登陆本机：
ssh localhost 输入 yes
然后按提示输入主机密码，exit可退出当前主机
下一次连接就不用输入密码了

2. 上传或下载hadoop-3.1.3.tar.gz

至目录 /usr/local/
官网下载：hadoop3.1.3

3. 解压

tar -zxvf hadoop-3.1.3.tar.gz

4. 重命名

mv hadoop-3.1.3 hadoop

5. 修改文件权限

sudo chown -R axz /usr/local/hadoop

6. 进入hadoop目录

cd /usr/local/hadoop

7. 验证hadoop版本

./bin/hadoop version

8. 配置env文件修改JDK路径

vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加：export JAVA_HOME=/usr/local/java/jdk1.8.0_261

Esc :wq 保存并退出

9. 修改核心组件文件

vi /usr/local/hadoop/etc/hadoop/core-site.xml


    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000

10. 修改文件系统文件

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml


    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data

11. 配置完成，执行 NameNode 的格式化:

进入目录cd /usr/local/hadoop

格式化命令./bin/hdfs namenode -format

12. root用户启动hadoop需要的配置

在start-dfs.sh，stop-dfs.sh 两个文件顶部添加以下参数

vi /usr/local/hadoop/sbin/start-dfs.sh
vi /usr/local/hadoop/sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh，stop-yarn.sh两个文件顶部添加以下参数
vi /usr/local/hadoop/sbin/start-yarn.sh
vi /usr/local/hadoop/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

13. 开启 NameNode 和 DataNode 守护进程

./sbin/start-dfs.sh

14. 查看进程

安装插件：sudo apt install openjdk-8-jdk-headless
查看进程：jps

关机前一定要关闭hadoop,不然下回启动会报错，需要重新格式化，数据就丢失了
关闭命令./sbin/stop-dfs.sh

下次启动 hadoop 时，不用NameNode 的初始化，
只需要运行 ./sbin/start-dfs.sh 就可以！

// TODO Hadoop启动脚本配置

—搞定！

15. 启动失败相关问题以及解决方案记录

问题1：

解决：
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_key

问题2：

解决：
配置env文件
vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加jdk路径
export JAVA_HOME=/usr/local/java/jdk1.8.0_261

问题3：

root用户启动hadoop报错：
解决：看第 12. root用户启动需要的配置

Ubantu20.04.4安装Hadoop3.1.3单机部署暂时到这，结束…

Ubantu20.04.4安装Hadoop3.1.3单机部署

大数据系统相关栏目本月热门文章