linux虚拟机hadoop(ubuntu安装hadoop)

Hadoop学习笔记

第一章 Hadoop安装

---

文章目录

Hadoop学习笔记前言一、准备工作

1. 安装jdk2. 配置ssh服务，设置免密登录 二、安装Hadoop3.3.2

1.下载2.配置

2.1修改hadoop-env.sh2.2修改core-site.xml2.3修改hdfs-site.xml2.4修改mapred-site.xml2.5修改yarn-site.xml2.6修改sbin下的几个文件（注意是有四个文件）2.7 修改bin目录下文件 3.启动

3.1 初始化3.2 启动dfs和yarn3.3 查看 总结

---

前言

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

一、准备工作

操作系统使用的是centsOs7，其他系统操作指令会有不同

1. 安装jdk

   安装jdk步骤不详细说明，[点击查看centos安装jdk步骤](https://blog.csdn.net/dhr201499/article/details/81626466)

2. 配置ssh服务，设置免密登录

执行命令行：sudo yum install openssh-server。（如果已安装，则不需要安装ssh，验证方式直接输入ssh回车查看系统提示即可）
执行命令行：
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
验证方式：
ssh localhost ，如果没有提示输入密码，则设置免密登陆成功。

二、安装Hadoop3.3.2 1.下载

首先在根目录下创建文件夹hadoop。

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz

下载完成之后，解压文件

tar -zxvf ./hadoop-3.3.2.tar.gz 

在/usr/local/ 下新建文件夹hadoop，将解压文件移入新建文件夹

mv ./hadoop-3.3.0 /usr/local/hadoop

2.配置

进入到hadoop配置文件夹

cd /usr/local/hadoop/hadoop-3.3.2/etc/hadoop

2.1修改hadoop-env.sh

vim hadoop-env.sh
##写入下面的文件到最后##

export JAVA_HOME=你的jdk安装路径
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.2

2.2修改core-site.xml

查看hostname的方式：

cat /etc/hostname 
hostname

系统显示内容为你的hostname

vim core-site.xml
#写入下面的文件，注意hdfs后面是你的hostname，记得修改
#temp.dir，tlntin改成你的用户名，并且创建好相关字路径，用于缓存

    
        fs.defaultFS
        hdfs://hostname:9000
    
    
        hadoop.tmp.dir
        /hadoop/data
    

2.3修改hdfs-site.xml

vim hdfs-site.xml
# 写入下面的文件

    
        dfs.replication
        1
    
    
      dfs.namenode.http.address
       localhost:9870
    
`

2.4修改mapred-site.xml

vim mapred-site.xml
# 写入下面的文件

        
                mapreduce.framework.name
                yarn
                true
                The runtime framework for executing MapReduce jobs
        

2.5修改yarn-site.xml

vim yarn-site.xml
# 写入下面的文件
# 注意MacbookPro改成你的HostName

    
            yarn.resourcemanager.hostname
            hostname
    
    
            yarn.nodemanager.hostname
            mapreduce_shuffle
    

2.6修改sbin下的几个文件（注意是有四个文件）

cd /usr/local/hadoop/hadoop-3.3.2/sbin
vim start-dfs.sh/stop-dfs.sh(分两次编辑start-dfs.sh和stop-dfs.sh文件)
# 在开头写入下面的内容（root改成你的用户名）
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vim start-yarn.sh/stop-yarn.sh(分两次编辑start-yarn.sh和stop-yarn.sh文件)
# 开头写入以下文件
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

2.7 修改bin目录下文件

cd /usr/local/hadoop/hadoop-3.3.2/bin
vim hadoop
# 把下面的用户名改成你的，这里只是测试使用，尽量使用自己创建的用户授权后操作
HADOOP_SHELL_EXECNAME="root"  # 原来是hadoop
vim hdfs
# 同上
HADOOP_SHELL_EXECNAME="root"  # 原来是hdfs
vim yarn
HADOOP_SHELL_EXECNAME="root"  # 原来是yarn

3.启动 3.1 初始化

./bin/hdfs namenode -format

3.2 启动dfs和yarn

./sbin/start-all.sh

3.3 查看

jps
# 出现下面代表成功，id号不一致无所谓
23922 DataNode
24170 SecondaryNameNode
8987 jar
7902 Jps
23775 NameNode

最后可以通过打开页面访问http://127.0.0.1:9870

---

总结

`以上就是今天笔记的内容，本文仅简单介绍了在centos下hadoop单点的安装方式。