单节点Hadoop环境搭建（学习笔记（自学用），勿喷）

1.下载VMware 2.下载CentOs镜像

 阿里云站点：阿里云开源镜像站资源目录

CentOS-7-x86_64-Minimal-1708.iso 精简版，自带的软件最少

3.安装镜像 4.安装ping命令相关包

yum install -y iputils时发现报错

a)ip addr 命令查自己的网卡

b)cd /etc/sysconfig/network-scripts

c)ls 找到自己的网卡

d)vi 自己的网卡    ONBOOT改为yes

e)systemctl restart Network 重启网络后再安装 不再报错

5.ssh客户端使用Xshell 6.修改ip地址

a)vi /etc/sysconfig/network-scripts/ifcfg-ens33 查看ip地址

b)route -n查看gateway

 7.关闭防火墙 

systemctl stop firewalld.service  systemctl disable firewalld.service(永久关闭)

 查看状态systemctl status firewalld.service

8.禁用selinux   

vi /etc/selinux/config

 9.设置主机名 

hostnamectl set-hostname hadoop

10.主机映射 

vim /etc/hosts  

11.配置免密登录

 a)生成密钥 ssh-keygen

b)发送密钥ssh-copy-id hadoop(主机名) 本机也需要发送

12.安装jdk

通过Xftp

tar -zxvf 压缩包名解压 到自定义目录/usr/java

修改环境变量 vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使环境变量生效 source /etc/profile

java -version验证环境变量

13.安装hadoop

Index of /dist/hadoop/corehttp://archive.apache.org/dist/hadoop/core/下载hadoop包

tar -zxvf 压缩包名解压 到自定义目录/usr/hadoop

修改配置文件  所有都在{HadoopHome}/etc/hadoop

a）hadoop-env.sh

        

b)  core-site.xml

核心配置文件

见hadoop官网文档

fs.defaultFS主节点配置名称

    
        fs.defaultFS
        hdfs://localhost:9000
    

  此处设置为主节点的主机名

​

    
        fs.defaultFS
        hdfs://hadoop:9000
    


​

c)  hdfs-site.xml

dfs.replication副本个数 根据节点个数来

见hadoop官网文档

    
        dfs.replication
        1
    

d)  yarn-site.xml 资源调度

见hadoop官网文档

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

e) mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

见hadoop官网文档

    
        mapreduce.framework.name
        yarn
    

f)配置环境变量

 hadoop version 验证hadoop环境变量

g)配置slaves

vi slaves

改为本机主机名  hadoop

h)环境格式化 

bin/hdfs namenode -format

i)启动

sbin目录下 start-all.sh

j)验证 

jps

页面验证

hdfs: namenode的ip:50070

yarn: resourcemanager的ip:8088