云服务器搭建hadoop集群（一主二从）

写在前面:内容可能不太完善,有些东西由于时间有限没有写到文章中,因此,在搭建过程中如果有什么问题欢迎随时在评论区交流~

• 最好是2核4G，内存太低的话后面跑hive的时候可能会出现问题

• 服务器最好买同一个区的

• 服务器不用再同一个账号下，可以注册多个账号，然后利用首单优惠政策低价购入服务器

1. 拿到三台云服务器后需要修改hostname

vim /etc/hostname

将三台云服务器分别命名为：hadoop102、hadoop103、hadoop104

1. 还需要修改hosts（注意每台机器的ip，分清内外网ip区别）

vim /etc/hosts

hadoop102的hosts

hadoop102机器的内网ip hadoop102
hadoop103机器的外网ip hadoop103
hadoop104机器的外网ip hadoop104

hadoop103的hosts

hadoop102机器的外网ip hadoop102
hadoop103机器的内网ip hadoop103
hadoop104机器的外网ip hadoop104

hadoop104的hosts

hadoop102机器的外网ip hadoop102
hadoop103机器的外网ip hadoop103
hadoop104机器的内网ip hadoop104

1. 关闭防火墙及开机自启（三台机器均需要操作）

systemctl stop firewalld
systemctl disable firewalld.service

1. 安装JDK（参考，如有疑问，评论区相见，可以参考下面的集群安装参考指南）

2. 安装Hadoop（略，如有疑问，评论区相见，可以参考下面的集群安装参考指南）

• 集群安装参考指南（这个安装指南是虚拟机安装的方式，不太适用云服务器，但是很多部分可以参考）

• hadoop3.X安装包

• jdk安装包

• 其他脚本文件

  • xsync同步脚本

  • hadoop集群启动脚本

  • hadoop集群初始化脚本

以上材料见链接：

使用方式见评论区

需要注意的是，下面配置文件中的端口，需要添加到云服务器的防火墙规则中去，否则在使用过程中会出现报错。

• etc/hadoop/core-site.xml

  
  
    fs.defaultFS
    hdfs://hadoop102:8020
  
  
  
    hadoop.tmp.dir
    /opt/module/hadoop-3.1.3/data
  
  
  
    hadoop.http.staticuser.user
    root
  

• etc/hadoop/hdfs-site.xml

    
        dfs.replication
        3
    
​
    
    
            dfs.namenode.http-address
            hadoop102:9870
    
    
    
            dfs.namenode.secondary.http-address
            hadoop104:9868
    

• etc/hadoop/mapred-site.xml

    
        mapreduce.framework.name
        yarn
    
    
    
        mapreduce.jobhistory.address
        hadoop102:10020
    

    
    
        mapreduce.jobhistory.webapp.address
        hadoop102:19888
    

    
　　mapreduce.map.memory.mb
　　1536


　　mapreduce.map.java.opts
　　-Xmx1024M


　　mapreduce.reduce.memory.mb
　　3072


　　mapreduce.reduce.java.opts
　　-Xmx2560M

• etc/hadoop/yarn-site.xml

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        hadoop103
    

    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

    
    
        yarn.log-aggregation-enable
        true
    

    
    
        yarn.log-aggregation.retain-seconds
        604800
   
   
   
       yarn.log.server.url
       http://hadoop102:19888/jobhistory/logs