大数据系统搭建（三）Hadoop集群搭建

文章目录

• • • Hadoop集群搭建
    • • 1.安装Hadoop软件包
      • 2.配置Hadoop运行环境
      • 3.配置全局参数
      • 4.配置HDFS参数
      • 5.配置MapReduce参数
      • 6.配置yarn框架运行环境
      • 7.配置集群资源管理参数
      • 8.指定主节点和从节点，写入对应文件
      • 9.将hadoop发给slave1，slave2
      • 10.格式化集群，开启集群，查看节点进程及集群状态

Hadoop集群搭建 1.安装Hadoop软件包

创建Hadoop工作目录

mkdir -p /usr/hadoop
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop/

2.配置Hadoop运行环境

1.修改/etc/profile文件

vi /etc/profile

#在底部添加以下内容：
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.生效配置文件

source /etc/profile

3.修改hadoop-env.sh文件

#进入Hadoop的/etc/hadoop目录
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop/

vi hadoop-env.sh

#将JAVA_HOME的路径改为以下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_171

3.配置全局参数

编辑core-site.xml文件

vi core-site.xml

#添加以下内容：


  fs.default.name
   hdfs://master:9000


  hadoop.tmp.dir
   /usr/hadoop/hadoop-2.7.3/hdfs/tmp
A base for other temporary directories.


  io.file.buffer.size
   131072


  fs.checkpoint.period
   60


  fs.checkpoint.size
   67108864

4.配置HDFS参数

编辑hdfs-site.xml

vi hdfs-site.xml

#添加以下内容


 dfs.replication
   2
 
 
   dfs.namenode.name.dir
   file:/usr/hadoop/hadoop-2.7.3/hdfs/name
   true
 
  
    dfs.datanode.data.dir
    file:/usr/hadoop/hadoop-2.7.3/hdfs/data
    true
 
 
  dfs.namenode.secondary.http-address
   master:9001
 
 
   dfs.webhdfs.enabled
    true
 
 
   dfs.permissions
   false

5.配置MapReduce参数

编辑mapred-site.xml,因为hadoop没有这个文件，所以需要将mapred-site.xml.template复制为mapredsite.xml

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

#添加以下内容：


   mapreduce.framework.name
   yarn

6.配置yarn框架运行环境

修改yarn-env.sh文件

vi yarn-site.xml

export JAVA_HOME=/usr/java/jdk1.8.0_171

7.配置集群资源管理参数

编辑yarn-site.xml

vi yarn-site.xml

#添加以下内容：



 yarn.resourcemanager.address
   master:18040


  yarn.resourcemanager.scheduler.address  master:18030

   master:18040


  yarn.resourcemanager.scheduler.address  master:18030


  yarn.resourcemanager.webapp.address
  master:18088


  yarn.resourcemanager.resource-tracker.address
  master:18025


 yarn.resourcemanager.admin.address
 master:18141


 yarn.resourcemanager.aux-services
 mapreduce_shuffle


 yarn.nodemanager.auxservices.mapreduce.shuffle.class
 org.apache.hadoop.mapred.shuffleHandler


 yarn.nodemanager.aux-services
 mapreduce_shuffle

8.指定主节点和从节点，写入对应文件

vi slaves
#将文件改为以下内容：
slave1
slave2

vi master
#写入以下内容：
master

9.将hadoop发给slave1，slave2

scp -r /usr/hadoop root@slave1:/usr/
scp -r /usr/hadoop root@slave2:/usr/

scp /etc/profile root@slave1:/etc/profile
scp /etc/profile root@slave2:/etc/profile

注意：slave1，slave2记得生效/etc/profile文件

source /etc/profile

10.格式化集群，开启集群，查看节点进程及集群状态

在master主机中执行命令

hadoop namenode -format

启动集群

start-all.sh

查看节点进程

jps

查看集群状态（浏览器查看）

参考连接：https://blog.csdn.net/qq_52691614/article/details/119517843