【hadoop】hadoop 安装和集群配置

已经准备好：master，slave，slave1三个服务器；master上安装了jdk；master免密登录到slave和slave1上。

win下ssh把hadoop安装包传输到linux上

解压缩：tar -zxvf xxx

 配置环境变量：

(1)vim hadoop.3.1.4/etc/hadoop/hadoop-env.sh

(2)vim etc/hadoop/yarn-env.sh

 (3)vim etc/hadoop/core-site.xml

  
    fs.defaultFS
    hdfs://master:9000
  
  
     hadoop.tmp.dir
     /home/museage/hadoopdata
  

(4)vim etc/hadoop/hdfs-site.xml

   
      dfs.replication
      2
   

(5)配置yarn资源系统：vim etc/hadoop/yarn-site.xml

   yarn.nodemanager.aux-services
   mapreduce_shuffle


   yarn.resourcemanager.address
   master:18040


   yarn.resourcemanager.scheduler.address
   master:18030


   yarn.resourcemanager.resource-tracker.address
   master:18025


   yarn.resourcemanager.admin.address
   master:18141


   yarn.resourcemanager.webapp.address
   master:18088

(6) 配置计算框架：hadoop目录下：vim  mapred-site.xml

     
        mapreduce.framework.name
        yarn
     

（7）配置计算节点：hadoop目录下：vim workers

删除localhost，添加slave，slave1

复制hadoop到从节点：

scp -r  hadoop-3.1.4  user@slave：dic

scp -r  hadoop-3.1.4  user@slave1：dic

配置Hadoop启动的系统环境变量：

vim /home/user/.bash_profile

创建临时数据目录：

mkdir /home/museage/hadoopdata

启动Hadoop集群：

 (1)在Hadoop上格式化文件系统HDFS

hdfs namenode -format

（2）启动hadoop：sbin/start-dfs.sh 

  (3)关闭hadoop:sbin/stop-dfs.sh

测试：

http://master/cluster