Hadoop 集群相关配置(以两台为例)

两台机器主机名为hadoop100和hadoop101作为主节点和从节点。

进入到hadoop配置文件夹，修改workers文件

hadoop101

core-site.xml文件

    
        fs.defaultFS
        hdfs://hadoop100:9000
    
    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
	
    
    
	    hadoop.proxyuser.lv.hosts
        *
    

    
	    hadoop.proxyuser.lv.groups
        *
    

hdfs-site.xml文件

    
        dfs.namenode.secondary.http-address
        hadoop100:50090
    
    
    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    

mapred-site.xml文件

    
        mapreduce.framework.name
        yarn
    
    
        mapreduce.jobhistory.address
        hadoop100:10020
    
    
        mapreduce.jobhistory.webapp.address
        hadoop100:19888
    
    
        yarn.app.mapreduce.am.env
        HADOOP_MAPRED_HOME=/usr/local/hadoop
    
    
        mapreduce.map.env
        HADOOP_MAPRED_HOME=/usr/local/hadoop
    
    
        mapreduce.reduce.env
        HADOOP_MAPRED_HOME=/usr/local/hadoop
     

yarn-site.xml文件

    
        yarn.resourcemanager.hostname
        hadoop100
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

在修改配置后要将上述配置文件在集群内进行同步，同步完以后先使用jps命令查看Hadoop是否已经停止，然后在hadoop安装目录使用rm命令删除logs和tmp两个文件，然后在主节点执行以下命令进行集群的初始化：

hdfs namenode -format

之后使用jps查看各节点的状态是否启动成功。