2.Hadoop配置伪分布式

接上文------>

Hadoop配置伪分布式

• 1.修改/root/soft/hadoop/etc/hadoop/core-site.xml
• 2.修改/root/soft/hadoop/etc/hadoop/hdfs-site.xml
• 3.修改/root/soft/hadoop/etc/hadoop/mapred-site.xml.template
• 4.修改/root/soft/hadoop/etc/hadoop/yarn-site.xml（注意第三行主机名）
• 5.启动Hadoop
• 6.进行SSH连接
• 7.其他命令

1.修改/root/soft/hadoop/etc/hadoop/core-site.xml

修改 vi /etc/hosts 进行主机名和IP的映射 你的ip+你的主机名：

修改主机名：

hostname 主机名

 vi /etc/hostname 

映射：

192.1.xx master

修改/root/soft/hadoop/etc/hadoop/core-site.xml（注意第三行主机名和倒数第二行Hadoop位置）：

    
        fs.defaultFS 
        hdfs://master:9000
    
    
        hadoop.tmp.dir
        /root/soft/hadoop/tmp
    

在/root/soft/hadoop下创建目录：

 mkdir tmp

2.修改/root/soft/hadoop/etc/hadoop/hdfs-site.xml

 
        dfs.replication
        1
    

3.修改/root/soft/hadoop/etc/hadoop/mapred-site.xml.template

复制一个

mv mapred-site.xml.template mapred-site.xml

配置文件：

        mapreduce.framework.name
        yarn
    

4.修改/root/soft/hadoop/etc/hadoop/yarn-site.xml（注意第三行主机名）

  
        yarn.resourcemanager.hostname
        master
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

5.启动Hadoop

格式化：

hadoop namenode -format

启动：

 start-dfs.sh

注意：格式化会重新生成~/soft/hadoop/tmp/dfs/name/current/VERSION的clusterID属性，容易导致namenode与datanode的clusterID不一致，从而无法正常启动。两种解决方案：

1. 将name与data文件夹下的VERSION中的clusterID改为一致
2. 删除所有的（namenode、datanode）临时文件夹后再格式化!

6.进行SSH连接

关闭集群：

stop-dfs.sh 

进入以下目录：

 cd .ssh/

生成秘钥对：

ssh-keygen -t rsa

复制到位置（注意主机名）：

ssh-copy-id 你的主机名

启动：
同时启动hdfs和yarn

start-all.sh

查看进程：

jps

在宿主机的浏览器中输入 主机名:50070 或者你的 ip:50070进入

Hadoop安装配置到此结束。
接下文——————>

7.其他命令

启动hadoop分布式文件系统（hdfs）

start-dfs.sh

关闭hadoop分布式文件系统（hdfs）

stop-dfs.sh

启动hadoop资源调配系统（yarn）

start-yarn.sh

关闭hadoop资源调配系统（yarn）

stop-yarn.sh

同时关闭hdfs和yarn

stop-all.sh