bigbrother的补充单节点hdfs搭建好后搭建mapredce

bigbrother的补充单节点hdfs搭建好后搭建mapredce
1、环境文件的配置
（1）hadoop已经配置了一个环境变量文件
hadoop-env.sh在里面修改了javahome
（2）再把map，yarn的环境文件配置一下
修改map的env.sh文件
默认如图，记得把注释删除掉
改为下图
（3）修改yarn的环境文件
类似的修改如下：

2、配置map的配置文件

首先先把模板copy一份变为可以生效的xml
使用的框架为yarn 另外可以选择的还有classic和local
修改etc/hadoop/mapred-site.xml:

    
        mapreduce.framework.name
        yarn
    

3、修改 etc/hadoop/yarn-site.xml:
单节点：

 
     yarn.nodemanager.aux-services
      mapreduce_shuffle
 


  yarn.resourcemanager.hostname.rm1
  node1



  yarn.resourcemanager.webapp.address.rm1
  node1:8088

四节点：

  
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    



  yarn.resourcemanager.ha.enabled
  true



  yarn.resourcemanager.cluster-id
  Mycluster



  yarn.resourcemanager.ha.rm-ids
  rm1,rm2



  yarn.resourcemanager.hostname.rm1
  node3


  yarn.resourcemanager.hostname.rm2
  node4



  yarn.resourcemanager.webapp.address.rm1
  node3:8088


  yarn.resourcemanager.webapp.address.rm2
  node4:8088



  yarn.resourcemanager.zk-address
  node2:2181,node3:2181,node4:2181

4、访问页面测试
active激活的节点有一个我这个是单节点的所以是这样的，下面的是任务的详情，succeed证明任务已经完成了
5、开启mapreduce任务
参考文件：
https://blog.csdn.net/jjjjjjabnannnan/article/details/110239351