Hadoop26：YARN集群启动与测试

• 启动YARN集群
• • 1、一键启动YARN集群
  • （1）命令：==sbin/start-yarn.sh==
  • 命令： ==sbin/yarn-daemon.sh start resourcemanager==
  • 2、一键关闭YARN集群
  • 3、查看rm状态
  • 4、把Windows本地的host与IP地址配一下
  • 5、web界面查看YARN
  • • （1）yarn web ui 地址
    • （2）启动Hadoop历史服务器（方便查看运行作业情况）
  • 6、提交作业到YARN
  • • （1）提交MapReduce 作业到YARN运行

[hadoop@hadoop60 hadoop]$ cd .. 
[hadoop@hadoop60 etc]$ cd ..
[hadoop@hadoop60 hadoop]$ jps
3633 DataNode
6595 Jps
4151 DFSZKFailoverController
3517 NameNode
3853 JournalNode
2463 QuorumPeerMain
[hadoop@hadoop60 hadoop]$ sbin/start-yarn.sh

[hadoop@hadoop60 hadoop]$ jps
3633 DataNode
6917 NodeManager
8198 Jps
4151 DFSZKFailoverController
7372 ResourceManager
3517 NameNode
3853 JournalNode
2463 QuorumPeerMain

(2)注意：hadoop61的ResourceManager需要手动开启，hadoop62的不用

[hadoop@hadoop61 hadoop]$ sbin/yarn-daemon.sh start resourcemanager
[hadoop@hadoop61 hadoop]$ jps
2839 Jps
2798 ResourceManager

命令：sbin/stop-yarn.sh

[hadoop@hadoop60 hadoop]$ bin/yarn rmadmin -getServiceState rm1
active
[hadoop@hadoop60 hadoop]$  bin/yarn rmadmin -getServiceState rm2
standby

步骤：
（1）定位到C:WindowsSystem32driversetc
（2）打开hosts，在最下面行输入
192.168.24.60 hadoop60
192.168.24.61 hadoop61
192.168.24.62 hadoop62

http://192.168.24.60:8088/cluster
或者hadoop60:8088

[hadoop@hadoop60 hadoop]$ bin/mapred --daemon start historyserver
[hadoop@hadoop60 hadoop]$ jps
3633 DataNode
4151 DFSZKFailoverController
8489 Jps
7372 ResourceManager
3517 NameNode
3853 JournalNode
2463 QuorumPeerMain
8447 JobHistoryServer

注：HDFS Web界面可以看到historyserver配置目录

命令：bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /qwq/wd.txt /qwq/out

[hadoop@hadoop60 hadoop]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /qwq/wd.txt /qwq/out

（2）在web网页可以看到传输成功了

（3）可以在这查看out文件

（4）点击download查看，显示hadoop 3，因为out文件里hadoop单词有三个，说明结果是对的

（5）查看具体作业日志信息（启动Hadoop历史服务器才可以看到）

（6）查看历史日志信息
注：如果无法打开就重启historyserver