Hadoop26:YARN集群启动与测试
文章目录
- 启动YARN集群
- 1、一键启动YARN集群
- (1)命令:==sbin/start-yarn.sh==
- 命令: ==sbin/yarn-daemon.sh start resourcemanager==
- 2、一键关闭YARN集群
- 3、查看rm状态
- 4、把Windows本地的host与IP地址配一下
- 5、web界面查看YARN
- (1)yarn web ui 地址
- (2)启动Hadoop历史服务器(方便查看运行作业情况)
- 6、提交作业到YARN
- (1)提交MapReduce 作业到YARN运行
启动YARN集群
1、一键启动YARN集群
(1)命令:sbin/start-yarn.sh
[hadoop@hadoop60 hadoop]$ cd ..
[hadoop@hadoop60 etc]$ cd ..
[hadoop@hadoop60 hadoop]$ jps
3633 DataNode
6595 Jps
4151 DFSZKFailoverController
3517 NameNode
3853 JournalNode
2463 QuorumPeerMain
[hadoop@hadoop60 hadoop]$ sbin/start-yarn.sh
[hadoop@hadoop60 hadoop]$ jps
3633 DataNode
6917 NodeManager
8198 Jps
4151 DFSZKFailoverController
7372 ResourceManager
3517 NameNode
3853 JournalNode
2463 QuorumPeerMain
(2)注意:hadoop61的ResourceManager需要手动开启,hadoop62的不用
命令: sbin/yarn-daemon.sh start resourcemanager
[hadoop@hadoop61 hadoop]$ sbin/yarn-daemon.sh start resourcemanager
[hadoop@hadoop61 hadoop]$ jps
2839 Jps
2798 ResourceManager
2、一键关闭YARN集群
命令:sbin/stop-yarn.sh
3、查看rm状态
[hadoop@hadoop60 hadoop]$ bin/yarn rmadmin -getServiceState rm1
active
[hadoop@hadoop60 hadoop]$ bin/yarn rmadmin -getServiceState rm2
standby
4、把Windows本地的host与IP地址配一下
步骤:
(1)定位到C:\Windows\System32\drivers\etc
(2)打开hosts,在最下面行输入
192.168.24.60 hadoop60
192.168.24.61 hadoop61
192.168.24.62 hadoop62
5、web界面查看YARN
(1)yarn web ui 地址
http://192.168.24.60:8088/cluster
或者hadoop60:8088
(2)启动Hadoop历史服务器(方便查看运行作业情况)
[hadoop@hadoop60 hadoop]$ bin/mapred --daemon start historyserver
[hadoop@hadoop60 hadoop]$ jps
3633 DataNode
4151 DFSZKFailoverController
8489 Jps
7372 ResourceManager
3517 NameNode
3853 JournalNode
2463 QuorumPeerMain
8447 JobHistoryServer
注:HDFS Web界面可以看到historyserver配置目录
6、提交作业到YARN
(1)提交MapReduce 作业到YARN运行
命令:bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /qwq/wd.txt /qwq/out
[hadoop@hadoop60 hadoop]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /qwq/wd.txt /qwq/out
(2)在web网页可以看到传输成功了
(3)可以在这查看out文件
(4)点击download查看,显示hadoop 3,因为out文件里hadoop单词有三个,说明结果是对的
(5)查看具体作业日志信息(启动Hadoop历史服务器才可以看到)
(6)查看历史日志信息
注:如果无法打开就重启historyserver