Hadoop26:YARN集群启动与测试

wuchangjian2021-10-31 19:04:59编程学习

文章目录

  • 启动YARN集群
    • 1、一键启动YARN集群
    • (1)命令:==sbin/start-yarn.sh==
    • 命令: ==sbin/yarn-daemon.sh start resourcemanager==
    • 2、一键关闭YARN集群
    • 3、查看rm状态
    • 4、把Windows本地的host与IP地址配一下
    • 5、web界面查看YARN
      • (1)yarn web ui 地址
      • (2)启动Hadoop历史服务器(方便查看运行作业情况)
    • 6、提交作业到YARN
      • (1)提交MapReduce 作业到YARN运行

启动YARN集群

1、一键启动YARN集群

(1)命令:sbin/start-yarn.sh

[hadoop@hadoop60 hadoop]$ cd .. 
[hadoop@hadoop60 etc]$ cd ..
[hadoop@hadoop60 hadoop]$ jps
3633 DataNode
6595 Jps
4151 DFSZKFailoverController
3517 NameNode
3853 JournalNode
2463 QuorumPeerMain
[hadoop@hadoop60 hadoop]$ sbin/start-yarn.sh

[hadoop@hadoop60 hadoop]$ jps
3633 DataNode
6917 NodeManager
8198 Jps
4151 DFSZKFailoverController
7372 ResourceManager
3517 NameNode
3853 JournalNode
2463 QuorumPeerMain

(2)注意:hadoop61的ResourceManager需要手动开启,hadoop62的不用

命令: sbin/yarn-daemon.sh start resourcemanager

[hadoop@hadoop61 hadoop]$ sbin/yarn-daemon.sh start resourcemanager
[hadoop@hadoop61 hadoop]$ jps
2839 Jps
2798 ResourceManager

2、一键关闭YARN集群

命令sbin/stop-yarn.sh

3、查看rm状态

[hadoop@hadoop60 hadoop]$ bin/yarn rmadmin -getServiceState rm1
active
[hadoop@hadoop60 hadoop]$  bin/yarn rmadmin -getServiceState rm2
standby

4、把Windows本地的host与IP地址配一下

步骤:
(1)定位到C:\Windows\System32\drivers\etc
(2)打开hosts,在最下面行输入
192.168.24.60 hadoop60
192.168.24.61 hadoop61
192.168.24.62 hadoop62

5、web界面查看YARN

(1)yarn web ui 地址

http://192.168.24.60:8088/cluster
或者hadoop60:8088

(2)启动Hadoop历史服务器(方便查看运行作业情况)

[hadoop@hadoop60 hadoop]$ bin/mapred --daemon start historyserver
[hadoop@hadoop60 hadoop]$ jps
3633 DataNode
4151 DFSZKFailoverController
8489 Jps
7372 ResourceManager
3517 NameNode
3853 JournalNode
2463 QuorumPeerMain
8447 JobHistoryServer

:HDFS Web界面可以看到historyserver配置目录
在这里插入图片描述

6、提交作业到YARN

(1)提交MapReduce 作业到YARN运行

命令:bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /qwq/wd.txt /qwq/out

[hadoop@hadoop60 hadoop]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /qwq/wd.txt /qwq/out

(2)在web网页可以看到传输成功了
在这里插入图片描述
(3)可以在这查看out文件
在这里插入图片描述
(4)点击download查看,显示hadoop 3,因为out文件里hadoop单词有三个,说明结果是对的
在这里插入图片描述

(5)查看具体作业日志信息(启动Hadoop历史服务器才可以看到)
在这里插入图片描述
在这里插入图片描述

(6)查看历史日志信息
在这里插入图片描述:如果无法打开就重启historyserver

相关文章

达梦8 dm8 mpp集群搭建

DM8 MPP集群搭建步骤 规划 主机名 服务ip 心跳ip...

JQuery--ajax的各种请求方式

   JQuery对Ajax做了大量的封装,使用起来很方便,...

一维数组的使用

数组: 定义 :数组类型 数组类型 数组名[ 长度]&#x...

密码杂凑算法的应用

密码杂凑算法的直接应用就是产生消息摘要,进一步可以检验数据的完整性...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。