资讯专栏INFORMATION COLUMN

YARN架构一图简记

rubyshen / 756人阅读

摘要:启动时会向的路径下写入文件,写入成功的则为,否则为。根据上下文以及从收集到的状态信息分配资源并调度,启动一个用来运行。负责启动,监控所在节点的资源使用情况,并通过心跳机制报告给。

HA:RM启动时会向zk的/mrstore路径下写入lock文件,写入成功的则为active RM,否则为standby RM。启动后,RM会将job信息写入/mrstore,RM进程中的ZKFC线程会监控/mrstore中的lock文件,若不存在则RM为active,存在则为standby,切换后可从/mrstore读取job信息。

运行:Client提交job,会访问RM,若访问到standby RM则重新访问active RM。RM根据job上下文以及从NM收集到的状态信息分配资源并调度,启动一个container用来运行AM。NM负责启动container,监控所在节点的资源使用情况,并通过心跳机制报告给RM。job的task会在container中运行。

RM,NM相当于写字楼的管理者,RM总管,NM区域管理,它们提供container(办公室);
AM相当于项目经理,向写字楼管理者申请办公室,在它们提供的container上执行task,完成客户提交的job。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/74042.html

相关文章

  • YARN架构一图简记

    摘要:启动时会向的路径下写入文件,写入成功的则为,否则为。根据上下文以及从收集到的状态信息分配资源并调度,启动一个用来运行。负责启动,监控所在节点的资源使用情况,并通过心跳机制报告给。 showImg(https://segmentfault.com/img/bVbqOVb?w=1280&h=720); HA:RM启动时会向zk的/mrstore路径下写入lock文件,写入成功的则为acti...

    dingda 评论0 收藏0
  • HDFS架构一图简记

    摘要:会实时从上读取信息,进行重演,保持与的数据同步。如果挂掉了,会监控到,向集群发送心跳报告时会将这一消息报告上去,集群会进行选举,被选举到的所在节点的进程收到通知,这个会切换的状态为。 showImg(https://segmentfault.com/img/bVbqOJn?w=1280&h=720); 读写:客户端通过命名空间发请求,可以无感知的找到active NN,active N...

    姘搁『 评论0 收藏0
  • HDFS架构一图简记

    摘要:会实时从上读取信息,进行重演,保持与的数据同步。如果挂掉了,会监控到,向集群发送心跳报告时会将这一消息报告上去,集群会进行选举,被选举到的所在节点的进程收到通知,这个会切换的状态为。 showImg(https://segmentfault.com/img/bVbqOJn?w=1280&h=720); 读写:客户端通过命名空间发请求,可以无感知的找到active NN,active N...

    stackfing 评论0 收藏0
  • 追根溯源!一图看尽深度学习架构谱系

    摘要:近几年,深度学习高速发展,出现了大量的新模型与架构,以至于我们无法理清网络类型之间的关系。是由深度学习先驱等人提出的新一代神经网络形式,旨在修正反向传播机制。当多个预测一致时本论文使用动态路由使预测一致,更高级别的将变得活跃。 近几年,深度学习高速发展,出现了大量的新模型与架构,以至于我们无法理清网络类型之间的关系。在这篇文章中,香港科技大学(HKUST)助理教授金成勳总结了深度网络类型之间...

    tinylcy 评论0 收藏0
  • Java多线程001——一图读懂线程与进程

    摘要:一图读懂线程与进程一个进程可以包含一个或多个线程。栈帧中保存了该函数的返回地址和局部变量。公众号猫说现架构设计码农兼创业技术顾问,不羁平庸,热爱开源,杂谈程序人生与不定期干货。 本博客 猫叔的博客,转载请申明出处 前言 本系列将由浅入深,学习Java并发多线程。 一图读懂线程与进程 showImg(https://segmentfault.com/img/remote/14600000...

    ivyzhang 评论0 收藏0

发表评论

0条评论

rubyshen

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<