资讯专栏INFORMATION COLUMN

【深度】Kubernetes在京东人工智能平台的应用

bingchen / 3357人阅读

摘要:目前是容器圈里的当红炸子鸡,京东人工智能平台登月中也大量应用了。我们将在月日,北京,国家会议中心举办的京东技术开放日人工智能平台的系统架构与数据处理专场中,专题分享在京东人工智能平台的应用。

“目前Kubernetes是容器圈里的“当红炸子鸡”,京东人工智能平台——登月中也大量应用了Kubernetes。在京东资深架构师范振看来,登月平台的设计出发点就是Kubernetes调度一切。”

在京东,分布式机器学习平台已经应用于包括电商,金融等多个应用场景。“我们将在9月16日,北京,国家会议中心举办的京东技术开放日——人工智能平台的系统架构与数据处理专场中,专题分享Kubernetes在京东人工智能平台的应用。”

范振谈到:“包括将学习任务分配到集群的物理节点上进行运算,如果遇到任务失败的情况,Kubernetes 会自动重启任务;以及Kubernetes可以把很多并发进程组织成service,并且实现auto scaling——白天用户数量多的时候,增加Web service里的进程数,减少AI作业的进程数。晚上减少Web service里的进程数,释放资源给AI作业,提升机器资源利用率和降低基础设施成本。”

这些内容都将在9月16日,北京,国家会议中心举办的京东技术开放日上做专题分享。

人工智能的集中式爆发,机器学习的训练过程对于快速迭代的高要求,让能够轻量级接入,并且可以对用户提供秒级响应的Kubernetes发挥了巨大的优势。师出同门的Google Tensorflow项目很早也进行了与Kubernetes的集成,京东的人工智能平台上实现了Spark on Kubernetes。

从Kubernetes的角度出发,把Driver和Executor分别Container化,完成Spark的原生调度,架构更清晰。同时,继承了Docker的计算资源隔离性,通过Kubernetes的Namespace,将不同的Job从网络上彻底隔离。

在9月16日,北京,国家会议中心举办的京东技术开放日上,这些大家关注的热点内容,都将在活动现场精彩呈现。

范振认为,未来Kubernetes也可能会成为云管理平台的统治者,也还会有更多的应用在Kubernetes上原生运行起来。因为对于Kubernetes,它可以把很多分散的物理计算资源抽象成一个大的资源池,利用这些资源来执行用户的计算任务。对于用户来说,操作一个分散的集群资源就像在使用一台计算机。

实际上,Kubernetes不仅简单的解决了容器的部署和运行问题,它还关注如何帮助用户构建容器化分布式服务这个问题。因此9月16日,北京,国家会议中心举办的京东技术开放日对于在容器化道路上还在“摸着石头过河”的用户来说,也是很有价值的。

“Kubernetes作为一个快速演进的项目,应用起来潜在的坑还是很多的。本次京东技术开放日上的Kubernetes议题,就是在你做为应用新技术方面,可以借鉴的很好的一次经验分享。” ——京东副总裁 翁志

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/27037.html

相关文章

  • CloudBest:年度复盘丨盘点2020无处不「云原生」

    摘要:华为云华为云在云原生这场游戏中,最具竞争力的玩家之一。年,金山云在云原生领域推出了三款重磅产品星曜裸金属服务器云服务器和云盘。在线上智博会上,浪潮云发布了经过全新迭代升级的浪潮云,进一步提升平台云原生服务能力。面对数字时代复杂系统的不确定性,传统的 IT 应用架构研发交付周期长、维护成本高、创新升级难,烟囱式架构,开放性差、组件复用度低,这些都成为了企业业务快速增长的瓶颈。而云原生以其敏捷、...

    Tecode 评论0 收藏0
  • CNCF案例研究:京东

    摘要:例如,京东的产品数据库中有超过一万亿个图像供客户使用,每天增加亿个图像。京东目前处于的第二阶段该平台已经稳定,可扩展且灵活,因此重点是如何更有效地运行以进一步降低成本。社区参与是京东的优先事项。 京东如何在超大规模的电子商务中率先采用Kubernetes showImg(https://segmentfault.com/img/bVbodkt?w=1674&h=830); 公司:京东地...

    Jioby 评论0 收藏0
  • CNCF案例研究:京东

    摘要:例如,京东的产品数据库中有超过一万亿个图像供客户使用,每天增加亿个图像。京东目前处于的第二阶段该平台已经稳定,可扩展且灵活,因此重点是如何更有效地运行以进一步降低成本。社区参与是京东的优先事项。 京东如何在超大规模的电子商务中率先采用Kubernetes showImg(https://segmentfault.com/img/bVbodkt?w=1674&h=830); 公司:京东地...

    ygyooo 评论0 收藏0
  • 这大概是今年介绍云原生最清晰明了文章!

    摘要:在本次上,京东云将在大会上为对云原生感兴趣的研发和运维人员带来利用延迟加载快速启动容器的话题分享。今天聊的主角云原生也是一样。 showImg(https://segmentfault.com/img/bVbtNqp?w=688&h=113); showImg(https://segmentfault.com/img/bVbtQaR?w=684&h=327); showImg(http...

    andycall 评论0 收藏0
  • 这大概是今年介绍云原生最清晰明了文章!

    摘要:在本次上,京东云将在大会上为对云原生感兴趣的研发和运维人员带来利用延迟加载快速启动容器的话题分享。今天聊的主角云原生也是一样。 showImg(https://segmentfault.com/img/bVbtNqp?w=688&h=113); showImg(https://segmentfault.com/img/bVbtQaR?w=684&h=327); showImg(http...

    StonePanda 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<