中国移动

中国移动

厂商: 中国移动

"移动云"(http://ecloud.10086.cn/)隶属于中国移动通信集团公司,是中国移动面向政企、事业单位、开发者等客户推出的基于云计算技术、采用互联网模式、提供基础资源、平台能力、软件应用等服务的业务。

使用产品

客户介绍

中国移动通信集团公司,注册资本512亿元人民币,资产规模超过万亿元人民币,拥有全球的网络和客户规模,2015年列《财富》杂志世界500强55位,品牌价值位列全球电信品牌前列。
"移动云"(http://ecloud.10086.cn/)隶属于中国移动通信集团公司,是中国移动面向政企、事业单位、开发者等客户推出的基于云计算技术、采用互联网模式、提供基础资源、平台能力、软件应用等服务的业务。移动云是建立在中国移动“大云”的基础上,自主技术研发而成的公有云平台,通过服务器虚拟化、对象存储、网络安全能力自动化、资源动态调度等技术,将计算、存储、网络、安全、大数据、开放云市场等作为服务提供,客户根据其应用的需要可以按需使用、按使用付费。

项目背景及业务挑战

随着中国移动“大云”公有云平台不断发展,后端存储平台需求非常旺盛。中移(苏州)软件技术有限计划搭建分布式对象存储解决如下问题:
  1. 国移动公众服务云四期、五期需要基于Ceph搭建对象存储业务,主要用于移动公众服务云后端对象存储,规模30PB。
  2. 需要设计和交付存储系统的交付流程,保证存储项目按时高质量落地,保证存储系统稳定运行运营。
  3. 流程包括:架构设计服务、部署服务、验证服务、培训服务、系统交付、诊断工具、运维工具、升级服务、支持服务、扩展服务、产品文档。

解决方案

基于UMCloud 现有分布式存储解决方案,设计使用Ceph搭建移动大云后端分布式对象存储。
对象存储服务物理架构示意图
对象存储由智能分布式存储(RADOS)集群、管理平台和驻留在应用服务系统中的程序或代码库组成,如下图所示:
图1  对象存储服务 物理架构
其中智能分布式对象存储集群包含 OSD ,MON 和RGW组件:
  1. OSD:OSD 负责处理客户端读写请求。不管是通过哪种方式(对象、文件或者其他通过调用librados接口的API)访问分布式存储集群,数据都转换成对象存储到集群中。一个OSD对应一个存储磁盘。一个集群可根据容量、性能、故障域需要,部署多个OSD 节点。
  2. MON:MON负责处理集群管理元数据表。客户端向OSD发送读写请求之前,需要从MON中拿到新的集群表,利用CRUSH算法计算出来数据存储位置后,直接将读写请求发送至对应的OSD。一个存储集群可以只包含1个MON 节点,但是考虑到MON节点失效后集群不可用的情况,实际生产环境中一个存储集群至少部署3个MON节点。
  3. RGW:对象存储网关,给用户提供REST API,并且兼容S3和Swift。
对象存储服务网络拓扑
北京、广州逻辑拓扑如下:
图2 多数据中心网络拓扑
服务器有管理网、存储网和业务网三套网络,所有网络都做双网卡bond,其中存储万网和业务网共用一对万兆口。管理网用于系统的监控和管理;存储网用于OSD集群节点间的数据传输和心跳;业务网用于客户端对后端存储的访问,以及Monitor组件间以及Monitor对OSD的心跳。

客户收益

  1. 通过UMCloud 分布式对象存储架构实现数据中心级容灾,Ceph可以实现异地数据复制,基于容器对象异步远程复制技术,主节点在对外提供服务时,用户数据在主节点落盘后即向用户回应“写成功”应答,然后实时记录数据变化的相关日志信息。备节点则实时比较主备数据差异,并及时将差异化数据拉回备节点。异步复制技术适用于远距离的容灾方案,对系统性能影响较小。
  2. 通过UMCloud 分布式对象存储架构自动化部署和弹性扩容,Ceph分布式存储架构可以实现对象存储自动化部署,通过UMCloud提供的部署工具实现了大规模集群的自动化部署和配置、运维和运营等功能。
  3. 通过UMCloud 分布式对象存储架构实现数据可靠性设计故障域/复制域机制,优化存储集群内部复制流量;限定POD的规模,通过组合POD的方式提升存储规模;优化CRUSH MAP,优化数据持久性和可用性;
  4. 根据网络拓扑设计故障域和复制域,提高可用性和数据持久性,可以达到15个9的数据可靠性。