资讯专栏INFORMATION COLUMN

平安云构建解密

vvpale / 1715人阅读

摘要:平安云诞生于平安集团的科技大本营,多年的金融经验积累使得平安云对金融行业架构规范,金融业务系统流量特征及安全合规性等均有独到的见解。

平安云诞生于平安集团的科技大本营,多年的金融IT经验积累使得平安云对金融行业架构规范,金融业务系统流量特征及安全合规性等均有独到的见解。从13年底立项以来,平安金融云一直尽可能走开源和自研结合的路线,自主研发了IaaS层的全套产品线,为金融行业客户提供可靠、弹性、高效、集约的基础架构层服务。

目前金融云平台已涵盖平安集团90% 以上的业务公司,支撑60% 的业务系统投产,并延伸至外部直销银行及金融机构,承载过亿的互联网金融用户。平安金融云将持续推动集团3.0“大金融资产+ 大医疗健康”战略更快发展,打造金融平台业务,占领数据、生态阵地,为集团互联网、业务云、生态圈的爆发式增长保驾护航。在“2016年金融信息化10件大事”评选中,平安云排名12,在参选的金融云平台里排名第一。

所有的云服务中,都会涉及到三项台柱技术领域:计算、存储、网络。本文将介绍平安云构建过程中在这三大技术所做的实践,希望对尝试搭建云服务的读者有借鉴意义。

图1 平安云平台级总体架构

如图1,平安云后台实现计算、存储、网络的资源管理、以及对用户的交付服务。

计算服务

当下的计算机领域呈现出人云亦云的现象,但最出名的还是以AWS、Azure、阿里云为代表的云计算服务,这说明计算是云里面最重要的服务,从3A的营收占比来看,也的确是这么回事。

以AWS为例,最初负责主机运维的工作人员出于提高资源利用率和额外创收考虑,提议将每年为黑色星期五准备的大规模资源在平日时间段以计算服务的形式出售,由此,云以计算服务开的头。

平安云在构建过程中实际上也是重复了这一过程,计算云化技术的决策选型是创始团队要攻克的第一关,而绝则取决于现实:一方面要支持日益持重的KVM虚拟化,另一方面需兼容过去已大量投产的VMware虚拟化。这两个目标具备很高的实线价值——即支持业务无感知从传统VMware环境切换到云管理的VMware,又使得一些创新的互联网应用在没有包袱的背景下自由使用KVM。

基于以上考虑,我们主要调研了OpenStack与CloudStack,其余的方案实现功能相似,社区热度相差太大而不予考虑。最终我们出于以下因素选择了CloudStack。

成熟度:决策期间,当时OpenStack刚开始发展,虽然社区火热但成熟度较低,难以满足早日平台搭建落地的现实目标;CloudStack曾是cloud.com的商用版本,成熟度相对较好,并且已有多个成熟的客户案例可借鉴;

普及性:金融系统内业务系统通常以Java为开发语言,CloudStack上手容易

企业特性:CloudStack内部架构逻辑更符合企业应用系统设计,相对于分布式组件化的OpenStack,部署CloudStack的方式更适合当时的平安集团IT特性;

技术局限性:团队成员熟悉计算和存储,网络方面的需求没有考虑太深

CloudStack的架构比较小巧紧凑,容易部署,但也有不尽人意的方面,其缺点主要在于对网络功能的支持不够丰富、灵活。这里我们有独特的做法:CloudStack相当于完成OpenStack Nova的功能,只用来进行计算虚拟化资源管理。为了达到对网络功能的支持效果,我们对CloudStack做了二次开发,增加了一个和OpenStack Neutron对接的Plugin,使Neutron能够感知到虚拟机的生命周期。

图2 计算服务CloudStack架构图

如图2,CloudStack的Network功能被极度的弱化,工作主要是管理计算所需的IP资源、VLAN等,编排物理网络的工作交给了Neutron。

存储服务

存储和计算不分家,平安云存储服务根据技术和场景的演变解决方案也变得丰富多样:

本地盘和高性能本地盘:提供高IO,同时缩小存储故障域;

SAN和NAS:传统方案,支持计算HA;

本地盘高可用和VSAN等超融合方案:本地盘方案的升级,在高IO同时提供HA;

Ceph提供块存储和对象存储:块存储作为SAN和NAS的替代方案,对象存储可以提供用户数据备份服务。

 

图3 块存储服务架构图

如图3,块存储服务的交付实际上是比较简单的,通过CloudStack对接到每个Hypervisor的CS-Agent或者vCenter,将VM的磁盘IO和后端的Ceph、NAS、本地盘、SAN等存储资源池挂接。存储资源池配给通常比较充足,资源监控和管理通过额外的运维系统完成。

图4 使用Ceph提供块、文件、对象存储服务

Ceph是目前最流行的软件定义存储的开源解决方案,在云环境的存储服务中提供了非常好的可定制性和可扩展性。作为统一存储,Ceph在最底层原生的RADOS对象存储的基础上通过模块化的方式分别提供的块存储(RBD), 对象存储(RGW)和文件存储(CephFS)。为了把原生的开源Ceph存储应用到不同的业务场景,我们在性能优化和部署,配置,故障修复方面做了大量的研究和实践。基于Ceph开源社区良好的发展趋势,Ceph将会是一个很好的兼顾性能、成本、扩展性的云存储解决方案。

网络服务

相对于计算与存储,网络是一门多带带的领域。通常懂计算的都会了解一些存储,懂存储的也会知道一些计算,但是都会对网络感到陌生,原因也很简单,计算中数据落地涉及到存储,存储也有Server Storage,操作对象基本上是PC Server、Linux,而网络人员操作对象则是各种厂家的Switch、Firewall、Router和LB,操作对象不同,且都是非常成熟的领域,因此知识、技能很难与计算、存储融合。

网络在云中最核心的作用有2个:

提供计算和存储互联的高速公路,这个是物理网络实现的功能,不管是云还是传统基础架构,网络都实现了这些需求;

提供租户的虚拟网络,通常是在物理网络中通过虚拟化实现的,这是云独有的需求,在网络界术语中,在物理网络中为每个租户提供虚拟网络的技术称为网络虚拟化(Network Virtualization)简称NV,是当今网络界最热的要点,不同云服务商的NV方案大相径庭。

大多数熟知的云都会最初把NV做到Linux内部,而不会交给专门的网络去实现,这也是对上述理论的验证。NV在云计算发展过程中,也是更为缓慢的,但可以看到各大公有云都在使用SDN和NFV来补齐这部分短板。平安云的起步较晚,可以利用后发优势,从一开始就考虑物理网络上实现NV,原因比较简单,物理网络设备是连接大量服务器的专用设备,物理网络设备供应商不会对NV视而不见,截止至今日,物理网络设备NV技术已经相对成熟,将NV从主机剥离出来,也有利于降低主机技术集成复杂度,提升运维效率,平安云网络的优势主要是通过对方案的主导性对物理网络设备厂家研发力量进行整合,而不是一味在主机上单干。

图5 平安云网络服务模型

平安云把网络虚拟化分为Fabric服务、NF(网络功能)、增值服务3部分:

Fabric,实现虚拟网络中的租户Switch和Router功能,网络人士称之为L2和L3功能,租户可以在Fabric服务中管理子网、租户路由表等功能,从而实现Fabric内租户计算节点实现互访,控制边界路由等功能,该服务在网络中属于低频操作类,租户只有在创建时需要关心,因此这部分也是租户比较陌生的;

NF,实现虚拟网络的租户VPN、访问控制、NAT和LB 等功能,对应网络人士熟知的L3、L4和L7功能,这些服务在网络中属于中高频操作类,租户比较熟悉;

增值服务,比如CDN、大流量高防、域名管理、互联网流量分析、互联网质量探测、安全专线等,这些服务涵盖低中高频类,租户比较熟悉。 

为了让这三项服务能够高效、科学地编排,平安云使用了可扩展性强的Neutron,并依托Neutron构建了统一编排平台Network Service Platform(NSP),同时对Fabric、NF和增值服务进行管理。

 

图6 基于Neutron的NSP平台架构

NSP平台可以将来自不同厂家的网络设备、第三方网络服务都通过容易扩展的Service Plugin来对接,而核心NSP维护的是抽象网络服务数据,编排对接Portal和CloudStack都使用这一层抽象的网络模型。

总结

除了网络之外,计算和存储都依托比较成熟的方案搭建,平安云收获最宝贵的是架构治理和业务入云的经验,这种务实的战略是平安云能够在过去2年中迅速成长的关键。“架构自主、但不做大的修改,以用为先”,对于很多企业来说,也是可以借鉴的。

网络比较特殊,在很多云计算团队中,网络都是一个比较边缘化的领域,因为日常面对的硬件和服务器实在是过于不同,Neutron作为计算领域的专家提出的模型,并不一定是真实网络的抽象,各个网络设备供应商在面对OpenStack浪潮中,更多地是遵从Neutron,而并没有发展Neutron,有幸平安云在项目早期就很重视网络服务,得以组建开发团队基于Neutron做了很多务实的拓展。使NSP能够在不到1年的时间就能够完成开发并且上线。

作者简介:丘子隽,云平台事业部云网络服务组

欢迎加入本站公开兴趣群

软件开发技术群

兴趣范围包括:Java,C/C++,Python,PHP,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流

QQ群:26931708

Hadoop源代码研究群

兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop

QQ群:288410967 

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/4204.html

相关文章

  • 安云入围Forrester中国全栈公有云Wave报告

    摘要:近日,国际知名行业研究咨询机构发布年中国全栈公有云开发平台报告,平安科技平安云首度入围。强大的技术支持与服务体系报告提到,平安云是在被评估厂商中为数不多受到所有访谈对象客户一致好评的云服务商。近日,国际知名行业研究&咨询机构Forrester Research发布《2018年中国全栈公有云开发平台Wave报告》,平安科技平安云首度入围。该报告通过产品、战略、市场三大维度的33项评估标准,结合...

    罗志环 评论0 收藏0
  • 聚集2017年全球云计算大会:两大阵营三家云服务如何做云

    摘要:前几天上海世博展览会迎来了第五届全球云计算大会暨国际网络通信展。相较于阵营和互联网阵营的云服务商,运营商的优势在于云网一体,将公有云和私有云通过网络连接和扩容,实现云计算的弹性。其中一家是专注于金融云计算基础服务的平安云。前几天上海世博展览会迎来了第五届全球云计算大会暨国际网络通信展。跟以往一样,今年记者又被安排了一连串的采访,不过有趣的是今年采访的三家云服务商,分别代表了除互联网阵营以外的...

    JasinYip 评论0 收藏0
  • IPF 2019:人工智能计算 驱动产业变革

    摘要:而在众多产业转型商业升级的故事背后,是人工智能计算的驱动力量。其中,传统行业是人工智能产业发展的更大空间,尤其在年以来,产业智慧化更是迎来了前所未有的发展红利。 showImg(https://segmentfault.com/img/remote/1460000018909774); 医疗、金融、工业、交通、零售,目之所及,无不在经历智慧化的变革。而在众多产业转型、商业升级的故事背后...

    leoperfect 评论0 收藏0
  • 安云主机怎么连接-云主机怎么使用?

    摘要:云主机怎么使用准备好一台云服务器,云服务器多包含的基本配置就是,内存,硬盘等基本配置。利用云服务器的地址,账户名,密码来登录。云主机怎么使用?1、准备好一台云服务器,云服务器多包含的基本配置就是cup,内存,硬盘等基本配置。2、利用云服务器的IP地址,账户名,密码来登录。(云服务器的用户名是由云服务器的系统而定的,windows系统用户名就是administrator,linux系统用户名就...

    lpjustdoit 评论0 收藏0
  • 推进企业容器化持续创新,Rancher ECIC千人盛典完美收官

    摘要:年月日,由以下简称主办的第三届企业容器创新大会以下简称在北京喜来登大酒店盛大举行。在未来,希望能为中国用户带来更多更实用的容器技术,推动中国企业容器化的持续创新。 2019年6月20日,由Rancher Labs(以下简称Rancher)主办的第三届企业容器创新大会(Enterprise Container Innovation Conference, 以下简称ECIC)在北京喜来登大...

    mengbo 评论0 收藏0

发表评论

0条评论

vvpale

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<