资讯专栏INFORMATION COLUMN

Web-Scale IT 我之见!

skinner / 393人阅读

摘要:发生故障时的运行能力也是可用性的关键。而不是依靠运行单元的多部署,这些单元不能自行扩展。允许独立架构,它需要容忍故障,并提供性能可用性保障和服务级协议。这些需要为异步请求响应支持延时和容错协议。当其不可用时,可能严重影响运作。

Gartner 曾在发表过的一篇文章中表示,到2017年,全球50%的企业将使用Web-Scale IT 架构。下面我们来看看 Andre Leibovici 对 Web-Scale IT 的看法:

Web-scale IT 不仅仅是一个流行词,更是一种设计数据中心和软件架构的方法,它体现了一种多维概念,包含可扩展性、一致性、容忍度和版本控制等。

Web-scale 描述了现代架构的趋势,即增长(远)大于线性速率。Web-scale 系统能够快速有效地进行处理,并避免在关键时刻需要重新架构的瓶颈问题。

Web-scale 架构和属性并不是一个新鲜的词条,它们已经在一些大型的网络公司中系统地使用了,比如谷歌、Facebook 和亚马逊。然而对比以往最大的区别就在于,这种可扩展到海量计算规模的架构,以往只出现在大型互联网公司而当下已通过专门的虚拟化定制方法走入主流企业。

在一个内部讨论中,Nutanix CEO Dheeraj Pandey 总结了关于 Web-scale 架构的重要概念。而本文对其中一些思想进行了引用,并扩展到其他不同领域。

同时,这里需要注意的是,高扩展性的分布式系统对笔者来说也是一个全新的领域,而笔者也会分享自己的学习收获。

首先要记住的是:Web-scale 不只适用于 SDS(软件定义存储);它也是大型分布式系统的架构模型。这里有一个视频讲述了什么是 Web-Scale IT。

通过软件途径,让大量运行着标准 x86 硬件的主机可以同时做一件事情。这是 Web-scale 第一次与 SDDC(软件定义数据中心)交互,在没有计算机硬件做支撑的情况下。许多服务已经采用这种办法,包括 SDN(软件定义网络)、虚拟服务和 SDS(软件定义存储)。

对于管理服务的无单点故障和瓶颈问题,在架构上应有所考虑。故障的容忍度是架构稳定、可扩展分布式系统的关键。发生故障时的运行能力也是可用性的关键。像 vector clocks、two-phase commit、consensus algorithms、leader elections、eventual consistency、multiple replicas、dynamic flow control、rate limiting、exponential back-offs、optimistic replication、automatic failover、hinted-handoffs、data scrubbing 等技术是构成分布式系统处理故障能力的要素。

Web-scale 系统应该提供一个灵活构建系统的服务,并具备并行构建的能力(http://en.m.wikipedia.org/wiki/Embarrassingly_parallel)。并行方法能够进行无干扰地接近传统的颠覆性任务,例如滚动或叉式升级、不间断集群和所有工作流全部在线。

Web-scale 系统应该能够被扩展,并且继续像一个单元那样正常运行。而不是依靠运行单元的多部署,这些单元不能自行扩展。

Web-scale 允许独立架构,它需要容忍故障,并提供性能、可用性保障和服务级协议。

Web-scale 系统应该为内部和数据中心通信提供用于完全控制和基于 HTTP 服务自动化的编程接口。这些 APIs需要为异步请求响应支持延时和容错协议。

Web-scale 系统应该提供自定义(和版本化)的对象。在 SDS 用例,具有编码能力的自定义磁盘高效地格式化和序列化结构数据,且是可扩展格式,比如 protobuf、Avro 等。这样,可以不用经常地更新磁盘数据。考虑到规模,Web-scale 不能假定只有一次数据更新。

Web-scale 系统应具有自描述(和版本识别)服务,这样分布式系统的不同部分可以在不同版本下进行通信,不用期待所有的部分一次升级。

分析软件为了减少人机交互。在大型网络公司中,Web-scale 基础设施与每台机器管理的 SRE 是1:10000的比例。一般的公司是1:500的比例。这个巨大的差距只能由分析和自动化来填补。

严格且最终一致的一致性模型,对 CAP 原理有清楚的理解(一致性、可用性和分区容错性)(http://en.m.wikipedia.org/wiki/CAP_theorem)。笔者发现 Julian Browne 写的一篇文章是学习更多 CAP 原理的好资料。

此外,另一个好的例子是 vCenter 服务器。vCenter 应该从头设计成为一个分布式管理平台,它能够利用完全无共享结构,提供零故障操作环境。众所周知,vCenter 服务器是 vSphere 集群的关键性部件。当其不可用时,可能严重影响运作。微软 Hyper-V 和 SCVMM 也是这样的。

当管理程序是独立单元,不需要管理服务器即可运行时,就不会有缺乏管理的问题。

如果 vCenter 用 web-scale 原理设计,它不是集群虚拟设备,就是在管理程序核心进行架构。添加到集群的节点越多,处理方式就越灵活。并且当有一个节点不可用,其他节点能够成为管理端点。

Nutanix 选择从头架构数据和控制层,使其成为一个具有上述性能和指导方针的 Web-scale 分布式系统。这些指导方针不仅保证弹性、可扩展性、一致性和容错性,而且确保它是一个引导将来数据中心创新的平台。

原文:understanding-web-scale-properties,作者 Andre Leibovici 是 VMware 架构师,兼职作家和博主。 本文系 OneAPM 工程师编译整理。

Cloud Insight 集监控、管理、计算、协作、可视化于一身,帮助所有 IT 公司,减少在系统监控上的人力和时间成本投入,让运维工作更加高效、简单。本文由 OneAPM 工程师翻译整理,想阅读更多技术文章,请访问 OneAPM 官方技术博客。

本文转自 OneAPM 官方博客

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/17487.html

相关文章

  • Web-Scale IT 之见

    摘要:发生故障时的运行能力也是可用性的关键。而不是依靠运行单元的多部署,这些单元不能自行扩展。允许独立架构,它需要容忍故障,并提供性能可用性保障和服务级协议。这些需要为异步请求响应支持延时和容错协议。当其不可用时,可能严重影响运作。 Gartner 曾在发表过的一篇文章中表示,到2017年,全球50%的企业将使用Web-Scale IT 架构。下面我们来看看 Andre Leibovici ...

    Snailclimb 评论0 收藏0
  • Web-Scale IT:对企业的影响

    摘要:网络规模并不是一项具体的技术,也不是万能钥匙。称,这是未来三年内最有可能对企业产生重大影响的技术趋势。根据互联网数据中心,到年,全球强企业中的企业都将采用。 **本文翻译自文章Web-Scale IT: The Enterprise Impact.作者Brendan Ziolo 在通信、网络和安全行业有着近20年的经验,在 Sipera Systems,Certicom 和 TimeS...

    gclove 评论0 收藏0
  • Web-Scale-IT 到底是啥?

    摘要:但是,究竟是什么呢研究公司介绍了这个概念,用于描述来自互联网巨头,如,谷歌,等公司的技术大牛,通过应用新进程新架构和新实践所实现的灵活性和扩展性。虽然大多数企业没有达到谷歌或的规模,他们仍然会受益于方法带来的速度提升如果做得正确。 Gartner 对 2015 年 10 大 IT 趋势的预测中有一个词条为:Web Scale IT。我们跟随 Matthias Ankli 来了解一下究竟...

    wenzi 评论0 收藏0
  • 2016年 IT 趋势大预测!

    摘要:下面让我们跟随的,看看他对趋势有什么大胆的预测。数据科学,机器学习和先进的数据可视化技术会成为监控现代运营的救星。正致力于将大数据分析和机器学习技术应用到现代的运营中。我们的愿景是把消费者领域司空见惯的数据科学和机器学习带到领域。 新年伊始,有不少人在总结过去,也有一些人在展望未来。下面让我们跟随 OpsClarity 的 Dhruv Jain,看看他对 2016 IT 趋势有什么大胆...

    BigTomato 评论0 收藏0
  • [一己之见]如何挑选PHP框架?

    摘要:如何挑选框架这个问题是我面试的常用起手问题,所以在看到这个提问的时候,就抽时间回答了一下。某些框架甚至本身自己有安全漏洞不多说。另一个角度是框架的各个部分是否能脱离框架运行。不用的,或者假装自己用的那些框架没有未来。 如何挑选PHP框架? 这个问题是我面试的常用起手问题,所以在SF看到这个提问的时候,就抽时间回答了一下。这里做一些整理和补充。 很多时候,讨论问题从抠概念出发是个好想法。...

    enrecul101 评论0 收藏0

发表评论

0条评论

skinner

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<