摘要：新的基于的实例能提供数百倍于其他储存方式的吞吐量，以及极低延迟。虽然吞吐量受限制比原有系统减少，但却将延迟减少到了平均线下很多。这样就说明我们用来替代和在获得同样吞吐量的同时可以获得更低的延迟。
为了满足更多用户在存储和检索大量数据、提供丰富与个性化体验、及时响应点击与手势的要求，新型互联网与移动应用需要高I/O资源。为此，亚马逊AWS旨在EC2中加入一个新的“家庭成员”：运行低延迟、I/O密集型应用、支持NoSQL数据库如Cassandra和MongoDB的新实例，打破了一直存在于云世界的I/O瓶颈。真金不怕火炼，让我们来看看新的I/O体系究竟如何！
测试基准的制定
去年公布的Apache Cassandra performance benchmark显示，用数百个非常小的EC2实例就可以获得类似每秒超过百万客户端进行写入的效果。之前测试了用于Cassandra上建立和管理软件Priam的扩展性，并证明了，大规模的Cassandra集群按线性扩大，也就是10倍数量的实例将让你获得10倍的吞吐量。现在我们发布了一些基准它能体现出在原有类型系统和新的基础SSD的系统上运行Cassandra的对比。
AWS实例中的I/O元素摘要
已有几个临时的储存元素被存于网络磁盘中，它们将在实例结束后被删除。基于现有内部磁盘在Cassandra环境中进行的测试对比，主要采用了四个方案：m1.xlarge、m2.4xlarge、cc2.8xlarge以及现在加入的SSD hi1.4xlarge。AWS CPU性能对应了EC2的每一种实例。
我们首先在拥有较好CPU平衡性的Netflix上使用m2.4xlarge来运行Cassandra，尽管我们还必须通过调度每一个节点的精简和修复来不让I/0过载，但CPU和RAM容量仍然为我们工作的重中之重。
基于SSD实例上的hi1.4xlarge
这种新的基于SSD的类型实例在临时存储中提供了很高性能。在/proc/cpuinfo的报告中显示CPU为2.4GHz拥有8个核心和超线程技术的Intel Westmere E5620 ，这样就拥有了16个CPU线程。其CPU性能上介于m2.4xlarge和cc2.8xlarge之间，相同的RAM容量，和cc2.8xlarge同样的10GB网络接口。
磁盘的结构为两个1TB左右大的SSD，使实例能胜任100000左右的低延迟IOPS和1GB每秒的吞吐量。新的基于SSD的实例能提供数百倍于其他储存方式的吞吐量，以及极低延迟。
测试结果
首先，对于一个新的子系统，我们必须做基础文件系统的性能等级测试，我们使用izone测试准则来查证我们在当前的磁盘条件下一个非常短的时间内（大约20—60/ms）是否可以得到100000的IOPS和1GB/S的吞吐量。
然后我们用Cassandra的压力测试来用简单的数据存储模式对一个小型的数据集进行存储，类似我们去年公布的准则。我们发现我们的测试经常受到CPU限制，但是在启动的那小段时间随着数据加载进存储器，我们仍然可以在磁盘上得到接近1GB/每秒的吞吐量。
接着就是更多的混合，我们取出我们储存在Cassandra中较大的数据和从备份中恢复两份拷贝。一份在m2.4xlarge上，另一份在hi1.4xlarge上，这样我们就可以得出在同等的条件下以SSD为基础的新模块究竟有多完善。下一个将会是最有意思的对比。
Netflix的应用基准测试
我们的架构是精细入微的，每一个开发团队都拥有自己的一套服务和数据存储。结果就是，我们的产品中拥有十个Cassandra集群，每一个都服务于不同的数据源。我们从中抽取一个拥有静态数据提供应用程序的集群，该应用程序使用了聘美于Cassandra为写操作提供的缓存层来完成读的工作。我们的目的是想知道，在不使用系统缓存的情况下使用SSD是否会带来延迟。用EVcache来管理缓存层。下面是两项配置的对比：
这项实验是我们做过实验中最复杂的实验之一并伴有巨额的工作量。它需要做到每秒数万的读入和数千的写入。测试中发现，在原有系统中，EVcacha做了大部分读入的工作。为了保持稳定的运行巨量的内存被用于减少I/O的工作量。
在基于SSD的系统中，同样的工作量仍有大量的IOPS剩余并且在没有影响延迟的情况下做了同样的精简运算。虽然吞吐量受CPU限制比原有系统减少20%，但却将延迟减少到了平均线下很多。这样就说明我们用hi1.4xlarge来替代48m2.4xlarge和36 m2.xlarge在获得同样吞吐量的同时可以获得更低的延迟。
成本对比
在使用基于SSD模式的系统中，瓶颈从I/O转换到CPU上，我们就可以大量的减少实例个数。参照了现有的收费体系，完全可以通过减少实例数量来减少花费。
将Cassandra上的工作放到SSD上的优势
总结
这是AWS一次突破性的提升，无疑的克服了应用程序受制于数据库连接的囧境，给云端的人们带来了福音。我们期待作为云世界的领跑者Aamazon能一直与时俱进，为云世界的开拓和完善做出新的贡献。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/3967.html
摘要：在科技业，时代变迁带来的剧变同样十分明显，从传统时代到云计算时代，数据不再只是沉睡的宝藏，数据库的作用和价值正变得尤为突出。真因为如此，顺应云计算时代而生的成为公司历史上发展最快的服务，在过去两年间，通过其数据库迁移服务迁移了超过个数据库。19世纪，爱马仕还是一家专门制作各种精美马具的作坊，但到了20世纪，汽车逐渐取代马车，爱马仕不得不从马具转向皮具，从而成就了这一世界级奢侈品品牌；1975...
摘要：如果说是主要针对和的三个关键信息成长和，那么上午则是专注的企业级应用。将以季度为单位进行版本更新。天的已经接近尾声，金融保险两大客户现身说法，企业级初现峥嵘，从技术到商业落地，从开发者到企业级用户，容器世界的大门已经打开。 If the container ecosystem succeeds, Docker succeeds. showImg(https://segmentfault...
摘要：对于我们这些在云计算领域中的人来说，最令人激动的事情莫过于在今年的大会上发布了。另一则重大消息就是进入了云计算领域，不过当前占主导地位的仍是。与使用当前的核拥有最快速度的实例模型进行对比。使用默认的设置中，两种类别的都比快。 对于我们这些在云计算领域中的人来说，最令人激动的事情莫过于在今年的Google I/O大会上发布了Google Glass。另一则重大消息就是Google进入了云计算...
摘要：云端闪存部署细节块存储仅可用于连接到虚拟实例或虚拟机。在这些产品中，只有弹性块存储具有明确使用闪存存储的功能。谷歌云平台提供三种主要存储选项云存储对象永久磁盘块和云文件存储文件。随着闪存存储价格下降且设备容量提升，闪存存储逐渐成为企业的首选存储选项。公共云平台上的存储同样是如此，这些平台具有基于固态的存储产品，可为需要存储功能的应用程序提高性能和吞吐量。本文中，让我们来看看哪些闪存作为云存储...
摘要：月日月日，与大数据技术大会在北京新云南皇冠假日酒店已经成功落下帷幕，但留给整个技术界的深思还有很多。在与大数据技术大会上，将推出了基于发行版的免费版，供开发者和商业用户学习测试。 11月30日-12月1日，Hadoop与大数据技术大会（HBTC 2012）在北京新云南皇冠假日酒店已经成功落下帷幕，但留给整个技术界的深思还有很多。会场上，五十余位讲师干料十足的实践经验掀起了场内场外阵阵讨论的热...
阅读 1633·2021-10-27 14:15
阅读 3525·2021-10-08 10:12
阅读 896·2021-09-22 15:55
阅读 3042·2021-09-22 15:17
阅读 601·2021-09-02 15:40
阅读 1638·2019-08-29 18:33
阅读 960·2019-08-29 15:22
阅读 2241·2019-08-29 11:08
