{eval=Array;=+count(Array);}

问答专栏Q & A COLUMN

分布式处理、分布式存储方面新的研究方向有哪些?

lolomacololomaco 回答2 收藏1
收藏问题

2条回答

Bryan

Bryan

回答于2022-06-23 13:20

分布式处理,分布式系统(其实也包含分布式存储系统)一直把RAS、MTBF、MTTR等作为可靠性衡量指标,但是专业指标是CAP指标,可用性作为其中重要因素之一。CAP理论阐述了在分布式系统的设计中,没有一种设计可以同时满足一致性,可用性和分区容错性。所以一个好的分布式系统,必须在架构上充分考虑上述指标。

分布式系统设计中,BASE理论作为CAP理论的折中或延伸,在分布式系统中被大量使用。分布式系统的可靠性竞争力的建设,似乎更多要依托上层软件能力体现(主要原因可能也是基于便宜的X86通用服务器,硬件最求的就是便宜),如数据多副本、EC纠删码(跨节点存放数据,多节点故障容忍等),数据Scrub校验、ECC,存储池故障域隔离、数据快速修复等等。方案层面的可靠性也尤为重要,数据异地复制容灾,数据Multiple Available Zone、Region等,这些是分布式系统扩展,可靠性,和可用性的基础。

在系统特性或差异化竞争中,也要紧跟技术趋势,提高产品竞争力,所以必须考虑VNMe,SCM,SPDK,DPDK技术支持,同时让自己的分布式存储具备数据上云的灾备能力,让客户数据按照冷热策略流动,具备弹性扩展的能力。

如果一个分布式存储系统都具备这样的能力,可以说在整个存储市场中引领行业趋势,并能满足99%左右的场景和客户需求。

评论0 赞同0
  •  加载中...
luffyZh

luffyZh

回答于2022-06-23 13:20

分布式存储这两年的研究趋势主要是效率、可扩展性和性能这三方面。效率的兴起得利于云存储的大行其道,云存储的投入一般比较大,所以成本的控制就很重要了,不论是Amazon、七牛还是其他厂商,都希望存储的成本尽可能低,因此虚拟化存储、Erasure Code和Deduplication还有一些研究人员投入精力;可扩展性这个方向投入的人就比较多了,这点从FAST/OSDI/SOSP等会议就能看得出来,主要是规模的扩展和移动平台的扩展,大数据时代,数据人人有,存储需求变大,原来的解决方案在这种规模下比较吃力,因此有了Haystack这样的系统,移动平台就更有花样了,这点从苹果iOS/Android存储文件系统的迭代也可窥一斑;性能是个永恒的话题,总有需求不嫌性能高,曾经听过某金融机构希望存储能像内存一样快,当然这也是可能的,于是Flash存储相变存储也就流行起来了,这也是各大会议一大主题。还有一个研究方向是功耗,个人觉得这个相对次要一些,有些伪命题的色彩。分布式处理大的方向主要还是规模和效率,支持更大的数据和更快的计算速度,内存计算现在就非常火,也比较有前途。

评论0 赞同0
  •  加载中...

相关问题

最新活动

您已邀请0人回答 查看邀请

我的邀请列表

  • 擅长该话题
  • 回答过该话题
  • 我关注的人
向帮助了您的网友说句感谢的话吧!
付费偷看金额在0.1-10元之间
<