摘要:微软雅黑宋体近日,通过提供独立的存储集群独立的元数据管理和独立的计算集群,实现了兼顾灵活性与稳定性的存储计算分离架构,帮助用户更好的提升资源利用率,增加大数据业务部署的灵活性,同时降低运营成本。
近日,UCloud UHadoop 通过提供独立的HDFS存储集群、独立的Hive元数据管理和独立的计算集群,实现了兼顾灵活性与稳定性的存储计算分离架构,帮助用户更好的提升资源利用率,增加大数据业务部署的灵活性,同时降低运营成本。
众所周知,为了让大规模分布式数据处理系统能发挥更好的性能,传统的Hadoop架构是将计算节点和数据节点连在一起的。但随着业务数据量爆发式增长以及企业对数据价值的不断重视,数据存储规模和数据计算需求经常是无法保持线性增长,计算和存储这两者之间随之产生了“木桶效应”,极易造成资源的浪费,而用户开始越来越关注数据存储成本及计算成本的问题。
这时,计算与存储资源的分离解耦,成为了一个非常合理的选择。UCloud UHadoop带来的计算与存储的分离,完全消除了计算与存储之间的“木桶效应”,在资源隔离、计算管理和存储管理三个方面具有极大优势,同时为业务创新、技术架构升级提供了更多的灵活性和可能性。
传统模式下,用户是通过配置资源队列,来为不同业务分配计算资源,但这种方式实际上只能做到逻辑隔离,无法真正实现计算资源的物理隔离,不可避免会发生计算集群抢占资源的情况,业务与业务之间相互影响,导致业务状态的不稳定。UCloud UHadoop 可以帮助用户将不同业务拆分到不同计算集群上,实现计算资源的物理隔离,避免资源抢占、相互影响,从而保障业务持续稳定。
如离线业务与实时业务的隔离业务场景,用户可以借助UCloud UHadoop将离线计算与实时计算 拆分成两个计算集群,然后访问独立的HDFS存储集群,有效隔离计算资源,保障业务的稳定。
传统资源配置下,计算资源调度水平受限于单台机器的存储容量。UCloud UHadoop实现了存储与计算分离之后,用户可根据业务需要,多带带增加计算节点,计算任务完成即可释放计算资源,无需担心临时的大规模扩容带来的成本飙升,更不用再进行跨集群数据拷贝操作,有效降低了管理集群的人力成本和服务器成本。
与此同时,若计算集群有故障或是计算集群框架升级,也不会直接影响独立的HDFS集群中的数据,更好的保障了数据安全,同时也可缩短故障排查流程,降低集群运维成本。
UCloud UHadoop提供独立的HDFS存储集群,用户可以多带带使用存储资源构建存储集群,将历史数据或者原始数据压缩后进行归档存储,当有数据分析的需求时,不需要进行数据迁移,即可完成数据分析任务,使用简单、成本还低。
除了以上三个方面, UCloud UHadoop实现的存储计算彻底分离,还可以让多个不同版本Hadoop集群,分析底层同一份HDFS存储集群中的数据,满足了数据一致性要求,及历史原因导致的多版本Hadoop集群共存问题。为优化集群整体成本,UCloud UHadoop 更是针对存储计算分离场景推出了存储更大、价格更低的机型,可根据不同数据量规模选择不同节点机型,帮助用户更好的降低成本。
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/117592.html
摘要:本次大会上,优刻得基于自研的全新存储底层架构推出新一代对象存储产品。推出新一代自研存储引擎,持续降低存储成本优刻得在今年月推出了元月的归档存储产品,打破了存储领域降本的边界。伴随着5G、大数据的广泛应用,带来了数据量的爆炸式增长。根据IDC预测,2025年全球数据总量将达到惊人的175ZB。数据存储在未来的数字化时代将面临更多挑战:每秒钟存储数据写入性能、数据云端存储可靠性、数据存储成本增高...
摘要:快杰云主机搭建。快杰云主机,搭载选用第二代处理器,主频,领先的制程工艺带来显著的性能提升,使之打破总体性价比世界记录。因此,糖豆与神策数据此次最终共同选择了快杰服务器。在凉风习习的夜晚里,璀璨的灯火映照下,随处都能碰到翩翩起舞的人群,这就是广场舞,在这嘹亮、节奏鲜明的歌声里有一款大妈们热爱的APP—- 糖豆APP。 一、挑战 在发展之初,多家企业看好广场舞这个赛道,而糖豆创业初...
摘要:三是可以降低我们的写放大,在写入时不会由于需要更新元数据而写入两次,这在随机能力不是强项的硬盘场景下也格外重要。前言UCloud在2020年8月正式发布了基于US3的全新一代归档存储产品,该产品采用UCloud全新自研存储架构,相较标准存储降低近80%存储成本的同时,与市场同类归档存储产品相比降低近30%的价格。据IDC的预测,全球年新增数据量到2025年将达175ZB,真正能存储下来的数据...
摘要:远程医疗这一概念被提出后,已经被广泛应用。但是,如何提高视频传输性能,如何确保家庭基层医疗机构和户外应急的远程医疗快速接入,是当前的远程医疗业务系统面临的主要挑战。 编者按:近日,Gartner最新发布了一份《Five Key Essentials for the New Generation of Intelligent Video Cloud》白皮书报告,报告中针对各行业在视频应用...
阅读 2974·2023-04-26 02:40
阅读 4367·2021-09-22 15:22
阅读 1187·2021-09-22 10:02
阅读 3303·2021-08-11 10:23
阅读 1136·2019-12-27 11:47
阅读 1208·2019-08-30 15:55
阅读 2248·2019-08-30 12:48
阅读 429·2019-08-30 11:04