google云计算的三大核心技术

loostudy 发布于2019-04-25 16:50 / 429人阅读

摘要：定位于由廉价服务器构成的超大集群，假定单个服务器存储是不可靠地，易失的，因此强调冗余和备份。并行计算的核心技术框架。一个典型案例编写一个应用对图书馆过去年的文献，统计较大词频。相同属性的列组成列族。

- GFS: 分布式文件系统。适用于TB级超大文件存储。master节点是文件管理的大脑，负责存储和管理文件与物理块的映射，维护metafile，处理临时文件，调度chunk server等。chunk server是真正存储物理文件块。GFS定位于由廉价服务器构成的超大集群，假定单个服务器存储是不可靠地，易失的，因此GFS强调冗余和备份。每份文件块会同时存储于多个不同的chunk server。上层客户请求文件时，首先与master节点交互，获取相关信息，随后client将直接与相应的某个chunk server通信并获取文件。在开源产品中类似实现有HDFS。

- MapReduce：并行计算的核心技术框架。使得上层应用软件可以专注于业务逻辑实现，同时利用到分布式并行计算的好处。Map接受和输出属性-值对，使得各节点工作进程可以并行计算它们的属性-值，并输出中间结果；Reduce化简，输入Map处理的中间结果，进行合并运算，最终输出结果文件，返回给上层应用。一个典型案例：编写一个应用对图书馆过去50年的文献，统计较大词频。MapReduce可以做的是，自动分割输入文件集合（任务分解），自动在多节点上克隆运算进程（map进程组和reduce进程组），并分别指派任务，最终映射和化简都完毕后，将处理结果文件返回给原始客户应用 --- 对上层应用很好的屏蔽了并行计算。在开源实现中，对应有Hadoop。

- BigTable：分布式的、稀疏的、多维的、易于扩展的、适用于海量数据的数据库。他是非关系型数据库，尽管也沿用如表、行等传统概念。他的实质是key-value记录的集合。多维是说key有多个：行、列以及时间。稀疏是因为不同行的列可以完全不同。表、行可以自动分裂从而扩展。相同属性的列组成列族。相比而言，BigTable适合海量存储和非结构化数据（比如网络流量、多媒体、网页、日志等），操作大多数为读取和查询。而传统关系型数据库则易于实现复杂的结构化DML操作。典型案例是网页的存储：以反向URL为key，网页内容以及引用为列，同时网页更新的时间标记作为另一个键。开源实现类似的有HBase，HyperTable等。

私有云混合云云计算的核心技术云计算核心技术剖析 google云计算技术混合云的核心技术

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/3632.html

云计算三大主流阵营的竞争与合作

摘要：目前，云计算产业初步形成了三大主流竞争阵营，即互联网阵营阵营和电信运营商阵营。由于云计算的市场大部分被互联网阵营中的亚马逊占据着，为了从其手中抢夺份额，作为服务商的携手谷歌开展云计算方面的技术研究与业务合作。目前，云计算产业初步形成了三大主流竞争阵营，即互联网阵营、IT阵营和电信运营商阵营。在这三大阵营中，互联网阵营主要面向公有云市场，为中小企业和独立开发者提供公有云服务。IT阵营主要面向...

赵连江 2019-04-25 17:38 评论0 收藏0
中外对比：国内云计算平台的三大特点

摘要：对于国内云计算平台的发展，除非政策改变，否则国外云平台在国内完全没有竞争力。对比国内和国外的云计算平台服务的差异，百体国际健康机构李博认为目前云计算是用户需求不断的发展自然产生的服务模式，同时也是绿色IT的有利支撑。云计算的发展和数据的大爆炸有着必然的联系，大数据时代的到来使得企业对于IT设施的需求量加大，于此同时对于企业IT设施的采购成本以及生态环境提出了更高的要求。　　云计算广义上...

Dean 2019-04-25 17:28 评论0 收藏0
AWS领跑云市场开源数据库各显神通

摘要：领跑云市场开源数据库各显神通对于来说的第二件喜事则是，发布的的关于公有云方面的调查显示，获得了的受调查者使用率，远远甩开了的和的同时在大型企业员工超过人中，也达到了的使用率，与微软之和仍不敌。几乎与此同时，也公布其曼哈顿实时数据库的细节。亚马逊领跑云市场微软大打亲和牌这周对于亚马逊来说，应该是悲喜交加的一周。首先，AWS在中国的首次市场培训活动在北京拉开帷幕，来自全国各地的近400参会...

MRZYD 2019-04-25 17:36 评论0 收藏0
曙光“云图”尽显云端“三大本色”

摘要：据了解，云图不但可以让处理器工作在硬件虚拟化层上，灵活的调度资源分配，更充分发挥了云计算集中安全便捷的三大优势，让用户畅享云端，激发设计灵感。　　云计算引发的技术变革和创新工作模式在各个领域不断深化，但从事图形计算和产品设计的用户却因为技术问题无法享用饕餮盛宴。近日，曙光公司与NVIDIA公司和思杰共同合作推出了基于GRID和Citrix XenDesktop技术的图形云计算产品——云图(...

abson 2019-04-25 17:35 评论0 收藏0
云计算“十三五”规划正式启动

摘要：微软雅黑近日，工信部正式启动针对云计算的十三五规划，将重点培育龙头企业，发挥其对产业发展的辐射作用，打造云计算产业链。云计算十三五规划正式启动据工信部软件服务业司司长陈伟近日透露，工信部针对云计算的十三五规划已经启动。近日，工信部正式启动针对云计算的十三五规划，将重点培育龙头企业，发挥其对产业发展的辐射作用，打造云计算产业链。在政府机构大力主导信息设备国产化的背景下，实现国产化设备进口替代...

MasonEast 2019-04-25 17:38 评论0 收藏0