Google打造云中Hadoop便捷版，强势对抗AWS

Rindia 发布于2019-04-25 17:35 / 1236人阅读

摘要：打造云中便捷版，强势对抗上周，为其增加了连接器，这样开发人员现在已经能够很轻松的在计算虚拟机上进行操作了，的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域，和的竞争将更加激烈。但他同时表示这可能有问题。

1. Google打造云中Hadoop便捷版，强势对抗AWS上周，Google为其Google Cloud Platform增加了Hadoop 连接器，这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了，Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域，Google和AWS的竞争将更加激烈。

下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。

下面是用Google Cloud Storage运行Hadoop的优势：

兼容性：Google Cloud Storage connector for Hadoop 代码兼容Hadoop。
快速启动：当数据复制到HDFS以及NameNode，你不必等待过长时间来结束安全模式。
更高的可用性和可扩展性： Google Cloud Storage比HDFS具有更高的可用性。
低成本：包括存储和计算两方面都节省成本，同时，它是以分钟计费。
没有存储管理开销：Google Cloud Storage只需要为计算付费。
互通性：通过在Google Cloud Storage保管数据，你可以从Google上其它的服务中获益。
性能：由于有了Google Cloud Storage，Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍，Impala剑指Stinger在YARN之前，Hadoop仅适用于离线处理场景。基于实时性的需求，各个机构纷纷研发了自己的流处理框架，这次我们说的是两SQL-on-Hadoop项目的对决，同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12（集成了Stinger），Hive运行在ORCFile 数据集之上，Impala 则使用了Parquet存储相同的数据。为了让Hive得到较佳性能，Cloudera还将TPC-DS查询转换成SQL-92 join，并且手动优化了join顺序，指定了分区字段，Impala也做了同样的优化。数据大小是3TB，使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型，也包含了多种标准join及聚合，还使用了复杂的多级聚合和子查询。

测试得出的结果是Impala比Hive快6-69倍不等，类型包括以下几种：

3. Netflix开源S3一致性提升利器S3mper Fi

上周，Netflix开源了S3mper，这对那些在使用AWS S3存储服务，而且想要更高数据一致性的用户来说，是个好消息。这一次，它的开源S3mper库已经经过优化和测试，这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录，” Weeks 写道。但他同时表示这可能有问题。他说，在小范围里，你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大，情况会变得越来越棘手。一般来说，只要二次索引能够处理所有的请求，它就会正常工作。不过，当你依赖两个独立系统时，数据丢失和性能冲击的风险会随之上升，他说。

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间，超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢？这个成立之初仅有两个基础模块的OpenStack，如今已发展成为拥有9个核心子项目（Havana）一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入，还有厂商们的大力追捧。

但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会，但基础软件开发周期长，投入大、见效慢，技术创新转化成产品需要更多时间，而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林：星星之火可以燎原

AWS近期的入华，使得业界对于云计算服务的关注度飙升到了较高点，国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为，在企业级市场，“价格战”很难真正奏效，让用户亲身体验服务的质量才是王道。

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说，其根本不能真正适应国内的市场发展情况。在这方面，本地化资源成为了左右战局的“胜负手”。说到底，云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国，实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。

6. 回顾2013：HBase的提升与挑战

回顾2013年，总结下这一年HBase在这么一年中发生的主要变化。影响较大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了，而且提供了许多大家迫切需求的特点：

1. Compaction优化
2. Mean Time To Recovery/MTTR优化
3. Bucket Cache （L2 cache on HBase）
4. Java GC改进
5. HBase的企业级数据库特性（Secondary Index、Join和Transaction）
6. PrefixTreeCompression
7. 其他变化

展望2014年，HBase即将release 1.0版本，更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看，选择企业团队信息作为主要业务，HipChat的起点绝非主流；但是如果从赚钱的角度上看，企业市场的高收益确实值得任何公司追逐，这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时，或许你不知道的是，在Atlassian资源和人脉的帮助下，HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍，即使HipChat没有谷歌那么大规模，我们仍能从中学到好东西，比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展，中国的手机网民已经接近6亿之巨，如此多设备带来的价值不言而喻，因此大家一直在谈论大数据，也一直在寻找更好的Hadoop使用途径，本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日，CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动，本次活动的主题是“从Hadoop实践到基于业务的分析，开启你的数据掘金之路”。

来自九城技术部负责Hadoop的架构师，周诚带来的主题是“Hadoop大数据分析”，主要分享九城搭建的一个以Hadoop为基础的大数据平台，同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

接下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕，她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务，通过使用当前性能作为基线数据，评估以及预测系统需要什么资源，什么时候需要更多的资源。其中包括，基于周期性季节指数预测法的业务量预测，基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。

9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击，Pivotal聘用eBay前副总裁，继续发力云计算市场

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/4060.html

Microsoft收购Avere的背后，从AWS和Google口中夺食

摘要：收购中，的功能可能会被集成到中，以便客户在本地环境和公有云之间进行数据迁移。同时，这笔收购也是为应对打出的一张牌。此番收购将对那些正在使用或的客户产生影响，尤其当涉及到未来创新时，他们将被锁定。商业世界中，大鱼吃小鱼，小鱼吃虾米的事情屡见不鲜。云服务市场自然也是如此，2018刚一开年，Microsoft就宣布收购了混合云数据存储公司Avere Systems，这似乎让2018年也注定不平凡...

Brenner 2019-04-25 17:48 评论0 收藏0
AWS、Azure和Google云谁的免费层更好?

摘要：近日，针对具有适度计算，存储，数据库和网络需求的用户推出了一个新的免费使用的云平台。云谁的免费层更好您从云中可以获得过去，谷歌为新的谷歌云平台客户提供了有限时间的免费使用积分。近日，Google针对具有适度计算，存储，数据库和网络需求的用户推出了一个新的免费使用的Google云平台。事实上，每一家大型的云公司都会有免费的层级共使用。AWS 、Azure、Google云相比，谁的会更好呢?以...

Warren 2019-04-25 17:45 评论0 收藏0
解密亚马逊Ironman计划：背靠AWS云服务发力AI，对抗谷歌微软

摘要：在此次会议上，还计划发布云计算深度学习服务。两名消息人士表示，新的深度学习服务也帮助用户更方便地运行常见深度学习开发工具包，例如和谷歌。谷歌和微软已提供类似的服务。据外媒报道，亚马逊AWS正在大力推动人工智能产品的升级，包括自主开发技术以及与多家AI创业公司合作。AWS希望补足自身短板，赢得更多人工智能业务。总体来说，AWS在人工智能领域的工作以Ironman项目为中心。Ironman项目...

qianfeng 2019-04-25 17:49 评论0 收藏0
思科联手AWS打造基于Kubernetes混合云解决方案

摘要：思科云平台和解决方案高级副总裁解释说正确配置以在本地和公有云中部署应用需要定制集成，这从操作上来说可能是一项挑战。近年来，容器由于其灵活性已经成为部署应用的一种流行方式。容器技术将工作负载捆绑成轻量级的便携式软件包，可以在不同类型的基础设施之间轻松移动。今天早上公布的Cisco Hybrid Solution for Kubernetes on AWS解决方案旨在消除大规模使用容器的障碍。 ...

lifefriend_007 2019-05-05 15:54 评论0 收藏0
开源八预言：桌面linux将死Hadoop要火

摘要：开源八大预言必亡要火安卓与一起占整个市场八成多占据全球智能手机操作系统市场超过一半的份额，是目前世界上更受欢迎的移动操作系统。开源八大预言必亡要火击败据市场研究公司称，年对于来说也许是迄今为止较好的一年。近两年，在IT圈中开源这个词已经变得越来越常见，人人开口闭口谈云计算OpenStack、大数据Hadoop、手机Android，开源Linux。开发者、运维人员和IT媒体们也开始关注Euc...

zhangke3016 2019-04-25 17:10 评论0 收藏0