资讯专栏INFORMATION COLUMN

集成GemFire,Hadoop生态圈的又一把火

xzavier / 1629人阅读

摘要:在一个完美的大数据环境下,及时向用户道歉也能给客户留下很好的影响。受益于的更新,现在将支持和快照处理,这意味着企业客户在出现问题时可以回滚。比如查询工具来自于年对的收购来自于同年对的收购。

  【编者按】Pivotal公司由EMC和Vmware部分业务分拆合并而成,Pivotal通过不断吸收新技术并将新技术融合到自己的产品中而成长壮大,现在Pivotal还很好地利用开源力量完善自身的产品,Pivotal HD 2.0新版本整合了内存数据库和众多的分析功能,该版本的发布将会给Pivotal带来更大的影响力,GigaOM的Barb Darrow将在下文为我们带来了详细的分析。

  以下为译文:

  Pivotal努力整合并改进其母公司买来的大数据技术,以应对大数据企业级应用所面临的挑战。

  Pivotal是由VMware的Cloud Foundry和EMC的Greenplum等业务分拆并重组而成新公司,其目的是为企业带来重新构建、严格测试过的Hadoop,该公司已将Apache Hadoop 2.2技术融入其新的Pivotal HD 2.0版本中,同时还在该版本中集成了内存数据库GemFire XD。

  GemFire通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成较高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。

  Pivotal希望利用稳定的技术为大公司提供一种数据解决方案,为大公司每分钟产生的数据建立周期性良性反馈机制,比如手机运营商可以利用Pivotal HD和GemFire HD的大数据和分析能力来确定最快的呼叫路由,如果呼叫降级或失败就将这些信息反馈回来进行处理,这样可以及时解决问题。在一个完美的大数据环境下,及时向用户道歉也能给客户留下很好的影响。

  

  受益于Apache Hadoop 2.2的更新,Pivotal HD 2.0现在将支持NFS和快照处理,这意味着企业客户在出现问题时可以回滚。

  Pivotal HD 2.0在数据库性能方面也有了较大的改进,加强了HAWQ SQL查询性能,其数据库引擎其实是基于Greenplum数据库并做了一些改进。HAWQ现在可以应用MADlib机器学习型库中的50多种数据库内算法,而且该数据库引擎现在支持基于R、Python以及Java语言查询和应用的自动翻译,所以HAWQ可以用SQL很好的处理业务逻辑并对过程进行很好的控制。

  Pivotal也许不是第一个从Apache更新获益的商业公司,但它是第一个声称要对开源代码做最严格测试的公司。Pivotal产品营销部门的高级主管Michael Cucchi告诉我们:“我们采用Apache发行版并对其进行强化,为其进行我们自己的QA和回归测试,也尝试在1000个节点的集群上实现回滚操作,我们的测试是在大规模集群上完成的。”

  Pivotal HD 2.0新版本为应对实时分析的需求集成了GemFire HD,而且还加入了GraphLab图分析技术,为应对巨大的工作负载,新版本中也添加了改进后的HAWQ SQL查询引擎。

  这些都算不了什么——Pivotal只是将EMC和Vmware一系列收购中得到的技术整合到一起,使企业客户可以方便地大规模部署Hadoop并从中获得真正价值。比如HAWQ SQL查询工具来自于EMC 2010年对Green Plum的收购;Gemfire来自于同年Vmware对GemStone的收购。

  Cucchi告诉我们:“最初Pivotal HD软件支持在裸机上运行,也可以在VMware环境中运行,还可以和硬件绑定在一起作为一种设备,但将来如果用户想要在AWS或其他公有云上运行Pivotal HD也同样可以。”

  这的确是一个极好的机会,这使Pivotal甚至可以抗衡IBM这样的IT巨头以及Cloudera和HortonWorks这样的新生Hadoop力量,换句话说,未来这些企业也将面临Pivotal这样强劲的对手。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/3879.html

相关文章

  • Pivotal为Hadoop提供内存数据处理能力

    摘要:汇集大数据和敏捷开发业务的公司宣布,将通过为提供内存交易存储。如今的企业需要接受各种不同来源的大量数据,立即处理,并用于关键企业决策。使内存数据网格与联姻,以提高档次,并适合多种操作环境。上市日期与价格和预计将于年月日上市。       汇集大数据、PaaS和敏捷开发业务的Pivotal公司宣布,将通过Pivotal GemFire XD为Hadoop提供内存交易存储。Pivotal Ge...

    ChristmasBoy 评论0 收藏0
  • Hadoop和大数据最炫目的60款顶级开源工具

    摘要:说到处理大数据的工具,普通的开源解决方案尤其是堪称中流砥柱。这回我们推出了的较高级开源大数据工具排行榜。它还含有用于分析和显示数据的工具。它是大数据库套件的一部分。 说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,100%的大公司会采用Hadoop。Market Resear...

    LancerComet 评论0 收藏0
  • 要不,我们简单聊聊Hadoop与它的生态

    摘要:的组成在的框架版本中最核心的设计是其中是的缩写是个分布式文件系统实际操作与如系统的操作类似。另外不是非要依附在上才能生存它可以与其他的分布式文件系统进行集成来运作。 实际上,关于Hadoop及其生态系统的文章或者书籍已经汗牛充栋,在2016年大数据这个概念兴起的时候,有幸于能进入数据行业。虽然,在这2年里,并没有达到自己最初的期望,不过还是跨出了那么一步。 这里,我们简单的聊聊Had...

    YuboonaZhang 评论0 收藏0
  • 要不,我们简单聊聊Hadoop与它的生态

    摘要:的组成在的框架版本中最核心的设计是其中是的缩写是个分布式文件系统实际操作与如系统的操作类似。另外不是非要依附在上才能生存它可以与其他的分布式文件系统进行集成来运作。 实际上,关于Hadoop及其生态系统的文章或者书籍已经汗牛充栋,在2016年大数据这个概念兴起的时候,有幸于能进入数据行业。虽然,在这2年里,并没有达到自己最初的期望,不过还是跨出了那么一步。 这里,我们简单的聊聊Had...

    cppowboy 评论0 收藏0
  • 要不,我们简单聊聊Hadoop与它的生态

    摘要:的组成在的框架版本中最核心的设计是其中是的缩写是个分布式文件系统实际操作与如系统的操作类似。另外不是非要依附在上才能生存它可以与其他的分布式文件系统进行集成来运作。 实际上,关于Hadoop及其生态系统的文章或者书籍已经汗牛充栋,在2016年大数据这个概念兴起的时候,有幸于能进入数据行业。虽然,在这2年里,并没有达到自己最初的期望,不过还是跨出了那么一步。 这里,我们简单的聊聊Had...

    FuisonDesign 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<