资讯专栏INFORMATION COLUMN

掌握方法 如何利用Hadoop廉价大数据分析

woshicixide / 2868人阅读

摘要:大数据将成为本年度的云计算。例如,和已经是大数据的著名用户了。大数据不会消失,不能忽略大块数据分析转换能力和分析数据趋势。然而,对于已经跳入大数据领域并提取关键见解的们,全世界都将在他们的掌握之中。

  大数据将成为本年度的云计算。这是必然发生的结果:随着时间的推移,企业产生的数据集已经越来越大了,这些数据包括客户购买偏好趋势、网站访问和习惯、客户审查数据等等;那么您怎样才能把这么大量的数据整理成综合形式呢?传统的商业智能(BI)工具(关系型数据库和桌面数学计算包)在处理企业这么大量的数据时已经有点不够用了。当然,数据分析行业也有开发工具和框架,支持数据研究人员和分析师们挖掘大数据集,并能承受得了信息负载。

  对于较大的公司来说,海量数据处理已经不是什么新鲜东西了。例如,Twitter和LinkedIn已经是大数据的著名用户了。这两家公司已经各自形成了一套明显的竞争优势,通过挖掘他们的大规模数据仓库来识别趋势。那么,中型企业CIO该怎么办呢?幸运的是,在你手边就有可用的工具,可以让你,或者更具体地说是你的业务分析师,可以支持大数据处理,不至于贪多嚼不烂。。

  这些工具中有一款是免费的,即基于Java的Apache Hadoop编程框架。该框架在过去一年到一年半时间里在大数据领域获得了极大的市场。全球的行业专家和用户们都把Hadoop称为事实上的数据挖掘标准。纵观现存其它大数据产品的表现,再考虑到Apache Hadoop1.0版是在2011年11月底才发布的这一事实,Hadoop获得这样的认可确实令人惊讶。Hadoop是如此流行,以至于Hortonworks公司CEO Eric Baldeschwieler预测在2017年它将处理全世界数据的半数之多。在接下来的这一年,Hadoop将会以某种方式靠近您的组织的几率非常大。

  Hadoop主要面向开发人员。其主要框架MapReduce支持编程者处理分布式计算机群的大规模数据量。缺点是它是非常重型的产品。而且,Hadoop可以把直接操作数据仓库的技术人群与数据消费人群和数据翻译员区分开来。

  考虑到中型企业CIO的预算限制,下面有一些建议可以帮助克服海量数据的挑战:

  不要忽略了趋势。大数据不会消失,不能忽略大块数据分析转换能力和分析数据趋势。花一些时间理解Hadoop以及其它大数据产品的功能和结构。思考一下你拥有数据的方式可以为你的公司带来改善。

  为合格的数据科学家寻找预算空间。这些人是您BI交响曲的打击乐器。市场上合格的数据科学家非常紧缺。甚至在去年11月份的Hadoop世界大会上,培训也成为了一个很大的话题。要使用你培训预算的自由额度聘请较好的人员,保持他们的数据分析技能是顶尖的。

  理解大量数据集的存储提示。大数据其实是从多个地方和多个数据库以近乎实时的速度挖掘海量数据,而不会受到结构的障碍。这就使得你基础设施中的存储工作方式更加复杂了。对于这些奴表,云存储可能会更灵活和敏捷吗?要与你的数据挖掘策略团队一起,使其优先理解利用Hadoop处理能力的存储需求类型和数量。

  准备好使用Hadoop的工具集。理解微软公司在这个领域的登场,试验一下Hadoop-Excel和Hadoop-SQL Server集成看看你能交付什么类型的结果。也要了解一下IBM公司的工具,看哪一款更适合您在桌面和终端用户软件方面的现有投入。

  大数据的角逐已经开始了。可能在数据挖掘变革中你已经落后了。忽略数据分析大势的CIO们实际上是在拿自己的职业冒险。然而,对于已经跳入大数据领域并提取关键见解的CIO们,全世界都将在他们的掌握之中。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/3723.html

相关文章

  • 2014年数据市场趋势十预测

    摘要:如果说年只是大数据市场的热身赛和预选赛,那么年大数据市场将迎来世界杯盛宴,近日杂志给出了年大数据市场十大预测,经理网编译整理如下预测一大数据腾云。年营销大数据将迎来大发展,重点领域包括广告促销和用户行为分析。 2014年大数据市场趋势十大预测 大数据是2013年热度最高的技术词汇,这一年大数据市场也实现了高速增长,越来越多的企业开始拥抱大数据解决方案,而随着生态系统的日益成熟,Had...

    BicycleWarrior 评论0 收藏0
  • 2014年数据市场趋势十预测

    摘要:如果说年只是大数据市场的热身赛和预选赛,那么年大数据市场将迎来世界杯盛宴,近日杂志给出了年大数据市场十大预测,经理网编译整理如下预测一大数据腾云。年营销大数据将迎来大发展,重点领域包括广告促销和用户行为分析。 2014年大数据市场趋势十大预测 大数据是2013年热度最高的技术词汇,这一年大数据市场也实现了高速增长,越来越多的企业开始拥抱大数据解决方案,而随着生态系统的日益成熟,Had...

    shiguibiao 评论0 收藏0
  • Hadoop数据生态系统及常用组件简介

    摘要:大数据存储,利用的分布式存储能力,例如数据备份数据仓库等。大数据处理,利用的分布式处理能力,例如数据挖掘数据分析等。应用程序管理器负责管理整个系统中所有应用程序,包括应用程序的提交与调度器协商资源以启动监控运行状态并在失败时重新启动等。 经过多年信息化建设,我们已经进入一个神奇的大数据时代,无论是在通讯社交过程中使用的微信、QQ、电话、短信,还是吃喝玩乐时的用到的团购、电商、移动支付,...

    BenCHou 评论0 收藏0
  • Hadoop家族学习路线图

    摘要:本文为家族开篇,家族学习路线图目录家族产品家族学习路线图家族产品截止到年,根据的统计,家族产品已经达到个接下来,我把这个产品,分成了类。家族学习路线图下面我将分别介绍各个产品的安装和使用,以我经验总结我的学习路线。 Hadoop家族系列文章, 主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, ...

    includecmath 评论0 收藏0
  • 健康云上的数据分析

    摘要:中国研究院大数据实验室主任研究员周宝曜引言本文旨在介绍区域医疗信息系统建设和大数据分析技术的发展,并总结出健康云上的大数据分析面临的特殊挑战和提出初步解决方案。 EMC中国研究院大数据实验室主任研究员 周宝曜   引言 本文旨在介绍区域医疗信息系统建设和大数据分析技术的发展,并总结出健康云上的大数据分析面临的特殊挑战和提出初步解决方案。   一、健康云的兴起 随着我国经济持续稳定的发展...

    jindong 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<