Hadoop专家分享大数据技术工具与最佳实践

11月30日-12月1日，Hadoop与大数据技术大会（HBTC 2012）在北京新云南皇冠假日酒店已经成功落下帷幕，但留给整个技术界的深思还有很多。会场上，五十余位讲师干料十足的实践经验掀起了场内场外阵阵讨论的热浪，五大分论坛参会者现场提问频频“出彩”，质量颇高。其中，Hortonworks的首席技术官Eric Baldeschwieler，MemSQL 的创始人与首席技术官Nikita Shamgunov，美国俄亥俄州立大学计算机系主任、IEEE Fellow张晓东教授，哈尔滨工业大学的李建中教授，中科院计算所程学旗研究员，国际著名的IT研究与顾问咨询公司Gartner张瑾，以及中国移动通信、IBM、英特尔、Teradata、VMware、Yahoo!、ebay、华为、Informatica、天云、阿里巴巴、百度、腾讯、奇虎360、网易、普泽天玑、精诚资讯等重磅讲师在现场激扬技术与趋势， 聚焦应用和实践。

我们特别选出八位实践派，提炼观点与大家分享。更多专家视点请看现场直播与公布的PPT下载。

• 赵伟：HIVE在腾讯分布式数据仓库实践
• 潘越：从战略角度解读大数据的机遇
• 戴建勇：解读Apache Pig的性能优化
• 强琦：平台的意义在于交换，数据的价值在于共享
• 顾费勇：未来的DataStream机制
• 刘立萍：数据消费的改变，解决规模 ==》解决计算 ==》数据智能
• 刘佳:全面分析HBase用例
• Ronaldo Ama使用虚拟技术整合大数据和云计算

云领域：且看亚马逊、Rackspace、微软及Google四国争霸

前几天我们CSDN发表了一篇文章，带领广大读者纵览了2012年各家IT公司的发展状况。在这篇文章中，我们看到了谷歌、苹果、Facebook及亚马逊等公司在这一年中的尔虞我诈、远交近攻、连横合纵等等等等。可以说，在2012年，IT领域就是一个充满了战争的领域，彼此都想成为这场战争的胜利者，成为互联网大潮中的弄潮儿。

那么，云计算作为互联网领域中的重要一部分，是否也充满了战争硝烟的味道呢？国外科技媒体Network World作者Brandon Butler为大家细数了四家在云领域比较重要的公司在2012年的发展态势，他们中间也不乏各种各样的明枪暗箭，正所谓是四国争霸，谁能称雄！

Amazon Web Services

如今，很少有人会质疑Amazon Web Services在Iaas领域的领先地位。Amazon是业内拥有云计算服务最广泛的厂商，它的应用涉及计算、存储、网络、数据库、负载均衡、应用开发平台等许多领域，而且都将它们做为各种云服务发布。相比六年前第一次在它的平台上推出的版本，亚马逊如今的服务在价格上已经降了21倍，并且弥补了之前版本的虚拟机内存太小的缺点，例如他们新近推出了high-memory版。

Amazon也有许多负面事件发生。例如，它的云服务两年里就发生了3次大的宕机事件。Technology Business Researcher的分析员Jillian Mirandi解释道，连续的宕机事件严重影响了大家对Amazon产品的投资意愿。

Enterprise Strategy Group云计算领域的分析员Mark Bowker指出，AWS还有一个更大的问题。它在小公司里很流行，为他们提供了IT基础设施，使他们可以省去这笔昂贵的技术投资，然而这些在稍大一点儿的企业中就显得不是奏效了。

Cloud Technology Partners的一位系统架构顾问Beth Cohen分析:“Amazon把使用云服务和拥技术虚拟机这件事情变得非常简单，对任何人来说都是。”Beth Cohen解释道，Amazon这些用户是一些开发人员和工程师，原因是他们自己的IT开发团队不能像Amazon那么快的实现虚拟机部署。然而许多企业对于是否要，把他们自己公司最关键的业务放到公共的云端来，依旧在迟疑。

Amazon正在拓展者它的企业覆盖面。最近几个月以来，它做了一系列的声明，都是针对企业和开发者。它推出了Glacier这项长期存储服务，将其做为Elastic应用开发平台和Simple WorkFlow服务的补充，去帮助开发者管理和部署Amazon云端的应用。

Amazon也主动结交了许多新的合作伙伴，包括提供私有云的Eucalyptus，这样就能让用户建立自己的数据中心和Amazon云端并存的混合云平台。Amazon也与BMC、F5有了合作，如今市场上主要的软件应用都已经可以在Amazon的云平台上使用了。这些合作伙伴的加入，推动了Amazon在大型企业的市场拓展。

十一位EMC高管读2013技术趋势 你准备好了吗？

2013年哪些技术和趋势将显著改变云计算、大数据及IT安全的面貌？11位EMC公司高管给出了自己的预测，他们是：

• 执行副总裁兼信息安全事业部RSA董事会执行主席Art Coviello
• 信息智能事业部总裁Rick Devenuti
• 企业存储事业部总裁Brian Gallagher
• 闪存产品事业部高级副总裁兼总经理Zahid Hussain
• 美洲渠道副总裁Leonard Iventosch
• 高级存储事业部总裁Amitahb Srivastava
• 备份与恢复系统事业部首席技术官Stephen Manley
• 统一存储事业部总裁Rich Napolitano
• Isilon存储事业部总裁Bill Richter
• 咨询服务部高级副总裁Tom Roloff
• Greenplum事业部高级产品副总裁Scott Yara

下面我们分别的看一下EMC各个领域的预测：

一、 信息安全面临的挑战到智能驱动信息安全的采纳

Art Coviello对2013信息安全所面临的考验进行了预测，并对将出现采用智能驱动信息安全模式进行展望。

执行副总裁兼信息安全事业部RSA董事会执行主席Art Coviello

Art Coviello认为由于犯罪分子在与流氓国家的合作、交换攻击方法、买卖信息甚至分包业务，“万变不离其宗”的这句哲语将在2013年信息安全技术的有些方面失效。而新的采用智能驱动的网络安全模式也已经就绪，这个模式可以做到真正的深度防御。这种新模式将涉及多个方面，包括：彻底了解风险；基于模式识别和预测分析敏捷地实施控制；使用大数据分析方式，为来自众多数据源的大量数据提供背景信息，以及时产生可作为行动依据的信息。

结合时下信息安全所面临的挑战，Art Coviello指出2013年的信息安全将成以下发展趋势：

• 黑客更有可能变得愈加诡计多端；
• 所受攻击面将继续扩大，安全边界进进一步的缩小
• 虽然有十足的准备应对安全隐患，但是随着变化的产生仍不能保证万无一失
• 各国政府将继续就取证规则、信息共享以及隐私法改革进行立法
• 流氓国的默默支持，以及将会出现的蓄意干扰和破坏
• 各行各业和政府机构中值得信赖的人们需以过去的认识为基础，真正了解情况的严重性
• 采用包括大数据在内的基于智能的信息安全模式，而且数据分析将成为真正的深度防御战略的关键

最后，亚瑟科维洛还认为现有的防范技术已经成熟，而信息安全防御关键在于参与者的热情！

Intel发布Hadoop免费版 全力拓展生态圈

Intel在今年7月发布了较早的Hadoop发行版，用Intel亚太研发有限公司总经理、Intel软件与服务事业部中国区总经理何京翔博士的原话来说，这是“过去几年研究的成果。”在2012Hadoop与大数据技术大会上，Intel将推出了基于发行版的免费版，供开发者和商业用户学习、测试。何京翔表示：“免费版在管理和安全方面进行了削减，但功能上与发行版是一致的，并在存储包的数据量和节点规模上进行了一些限制。”

图：何京翔

Intel的Hadoop生态圈

Intel在开放服务器领域几乎垄断着CPU供应，这让他在云计算、数据中心领域积累了大量实践经验。而Hadoop无疑是云计算领域中最炙手可热的技术，也是商业价值最突出的。Intel亚太研发有限公司数据中心软件部、Intel Hadoop发行版研发团经经理孙元浩告诉CSDN：“我们发现它（Hadoop）是比较好的技术方案，可以解决更广泛的问题。我们的目标是给用户提供较好的平台，支持R语言和Hadoop整合。另外，CPU对Hadoop的优化、SSD硬盘技术的突破以及网络带宽的增长，将会给存储和管理数据带来巨大的变革。”显然，Intel在CPU和SSD技术上非常领先，欲借助Hadoop这艘大船，挖掘更多的宝藏。

亚马逊企业文化：从书贩到云服务巨头的催化剂

大部分的公司，都是在产品结束后再写发布稿。而在亚马逊，在项目开始前就需要写发布稿。

Chris Brown，在亚马逊工作超过3年并与Bezos（亚马逊创始人兼CEO）参加过两次以上的发布会。Brown透露：“如果你向Jeff Bezos或者他下属高级经理递交产品策划，那么第一件需要完成的事情就是撰写新发布稿 —— 这种感觉很像产品已经成型并准备向用户投放。”

这些Bezosian发布稿直接定位于客户的需求，它们的阐明成为驱动亚马逊的一个催动剂。Browm回忆：“我对这个映像很深刻，如果有人忽然提出了一个有趣的想法：如果他们说‘我觉得这个很有用’，那么接下来的问题就是‘是否用户也能发现它的用处’。”

IBM全力支持虚拟技术KVM（Linux+虚拟化+开源）

在IBM Unix小型机的光环下，很少有人知道，IBM支持Linux已经长达12年的时间。

日前，在题为“安全高效 虚拟智慧”，在京举办的“IBM KVM（北京）卓越中心”揭幕仪式中，IBM大中华区副总裁、系统与科技部总经理唐华表示：“2000年，IBM投入10亿元美元支持Linux平台开发。而在虚拟化技术方面，从主机到小机再到x86平台，时间更为悠久。今天，IBM宣布将全球第一家KVM卓越中心放到中国北京，就是看准了虚拟化方面在中国市场的发展的增长潜力。”

IBM大中华区副总裁、系统与科技部总经理 唐华

IBM全球KVM中心落户北京

IDC报告显示，全球虚拟机软件市场在2012年增长到36亿美元以上，相较去年的30亿美元，获得16.7%的同比大幅增长，而中国市场的增长远高于平均值，达到25.6%。其认为服务器虚拟化有三个阶段，2005左右是1.0阶段，虚拟应用在测试和开发环境中；2008年以后是2.0阶段，成熟并稳定的虚拟化在生产环境中得到了应用，并随着虚拟机和在线迁移等出现，数据中心变得更加灵活，工作负载整合之外，虚拟化出现了高可用性技术和灾备技术的变化；2013年开始将是3.0阶段，虚拟化发展为端到端全面虚拟化，在服务器虚拟化之外还有存储和网络的虚拟化。在即将开始的这个阶段中，虚拟机软件和虚拟机管理软件，x86服务器、小型机、存储、存储软件、集成、咨询服务、知识服务甚至外部的云储机等构成了新的生态系统，用户数据中心也将出现更多的整合、优化和技术创新。