数据仓库与Hadoop需分工合作

pkwenda 发布于2019-04-25 17:05 / 2874人阅读

摘要：大数据或者说的上升不会带来数据仓库或数据库市场的下降。事实上，随着大数据时代的到来，越来越多的传统数据仓库选择了与进行合作来满足用户的数据分析需求。

大数据热引发了人们对Hadoop的极大兴趣，同时也引来一些误解，认为既然Hadoop能帮助解决数据的处理和分析问题，它就可以替代传统的数据仓库。

　　“数据仓库(数据库)与Hadoop(MapReduce)其实是两类有着很大区别的技术，这两者之间不是竞争关系，而是合作的关系。大数据或者说Hadoop的上升不会带来数据仓库或数据库市场的下降。”在日前举行的Sybase IQ15.4发布会上，Sybase中国公司技术总监卢东明对此予以了澄清。Sybase IQ15.4是Sybase公司的一款数据仓库产品，也是业界为数不多的真正采用列式存储技术的数据仓库，正是由于采用了独特的列式存储使得其具有高压缩率和高速处理能力。

　　卢东明告诉本报记者，Hadoop或者MapReduce最初是为解决信息搜索问题而诞生的，然而，搜索问题和数据仓库或数据库问题是两个完全不同的问题，其解决思路存在非常大的不同。比如，数据库和数据仓库讲究数据的一致性，同样的查询其结果一定，而Hadoop可以允许不同结果存在;Hadoop的分布式处理架构支持大规模的集群，所以可以轻松应对PB级数据，而数据仓库和数据库则要受到很多技术限制。另外，在处理数据的规模上也存在量级的差距。

　　“数据仓库(或数据库)与Hadoop有着完全不同的应用场景，分别适应于不同的数据规模。它们之间不能相互取代，而是必须相互合作。”卢东明说。

　　事实上，随着大数据时代的到来，越来越多的传统数据仓库选择了与Hadoop进行合作来满足用户的数据分析需求。一种典型的合作方式是先通过Hadoop把大数据进行预处理，然后通过传统数据仓库引擎提供的工具把这些预处理后的数据导入到数据仓库中，利用传统数据仓库中的数据分析和挖掘引擎来对数据的分析。Sybase IQ 15.4就支持这种方式，为此，Sybase IQ 15.4推出了很多接口。比如，通过数据库的外联接口可以同时访问这两个数据集里的数据，其中一个来自IQ，另一个来自Hadoop;Sybase IQ 15.4还提供了针对Hadoop的访问接口，所以可以用一个标准的SQL通过IQ去访问Hadoop的数据。

专线服务服务器托管 hadoop 数据仓库 hadoop数据仓库数据仓库与数据仓库与数据集成

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/3742.html

EMC为企业提供基于Hadoop的大数据分析

摘要：今天针对开源软件作为企业就绪的大数据工具，宣布了一项有关软件发布集成和支持的全面战略。产品系列能帮助企业利用大数据分析。这个整合式解决方案提供了业界惟一一个完整的大数据分析平台。 • EMC今天针对Apache Hadoop开源软件作为企业就绪的大数据工具，宣布了一项有关软件发布、集成和支持的全面战略。　　• EMC推出了世界上第一个定制的、高性能的、Hadoop数据协同处理设备，...

bovenson 2019-04-25 17:00 评论0 收藏0
云计算与Hadoop11年来相爱相杀！

同时诞生于2006年，十年间云计算革了架构的命，那Hadoop呢？Doug Cutting，在外界看来至少有两个称谓：作为技术大牛他是Hadoop之父，作为商业领袖他是Cloudera首席架构师。近日，Doug Cutting来到北京，也因此接受了科技茱比莉的采访。过去的十年毫无疑问属于云计算和大数据。其中，Hadoop被认为是大数据领域的一个里程碑，它驱动了大数据的快速发展，还将深刻影响IoT和...

Godtoy 2019-04-25 17:21 评论0 收藏0
Hadoop：从初出茅庐的小象变身行业巨人

摘要：初出茅庐的小象变身行业巨人由于具备低成本和前所未有的高扩展性，已被公认为是新一代的大数据处理平台。如今已从初出茅庐的小象变成了行业的巨人，但仍需继续完善。而的将在在年推出，届时其还会与微软现有的工具联合处理任务。初出茅庐的小象变身行业巨人由于具备低成本和前所未有的高扩展性，Hadoop已被公认为是新一代的大数据处理平台。就像30年前SQL（Structured Query L...

wing324 2019-04-25 17:03 评论0 收藏0
Teradata与Hortonworks在Hadoop领域达成战略合作

摘要：随着企业大数据分析业务的增长，同时也驱动了传统关系数据库管理技术厂商与开源供应商寻求合作的趋势。与的合作旨在帮助企业建立基于的大数据分析环境。是雅虎与硅谷风投公司在去年合资组建的公司。随着企业大数据分析业务的增长，同时也驱动了传统关系数据库管理技术厂商与开源Apache Hadoop供应商寻求合作的趋势。最近TeraData就在周二宣布将与Hortonw...

tommego 2019-04-25 17:02 评论0 收藏0
微软大数据合作伙伴Hortonworks正式发布Hadoop

摘要：近日也发布了其。预计的将于月日发布第一版。是雅虎与硅谷风投公司在去年合资组建的公司。公司成立之初吸纳了大约名至名专门研究的雅虎工程师，上述工程师均在年开始协助雅虎开发。雅虎工程副总裁雅虎开发团队负责人出任的首席执行官。 Hadoop技术正在利益的驱动下促使越来越多的技术合作。与当今传统的关系数据库管理系统相比Hadoop的技术创新将为企业带来一个更具成本效益的方式。这主要体现在Hadoop对...

Alliot 2019-04-25 17:08 评论0 收藏0