资讯专栏INFORMATION COLUMN

MongoDB Hadoop Connector发布

Hydrogen / 2137人阅读

摘要:目前已经与生态系统中的一些组件进行了整合,后续还会根据反馈进行更全方便的整合。目前支持以上的版本版本也基本上能够支持。

10gen刚刚发布了MongoDB Hadoop Connector的1.0版本,它是一个中间件产品,用于将MongoDB和Hadoop连接起来,让MongoDB可以方便的使用Hadoop的分布式计算能力。

MongoDB Hadoop Connector的主要流程是让Hadoop从MongoDB中读取原始数据,在通过Hadoop计算完成后,再将结果导入到MongoDB中。原始数据的读取和结果写入可以对同一个MongoDB,也可以是不同的。其主要目的是让使用MongoDB的用户能够更方便地直接使用Hadoop功能。

目前MongoDB Hadoop Connector已经与Hadoop生态系统中的一些组件进行了整合,后续还会根据反馈进行更全方便的整合。具体如下:

  • 可以通过 Pig 向 MongoDB 中写入数据。
  • 可以通过分布式日志系统 Flume 往MongoDB中导入日志原始数据。
  • 通过使用Hadoop Streaming,可以用 Python来写 MapReduce函数。

MongoDB Hadoop Connector目前支持2.0以上的版本(1.8.x版本也基本上能够支持)。

当然项目是开源的,项目地址:mongo-hadoop

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/3744.html

相关文章

  • Hadoop 中利用 mapreduce 读写 mysql 数据

    摘要:通过类把数据库表数据读入到,根据类把产生的结果集导入到数据库表中。由于版本对和支持不是很好,该例用了版本来说明这两个类的用法。至少在我的中的下是没见到包,所以本文也是以老版的来为例说明的。添加包有两种方式在每个节点下的下添加该包。     有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv、uv 数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 ma...

    caige 评论0 收藏0
  • MongoDB 数据自动同步到 ElasticSearch

    摘要:本身是自带文本索引功能的,但是,不支持中文。希望中数据发送变化时自动同步到中,这样就可以最快地用上了。这个是官方的开发人员用写的一个工具,目前支持将的数据同步到中,并且支持用户自己扩展。拓展阅读用实现中文检索使用和实现模糊匹配 我们产品中需要全文检索的功能,后端数据存储主要使用了 MySQL + MongoDB,而其中需要检索的内容是在 MongoDB 中的。 MongoDB 本身是自...

    jerry 评论0 收藏0
  • MongoDB 数据自动同步到 ElasticSearch

    摘要:本身是自带文本索引功能的,但是,不支持中文。希望中数据发送变化时自动同步到中,这样就可以最快地用上了。这个是官方的开发人员用写的一个工具,目前支持将的数据同步到中,并且支持用户自己扩展。拓展阅读用实现中文检索使用和实现模糊匹配 我们产品中需要全文检索的功能,后端数据存储主要使用了 MySQL + MongoDB,而其中需要检索的内容是在 MongoDB 中的。 MongoDB 本身是自...

    levius 评论0 收藏0
  • 弹性MapReduce 4.0.0版本发布,更新应用已可用

    摘要:与其他未出现在离散版本中,需要在后台频繁地更新的业务不同,拥有版本化的更新以便你可以利用特定版本发布的特性或应用来写程序和脚本。的这一版本包含了性能增强,额外的支持和一些新的安全特性。的这一版本包含和全新的的绑定,以及很多小特性和漏洞修复。 Amazon EMR是一个托管的集群平台,它简化了大数据框架(如 Apache Hadoop和 Apache Spark)在AWS上的运行,可以处理和分...

    魏宪会 评论0 收藏0
  • PySpark SQL 相关知识介绍

    摘要:大数据除了体积和速度外,数据的多样性和准确性也是大数据的一大特点。这些也被称为大数据的特征。介绍是一个解决大数据问题的分布式可伸缩的框架。介绍计算的模型最早出现在谷歌的一篇研究论文中。相关链接介绍是一个通用的分布式编程框架。 本文作者:foochane 本文链接:https://foochane.cn/article/2019060601.html 1 大数据简介 大数据是这个时代最...

    CoderStudy 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<