kettle 开源etl数据抽取工具

nevermind 发布于2019-06-26 17:01 / 883人阅读

摘要：相比其他开源的工具和其他商业的工具，对比下来还是比较强大和好用。

1.为什么要使用数据抽取

（1）为了不妨碍业务数据的读取和写入，需要进行数据的抽取，抽取到另外数据库表进行读取
（2）对某些总计数据可以进行预先计算，抽取到另外数据库表
（3）随访业务数据库为mongodb , 统计程序编程效率低，需要转成sql 类数据库提高效率

2.工具

使用 kettle 开源etl工具
网址：http://community.pentaho.com/projects/data-integration/

3.使用方法

总体来讲，就是这么个步骤：
选择数据输入——中间数据处理——最后数据输出

比如从mongodb 同步到 sqlserver过程如下：

（1）选择核心对象中的bigdata MongoDB Input (数据输入)

(2)进行数据处理（这里筛选了需要抽取的字段）

（3）选择插入更新输出

4.总结

数据输入的形式很多，各种形式的数据都可以做为一手数据源， kettle 数据转换的功能也很强大，还可以进行 java ,javascript 等脚本的编写来进行高级的数据处理，最后得到需要的数据。
相比其他开源的etl工具和其他商业的etl工具，对比下来 kettle还是比较强大和好用。

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/18847.html

kettle下转移mongo中数据到mysql中

摘要：是一款国外开源的工具，纯编写，可以在上运行，数据抽取高效稳定。 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。作为一个数据抽取工具，在建立数据仓库的过程中，免不了需要从不同的数据源中抽取到集中的数据仓库中，下面就拿mongodb抽取到mysql为例，简述抽取数据的步骤：新建转换:test 在test中新建M...

Riddler 2019-08-14 17:52 评论0 收藏0
kettle下转移mongo中数据到mysql中

摘要：是一款国外开源的工具，纯编写，可以在上运行，数据抽取高效稳定。 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。作为一个数据抽取工具，在建立数据仓库的过程中，免不了需要从不同的数据源中抽取到集中的数据仓库中，下面就拿mongodb抽取到mysql为例，简述抽取数据的步骤：新建转换:test 在test中新建M...

beanlam 2019-06-26 17:13 评论0 收藏0
数据仓库的直白概述

摘要：如销售数据跟部门表，客户表之间的关系。而查询，又是这三者之间的粘合剂，它表达了用户的需求，经过引擎的解析，根据数据模型的描述，从数据仓库找到所需要的数据。本文来自网易云社区作者：王攀我们知道，大部分公司都拥有了自己的财务，OA，CRM 等系统。这些系统都有自己的独立数据库，记录着企业运行情况某个方面的数据。但是单独看这些系统的报表，并不一定能对企业运行情况有全面客观的了解。就像只...

sorra 2019-06-28 10:59 评论0 收藏0