开源 | MySQL数据传输中间件—DTLE

Cobub 发布于2019-07-31 18:38 / 2438人阅读

摘要：爱可生推出的是一个针对的使用特点支持多种使用场景的数据传输中间件。在年月日，爱可生开源了分布式中间件。爱可生此次开源，是真诚为社区提供生态圈里一个可持续发展的工具，并希望与社区再次达成双赢，解决数据传输中间件的核心问题。

目前，随着MySQL在各个行业的深入使用，在不同数据系统、不同数据中心、不同业务系统之间进行数据传输、数据订阅、形成数据总线等需求逐渐增多。爱可生推出的DTLE是一个针对MySQL的使用特点、支持多种使用场景的数据传输中间件。

DTLE:
http://dtle.cloud
https://github.com/actiontech...
对应文档地址：
https://actiontech.github.io/...
DTLE QQ群：852990221

DTLE是什么？

DTLE是一个开源的数据传输中间件，其针对的核心场景如下:

· 跨数据中心的数据传输：DTLE能在数据中心间进行可靠数据传输，并提供链路压缩以降低传输成本
· 云间数据同步/迁移：DTLE能提供在公有云间架设数据同步通道，以支持数据容灾等需求
· 数据汇聚：DTLE能将多个数据源汇聚到同一个数据源，以提供数据分析/数据转储的功能
· 数据订阅：DTLE能将数据源的变更消息发往Kafka等消息中间件，以支持数据订阅通知/缓存失效通知等需求
· 跨数据中心的双向复制：DTLE能在数据中心间提供双向复制通道，以配合业务实现数据双写

为什么要开源？

随着MySQL在各行业的使用场景逐渐成熟，以数据传输为基础的需求逐渐增多。若要设计一款良好的数据传输中间件，要解决的核心问题是：如何保障质量、适配复杂场景、提供多样功能。

在2017年10月24日，爱可生开源了MySQL分布式中间件—DBLE。时隔一年，DBLE与社区互动良好，从社区吸纳了许多设计经验和质量反馈，已成为一款成熟的数据库中间件。随着社区用户增多，已实现了与社区用户的双赢。

爱可生此次开源DTLE，是真诚为社区提供MySQL生态圈里一个可持续发展的工具，并希望与社区再次达成双赢，解决数据传输中间件的核心问题。

DTLE的设计特点

· 分布式架构：DTLE在数据传输这个基本场景上，使用了成熟的分布式任务调度架构，可以便捷地在集群中配置大量的数据传输任务，提供断点续传/故障转移等分布式系统的重要特性
· 灵活的网络适配能力：DTLE可适配复杂的网络架构，提供跨数据中心的数据通道功能和公有云间的数据通道功能
· 多场景适配：DTLE通过组合多个原子任务，可适配复杂的数据传输场景

关于开源 MySQL 数据传输中间件DTLE更多技术细节我们后期会持续输出，版本更新维护及使用问题反馈，欢迎加入DTLE（Q群：852990221）。

云数据库MySQL 开源分布式数据库中间件 mysql数据库中间件开源中间件开源消息中间件

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/48131.html

MySQL开源数据传输中间件架构设计实践

摘要：元数据信息保存在分布式一致性存储中，如果某工作节点或进程挂了，工作任务会转移至其他进程继续之前的断点处理数据同步，不影响服务连续性。角色主要负责元数据信息存储，任务的接收和分发，节点健康状态检测故障转移。本文根据洪斌10月27日在「3306π」技术 Meetup - 武汉站现场演讲内容整理而成。 showImg(https://segmentfault.com/img/bVbjdVD...

henry14 2019-07-31 18:42 评论0 收藏0
重磅预告 | 今晚直播：MyCat的坑如何在分布式中间件DBLE上改善

摘要：开源分布式中间件社区官网主页技术交流群开源数据传输中间件社区官网主页技术交流群上周，DBLE团队历时3个月准备的开源MySQL分布式中间件DBLE系列公开课发布了，为使社区同学能够更好的评估课程内容、质量以及对DBLE有更清晰深入的认知，我们联合IT168将在第二节课程发布前开放一期直播，跟大家聊聊DBLE与MyCat错综复杂的故事。直播时间：3月14日（今晚）20:00PM 分...

EastWoodYang 2019-08-01 10:40 评论0 收藏0
深度分析 | MyCat与DBLE的对比性能调优

作者简介蓝寅，开源分布式中间件DBLE项目负责人；持续专注于数据库方面的技术, 始终在一线从事开发；对数据复制，读写分离，分库分表的有深入的理解与实践。问题起因：用benchmarksql_for_mysql对原生MyCat-1.6.1和DBLE-2.17.07版做性能测试对比，发现DBLE性能只到原生版MyCat的70%左右。问题分析过程：分析过程主要有以下内容：包括现象，收集数据，分...

赵春朋 2019-08-06 14:50 评论0 收藏0
深度分析 | MyCat与DBLE的对比性能调优

作者简介蓝寅，开源分布式中间件DBLE项目负责人；持续专注于数据库方面的技术, 始终在一线从事开发；对数据复制，读写分离，分库分表的有深入的理解与实践。问题起因：用benchmarksql_for_mysql对原生MyCat-1.6.1和DBLE-2.17.07版做性能测试对比，发现DBLE性能只到原生版MyCat的70%左右。问题分析过程：分析过程主要有以下内容：包括现象，收集数据，分...

Mike617 2019-06-25 19:09 评论0 收藏0
深度分析 | MyCat与DBLE的对比性能调优

作者简介蓝寅，开源分布式中间件DBLE项目负责人；持续专注于数据库方面的技术, 始终在一线从事开发；对数据复制，读写分离，分库分表的有深入的理解与实践。问题起因：用benchmarksql_for_mysql对原生MyCat-1.6.1和DBLE-2.17.07版做性能测试对比，发现DBLE性能只到原生版MyCat的70%左右。问题分析过程：分析过程主要有以下内容：包括现象，收集数据，分...

MangoGoing 2019-08-01 10:36 评论0 收藏0