摘要：推出数据集成服务，可轻松帮助用户完成多源聚合。数据集成服务案例数据脱敏某教育企业，使用数据集成服务，将数据脱敏处理后，再交由内部其它部进行数据分析，提取数据的有效价值。既避免了敏感数据泄漏风险，又帮助企业更快更精准的决策。
由于不同业务的数据存储和应用需求不同，企业通常会将不同业务产生的数据分别存储在独立的数据库中。随着业务架构的不断调整，以及受开发过程的影响，原先分开存储的数据库逐渐暴露出一些问题：
1、数据分散在不同的数据库实例上，形成独立的数据孤岛，难以实现数据的聚合分析。传统的通过MySQL主从关系同步数据的方式，在MySQL5.7版本之前无法建立多对一的增量同步关系。MySQL5.7版本虽然推出了多源复制功能，但功能单一，无法进行不同库表间的映射，且配置过程复杂，当源数量较多时容易出错。
2、数据库分库分表之后存在多个数据库实例，难以再合并到统一的库表中。传统的数据库迁移工具无法处理合并过程中产生的数据冲突问题。
3、数据量越来越大，在不影响业务的前提下很难调整数据库架构。在线修改字段类型或者字段名，要么受限于数据库功能，要么可能给业务带来较大影响而难以调整。
为此，UDTS在数据传输的基础上，增加了数据集成服务，可实现多个数据源合并，打通数据孤岛以获得数据的统一视图，方便业务进行数据分析决策; 助力企业灵活调整业务架构，优化现有的数据库服务; 快速实现分库分表合并、自定义冲突处理策略、方便业务构建数据看板。
多源数据聚合
针对数据库分散，难以聚合的问题。UDTS推出数据集成服务，可轻松帮助用户完成多源聚合。单个任务可支持多达 10 个数据源聚合，同时可支持不同类型网络环境下的数据源，包括外网、内网以及专线。
举例: 假设现在有两个数据源，分别是 10.10.10.100:3306 和 10.10.10.120:3306 ，聚合模式如下图所示 ：
考虑到大多数据源都承载着在线业务，为了避免多源聚合对线上业务的影响，UDTS数据集成服务还支持针对每个数据源独立限速。
数据库合库合表
数据库合库合表通常存在以下难点:
针对以上这些问题，UDTS数据集成服务在多源聚合的基础上，提供以下方式解决：
1、自定义基础数据
在创建任务时可对每个数据源独立定义数据冲突解决策略，在数据集成时，可根据自己的数据冲突解决策略来处理冲突数据。当前提供“保留”与“替换”两种策略。
当使用保留规则时，导入数据使用 INSERT IGNORE INTO 比如 INSERT IGNORE INTO table VALUES(1 "name" 18) ，当有重复数据时，保留原有的数据，新插入的数据会被忽略。
当使用替换规则时，导入数据使用 REPLACE INTO ，比如 REPLACE INTO table VALUES(1 "name" 18) ，老的数据将会被新数据覆盖，集成任务中有多个子任务(多个源往同一个目标数据库同步)时，需要注意顺序。
数据库架构调整
在开发的过程中，难免会遇到数据库改名、表变更等问题，但等到数据库架构要调整的时候，才发现累积了一堆“陈年旧债”。通过UDTS数据集成服务的全量+增量，不仅可以将全量数据按映射规则迁移到目标库中，还可动态实现增量数据的库表名称的映射。
避免用户对数据源锁库锁表的担忧，UDTS数据集成服务还提供了No Lock模式，在此模式下数据集成服务运行的过程中不会对源库表进行任何的锁操作。
1、数据脱敏
某教育企业，使用UDTS数据集成服务，将数据脱敏处理后，再交由内部其它部⻔进行数据分析，提取数据的有效价值。既避免了敏感数据泄漏风险，又帮助企业更快、更精准的决策。
2、数据合并
某金融企业使用UDTS数据集成服务，将前期拆分后的数据库合并，方便进行后续的业务开发和分析。
3、架构调整
某交友软件为了适应新的架构，通过UDTS数据集成服务对数据库 db 和 table 进行了重新调整，适应了新的环境。
架构的调整不仅仅是对现有数据库的改名，还依赖于存量数据的变更、增量数据的同步、业务的回滚等。
总的来说，UDTS数据集成服务带给企业的价值主要体现在以下三个方面：
UDTS数据集成服务目前正在免费公测期，欢迎前往控制台开启体验～
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/126184.html
摘要：自上线以来，总迁移已超过级数据量。支持通过内网专线以及外网迁移数据。全量迁移在全球多地地域部署服务，根据源目位置来就近选择运行位置，保证迁移效率。数据库是公司核心资产的重要存储基座，面对用户不同场景，数据也需跨数据库迁移。如用户业务上云、多云灾备下的数据同步、不同数据源的聚合分析等，都需数据跨数据库的迁移。UCloud数据迁移方案UDTSUCloud数据传输服务UDTS(UCloud Dat...
摘要：帮助企业快速搭建和使用大数据平台，降低大数据开发运维成本。发布范围北京二可用区灰度中。机型快杰版的数据库实例，采用业内主流的计算存储分离架构计算层使用高性能快杰云主机，存储层采用超高性能云盘。UCloud PyPI私有源上线PyPI是Python官方的第三方库的仓库，为解决默认官方源在国内的访问速度受限，并发请求受限，经常出现丢包、超时等问题，UCloud 近期上线了PyPI私有源。PyPI...
摘要：于是在这样的背景下，客户关系管理系统出现了。可以说，有了，企业就有了一套完整的客户管理工具，也相当于有了一个数据分析的工具。 关于客户，越来越多的企业觉得有必要对面向客户的各项信息和活动进行集成，组建以客户为中心的企业，实现对客户活动的全面管理。于是在这样的背景下，CRM（客户关系管理）系统出现了。 而对于销售行业来说，一套好用的CRM系统更是可以发挥出不可估量的价值。 CRM系统对于...
摘要：根据的预计截至年，全球云计算市场规模将达到亿美元。双方将积极推进云计算大数据等新一代信息技术在各领域实现深入应用，加快湖南省智慧城市建设。从目前市场发展看，很多智能安防系统都具备了云计算的架构和运算能力，在公安交通零售智慧城市等需要大根据Bain&Company的预计：截至2020年，全球云计算市场规模将达到3900亿美元。与2015年的1800亿美元规模相比，意味着该市场年均复合增长率将达...
阅读 3161·2023-04-25 20:09
阅读 3357·2022-06-28 19:00
阅读 2709·2022-06-28 19:00
阅读 2713·2022-06-28 19:00
阅读 2653·2022-06-28 19:00
阅读 2513·2022-06-28 19:00
阅读 2624·2022-06-28 19:00
阅读 2320·2022-06-28 19:00
