资讯专栏INFORMATION COLUMN

oracle迁移Oceanbase数据迁移踩坑记(一)

IT那活儿 / 1596人阅读
oracle迁移Oceanbase数据迁移踩坑记(一)

小伙伴们,大家好。今天我们来分享oracle迁移至Oceanbase,数据迁移过程中遇到的一些问题。

[
事件背景
]


OceanBase迁移服务(OceanBaseMigration Service,OMS)是OceanBase提供的一种支持同构或异构RDBMS与OceanBase之间进行数据交互的服务,它提供了数据的在线迁移和实时增量同步的数据复制能力。


随着国产化进度的深入,笔者所在客户现场也开始核心业务OB迁移。对于OB数据迁移流程,先简单介绍几个我们熟悉和保障过程遇到的比较典型的问题。


介绍问题之前先介绍下OMS迁移的流程:


1>迁移前检查。

在迁移之前需要检查源端数据库的字符集等配置和用户权限。


2>添加数据源。

在OMS中将源端数据库和目标端数据库分别添加为数据源。


3>创建迁移项目。

在迁移项目中指定源端、目标端、迁移类型和需要迁移的表。


4>数据迁移。

不需要中间任务的额外处理或者启停和中断等人为操作,OMS就可以自动完成整个数据迁移的全部流程。


5>数据校验。

迁移完成后,您可以进行数据校验,验证数据的完整性和正确性。


6>同步链路切换。

数据迁移完成后,在业务应用至目标端前可先进行同步链路切换操作,以创建目标端到源端的同步链路。


7>清理任务。

确认迁移成功,并不再需要同步源库和目标库的数据后,可以清理将当前的迁移任务。


[
踩坑案例
]

数据迁移整体流程中的重点是数据迁移部分,主要有两部分:全量迁移和增量迁移。数据迁移问题常发点也基本都是在这一过程中。


问题一:

因生产系统数据迁移链路阿里工程师已经配置,所以为了熟悉迁移流程,我们配置了一个单机oralce测试环境配置链路同步数据至OB数据库创建的测试用户。


按照文档及要求检查环境、机器时间,创建迁移用户,配置数据库设置,在OMS平台配置数据源,创建迁移项目,配置迁移白名单。一切就绪运行任务,结果在启动源端DRC时报错,这是启动增量进程的配置,如果无法启动将导致增量链路无法发起,查看链路情况同步位点时间是null。


通过链路监控查看store号


登录到OMS管理主机查看日志


日志显示如下


原因及解决办法

因增量链路是通过解析归档日志来同步,检查scn号在当前日志期间,并没有问题,翻查日志发现有thread2的信息。检查源端oracle单机数据库,因是从rac环境拷贝,所以有些集群参数还存在,造成OB增量进程去解析第二个节点的归档,找不到。修改相关参数,重新发起作业后正常。


问题二:

数据全量迁移过程中发生ora-00904Invalid indentifed “XXX”in field list报错


检查日志

登录oms主机

找到报错表


原因及解决办法:

因OB迁移过程中可以选择无主键表创建隐藏列,数据全量迁移时会插入相关数据。


登录ob客户端

showcreate table table_nameG

发现未创建隐藏列


解决方法1:

登录oms管理平台

在OB客户端删除有问题的表:

Drop table tablename;


回到页面执行表结构子任务重置


重置完表结构复检迁移作业


解决方法2:

在OB客户端删除有问题的表


Drop table tablename;


登录oms主机

手工查找建表语句

在OB客户端删除有问题的表


执行建表语句,创建隐藏列和索引


创建完表showcreate table检查建表语句,复检迁移作业


问题三:

数据全量迁移过程中发生ora-02149Specified partition does not exist报错



oracle端:


OB端:


原因及解决办法:

因oracle源端数据库中分区或表做了ddl删除操作,导致数据迁移过程中找不到分区或表。将ob端多余的分区手工删除,重新发起迁移任务复检就可以恢复正常



[
分析总结
]


OB国产化数据库大规模商业化目前还是处在推进阶段,在具体的迁移过程中,行业中都是摸着石头过河,需要不断的探索,OMS数据迁移是OB官方提供的ORACLE到OB数据库进行数据迁移的平台,由于目前还是推进过程中,所以不同场景下会遇到不同的问题,现有公开资料不多,需要我们在工作过程中多总结积累踩坑处理经验,填充知识库,并在此基础上运用平台工具嫁接最后一公里的运营短板。这次的分享到此结束,后续会持续为大家带来OB迁移及运维中遇到的第一手鲜活案例,敬请期待。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/130126.html

相关文章

  • OceanBase迁移服务:向分布式架构升级的直接路径

    摘要:年月日,迁移服务解决方案在城市峰会中正式发布。迁移服务向分布式架构升级的直接路径基于上述问题和挑战,同时经过蚂蚁十年数据库架构升级的先进经验,蚂蚁金服为客户打造了这款一站式数据迁移解决方案迁移服务,简称。 2019年1月4日,OceanBase迁移服务解决方案在ATEC城市峰会中正式发布。蚂蚁金服资深技术专家师文汇和技术专家韩谷悦共同分享了OceanBase迁移服务的重要特性和业务实践...

    KaltZK 评论0 收藏0
  • OceanBase迁移服务:向分布式架构升级的直接路径

    摘要:年月日,迁移服务解决方案在城市峰会中正式发布。迁移服务向分布式架构升级的直接路径基于上述问题和挑战,同时经过蚂蚁十年数据库架构升级的先进经验,蚂蚁金服为客户打造了这款一站式数据迁移解决方案迁移服务,简称。 2019年1月4日,OceanBase迁移服务解决方案在ATEC城市峰会中正式发布。蚂蚁金服资深技术专家师文汇和技术专家韩谷悦共同分享了OceanBase迁移服务的重要特性和业务实践...

    gnehc 评论0 收藏0
  • 浅谈支撑起支付宝整个“11-11”的幕后功臣OceanBase数据

    摘要:简介本文首发公众号一名打字员据悉,年的月份,蚂蚁金服已经宣布,蚂蚁金服及阿里巴巴自研的关系型数据库已经支撑起和淘宝的日常业务需求,成功替换了之前所采用的单机数据库如或者开源的。 简介 Tip:本文首发公众号【一名打字员】 据悉,17年的4月份,蚂蚁金服已经宣布,蚂蚁金服及阿里巴巴自研的关系型数据库OceanBase已经支撑起Tmall和淘宝的日常业务需求,成功替换了之前所采用的单机数据...

    zhoutao 评论0 收藏0

发表评论

0条评论

IT那活儿

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<