合 Oracle迁移到MySQL工具之愚公（yugong）

背景

2008年，阿里巴巴开始尝试使用 MySQL 支撑其业务，开发了围绕 MySQL 相关的中间件和工具，Cobar/TDDL(目前为阿里云DRDS产品)，解决了单机 Oracle 无法满足的扩展性问题，当时也掀起一股去IOE项目的浪潮，愚公这项目因此而诞生，其要解决的目标就是帮助用户完成从 Oracle 数据迁移到 MySQL 上，完成去 IOE 的重要一步工作。

项目介绍

名称:   yugong

译意:   愚公移山

语言:   纯java开发

定位:   数据库迁移 (目前主要支持oracle / mysql / DRDS)

整个数据迁移过程，分为两部分：

1. 全量迁移
2. 增量迁移

过程描述：

1. 增量数据收集 (创建oracle表的增量物化视图)
2. 进行全量复制
3. 进行增量复制 (可并行进行数据校验)
4. 原库停写，切到新库

架构

{width="584"
height="206"}

说明: 

1. 一个Jvm Container对应多个instance，每个instance对应于一张表的迁移任务
2.  instance分为三部分
   a.  extractor  (从源数据库上提取数据，可分为全量/增量实现)
   b.  translator  (将源库上的数据按照目标库的需求进行自定义转化)
   c.  applier  (将数据更新到目标库，可分为全量/增量/对比的实现)

方案设计

DevDesign：https://github.com/alibaba/yugong/wiki/DevDesign

全量方案

业界常用的全量方案有：

1. 数据文件导入/导出，比如EXPDP/IMPDP, mysqldump/source, xtrabackup等
2. ETL数据导入/导出，主要原理为使用JDBC数据查询接口

yugong在项目设计之初考虑去IOE数据迁移的灵活性和自定义能力，最终选择的方案为基于JDBC接口遍历数据.

相比于数据文件导入/导出，其优点：

• 灵活数据同步
• 支持异构数据
• 实现相对简单

缺点:

• 全量拉取需要配合增量使用，会有部分数据重复同步
• 性能和影响，一次性全量拉取，如果持续时间过长，如果此时数据库变更过多，会导致segment过大

增量方案

业界常用的增量方案有：

1. 基于时间戳定时dump
2. oracle日志文件，比如LogMiner，OGG
3. oracle CDC(Change Data Capture)
4. oracle trigger机制，比如DataBus , SymmetricDS
5. oracle 物化视图(materialized view)
6. ...

yugong在项目设计之初考虑去IOE数据迁移的灵活性，支持多种oracle版本，同时为降低DBA的运维成本，最终选择oracle物化视图作为我们的增量方案.

后续精彩内容已被小麦苗无情隐藏，请输入验证码解锁本站所有文章！

验证码：

请先关注本站微信公众号，然后回复“验证码”，获取验证码。在微信里搜索“DB宝”或者“www_xmmup_com”或者微信扫描右侧二维码都可以关注本站微信公众号。