使用kettle全量迁移Oracle到MySQL

0    784    6

Tags:

👉 本文共约1675个字,系统预计阅读时间或需7分钟。

环境准备

使用kettle全量迁移Oracle到MySQL

Oracle和MySQL环境准备

kettle环境准备

Oracle端数据初始化

最终,在Oracle端共包括16张表,2个视图,其中2个表TSRSLOB和IMAGE_LOB包括了blob和clob字段。

kettle配置全量同步

连接到kettle远程桌面:mstsc

使用kettle全量迁移Oracle到MySQL

本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!

使用kettle全量迁移Oracle到MySQL

用户名和密码:root/lhr

启动kettle图形界面:

使用kettle全量迁移Oracle到MySQL

新建Oracle和MySQL的连接,如下:

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

完成后,会自动生成如下的执行树:

使用kettle全量迁移Oracle到MySQL

点击run,开始执行即可:

使用kettle全量迁移Oracle到MySQL

经过15分钟后,迁移完成:

使用kettle全量迁移Oracle到MySQL

数据校验

使用kettle全量迁移Oracle到MySQL

全量数据迁移完成。

对于blob和clob查看:

使用kettle全量迁移Oracle到MySQL

可以看到,数据也能正常同步!!!

kettle优化

由于INVENTORIES有90万条的数据,未优化之前需要13分钟,所以,我们可以配置多线程写入,这里配置8个线程写入,发现大约1分钟就可以同步完成:

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

命令行运行

生成文件后,可以直接在命令行运行:

日志:

总结

1、全量初始化比较快,BLOB和CLOB也可以同步。

2、问题:开启并行复制后,偶尔发现有数据丢失的问题,我大概定位到是由于插入之前没有手工做“清空表的操作”,而是让kettle做清空表的动作,大概率跟这个有关系。大家若有大表单独导入,请在导入之前,手工执行truncate操作。

3、“工具->向导->复制多表向导”或快捷键“ctrl+f10”复制会同时复制表结构,然后在MySQL中对不正确的结构做修改后,可以从MySQL导出DDL语句,后续同步,只需要同步数据,而不用同步表结构了。如果MySQL中已经存在相关的表了,那么kettle不会再自动生成表结构了。

4、对于大表的优化,可以修改相关的.ktr文件,做如下的修改,将能提升很多:

①、配置提交数量:<commit>1000</commit> ,默认为100

②、修改写入的并行数:<copies>8</copies>,默认为1

标签:

头像

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复

嘿,我是小麦,需要帮助随时找我哦
  • 18509239930
  • 个人微信

  • 麦老师QQ聊天
  • 个人邮箱
  • 点击加入QQ群
  • 个人微店

  • 回到顶部
返回顶部