使用kettle全量迁移Oracle到MySQL

0    290    4

👉 本文共约1530个字,系统预计阅读时间或需6分钟。

环境准备

使用kettle全量迁移Oracle到MySQL

Oracle和MySQL环境准备

kettle环境准备

Oracle端数据初始化

最终,在Oracle端共包括16张表,2个视图,其中2个表TSRSLOB和IMAGE_LOB包括了blob和clob字段。

kettle配置全量同步

连接到kettle远程桌面:mstsc

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

本人提供Oracle、MySQL、PG等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!

用户名和密码:root/lhr

启动kettle图形界面:

使用kettle全量迁移Oracle到MySQL

新建Oracle和MySQL的连接,如下:

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

使用kettle全量迁移Oracle到MySQL

完成后,会自动生成如下的执行树:

image-20220705144156388

点击run,开始执行即可:

使用kettle全量迁移Oracle到MySQL

经过15分钟后,迁移完成:

使用kettle全量迁移Oracle到MySQL

数据校验

使用kettle全量迁移Oracle到MySQL

全量数据迁移完成。

对于blob和clob查看:

使用kettle全量迁移Oracle到MySQL

可以看到,数据也能正常同步!!!

kettle优化

由于INVENTORIES有90万条的数据,未优化之前需要13分钟,所以,我们可以配置多线程写入,这里配置8个线程写入,发现大约1分钟就可以同步完成:

使用kettle全量迁移Oracle到MySQL

image-20220705151620161

命令行运行

生成文件后,可以直接在命令行运行:

日志:

总结

1、全量初始化比较快,BLOB和CLOB也可以同步。

2、问题:开启并行复制后,偶尔发现有数据丢失的问题,我大概定位到是由于插入之前没有手工做“清空表的操作”,而是让kettle做清空表的动作,大概率跟这个有关系。大家若有大表单独导入,请在导入之前,手工执行truncate操作。

3、“工具->向导->复制多表向导”或快捷键“ctrl+f10”复制会同时复制表结构,然后在MySQL中对不正确的结构做修改后,可以从MySQL导出DDL语句,后续同步,只需要同步数据,而不用同步表结构了。如果MySQL中已经存在相关的表了,那么kettle不会再自动生成表结构了。

    头像

    小麦苗

    学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

    您可能还喜欢...

    发表评论

    您的电子邮箱地址不会被公开。

    3 + 13 =

     

    嘿,我是小麦,需要帮助随时找我哦
    • 18509239930
    • 个人微信

    • 麦老师QQ聊天
    • 个人邮箱
    • 点击加入QQ群
    • 个人微店

    • 回到顶部
    返回顶部