MySQL之Navicat、into outfile、mysql命令、mysqldump、mysqlpump、mydumper等导出导入文本数据(csv、txt、sql等)

0    165    2

Tags:

👉 本文共约5311个字,系统预计阅读时间或需20分钟。

我的总结

Navicat、into outfile、mysql命令、mysqldump、mysqlpump、mydumper导出导入数据

工具导出命令导入命令导出文件模式导出导入文件位置导入效率
Navicat界面操作1、界面操作、LOAD DATA INFILE
2、mysqlimport命令
csv、txt或SQL客户端
into outfileselect * from sbtest.sbtest6 into outfile '/mysqldata/sbtest6.sql' FIELDS TERMINATED BY ',' ;1、LOAD DATA INFILE 'data.txt' INTO TABLE table2 FIELDS TERMINATED BY ',';
2、mysqlimport命令
csv、txt服务器LOAD DATA需要花费5小时
mysql命令mysql -h127.0.0.1 -uroot -plhr -q -D lhrdb --execute="select * from sensor;" > sensor_mysql.txt1、LOAD DATA INFILE 'data.txt' INTO TABLE table2 FIELDS TERMINATED BY ',';
2、mysqlimport命令
csv、txt客户端
mysqldumpmysqldump -S/tmp/mysql.sock --databases business_db_jingbain --set-gtid-purged=OFF --tables sensor > sensor_mysqldump.sql1、source a.sql
2、mysql -f -h192.168.1.35 -P3340 -u root -plhr < sbtest_data.sql
SQL客户端开4个线程,导入花费需要6小时
mysqlpumpmysqlpump -uroot -plhr -h192.168.66.35 -P13341 sbtest sbtest1 --single-transaction --set-gtid-purged=OFF --default-parallelism=4 > /bk/sbtest_sbtest1.sql1、source a.sql
2、mysql -f -h192.168.1.35 -P3340 -u root -plhr < sbtest_data.sql
SQL客户端开4个线程,导入花费需要6小时
mydumpermydumper -h 192.168.66.35 -u root -p lhr -P 13341 -B sbtest -T sbtest1 -l 14400 -r 100000 -t 8 -k -o /data/1、myloader -h localhost -u root -p lhr -B sbtest -o sbtest1 -t 4 -d /data/ -v 3
2、source a.sql 3、mysql -f -h192.168.1.35 -P3340 -u root -plhr < sbtest_data.sql
SQL客户端开4个线程,导入花费需要385分钟,大概6.5小时
MySQL Shellutil.dumpSchemas(['sbtest'],'/data/backup/schema')util.loadDump("/data/backup/full",{loadUsers: true})txt客户端

MySQL之Navicat、into outfile、mysql命令、mysqldump、mysqlpump、mydumper等导出导入文本数据(csv、txt、sql等)

实例SQL

mysqldump

参考:https://www.xmmup.com/shiyongmysqldumpqianyileimysqlshujuku.html

其它方案

待测方案:mysqldump、mydumper、select outfile 语句、Util.dumpTablesUtil.exportTable

环境配置信息

配置项说明
MySQL 版本5.7.39
磁盘随机读写100 MiB/sec
测试表名test.t_order_info
行数1000W
字段数6

建表语句

导出文件

  • 包含数据结构和数据的 备份文件 (mysqldump、mydumper、Util.dumpTables)
  • 只包含数据的 数据文件 (select outfile、Util.exportTable)

导出导入命令

导出导入
mysqldumpsource 或 mysql< xxx.sql
mydumpermyloader
select outfileload data
Util.dumpTablesUtil.loadDump
Util.exportTableUtil.importTable

方案测试

测试首先考虑的是 提升导入效率,并新增了 MySQL Shell 的使用。

mysqldump

单表导出(备份文件)

  • --master-data=2 参数会在备份期间对所有表加锁 FLUSH TABLES WITH READ LOCK,并执行 SHOW MASTER STATUS 语句以获取二进制日志信息。因此,在备份期间可能会影响数据库的并发性能。如果您不需要进行主从复制,则可以考虑不使用 --master-data=2 参数。
  • --single-transaction 参数用于在备份期间“使用事务来确保数据一致性”,从而避免在备份期间锁定表。[必须有]

备份文件

文件内容。

文件内容解释:

  • 没有建库语句,因为是单表备份。
  • 有删除表,建立表的语句,小心导入目标库时,删除表的语句,造成数据误删。
  • INSERT 语句没有字段名称,导入时表结构要一致。
  • 导入过程中有 lock table write 操作,导入过程中相关表不可写。
  • ALTER TABLE t_order_info DISABLE KEYS 此语句将禁用该表的所有非唯一索引,这可以提高插入大量数据时的性能。 对应的文件末尾有 ALTER TABLE t_order_info ENABLE KEYS;

用途,可以将备份文件中的数据导入自定义库,“文件内容解释”部分遇到的问题可以使用下面参数解决。

  • --no-create-info 不包含建表语句(可以手动创建 create table tablename like dbname.tablename;
  • --skip-add-drop-database 不包含删库语句
  • --skip-add-drop-table 不包含删表语句
  • --skip-add-locks INSERT 语句前不包含 LOCK TABLES t_order_info WRITE;
  • --complete-insert INSERT 语句中包含 列名称(新表的列有增加的时候)。

单表导出备份数据(只导出数据)。

本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!
MySQL之Navicat、into outfile、mysql命令、mysqldump、mysqlpump、mydumper等导出导入文本数据(csv、txt、sql等)后续精彩内容已被小麦苗无情隐藏,请输入验证码解锁本站所有文章!
验证码:
请先关注本站微信公众号,然后回复“验证码”,获取验证码。在微信里搜索“DB宝”或者“www_xmmup_com”或者微信扫描右侧二维码都可以关注本站微信公众号。

标签:

Avatar photo

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复

嘿,我是小麦,需要帮助随时找我哦。
  • 18509239930
  • 个人微信

  • DB宝
  • 个人邮箱
  • 点击加入QQ群
  • 个人微店

  • 回到顶部