otter用于跨云RDS for mysql之间配置双主实时同步
Tags： MySQLOtterRDS互为主备双主实时同步开源工具高可用
问题引出
客户需要将华为云rds for MySQL和天翼云rds for MySQL做一个双向同步，当华为云rds宕机的时候，可以切换到天翼云继续提供服务，而且此时，天翼云的数据也可以自动同步到华为云rds，平时只使用华为云的rds，和双A方案有点差异，需要注意的是rds环境不能安装任何的软件，所以，我目前想到的方案有：
1、用MySQL自带的主从复制。这个方案最简单，但是不可行，因为华为云和天翼云都禁用了super权限，在执行change master的时候会报权限不足的错误，“ERROR 1227 (42000): Access denied; you need (at least one of) the SUPER privilege(s) for this operation”。
2、使用华为云或天翼云自带的数据同步功能。这个也不可行，翻阅了一下文档，同步只能全量+增量同步，这对于双向同步来说不可行。
3、使用ogg远程捕获投递。ogg for MySQL从MySQL 5.7和ogg 19c开始支持远程捕获（Remote Capture）和远程投递（Remote Delivery），所以配置双向同步，该方案经过验证也是可行的！
- OGG用于跨云RDS之间配置双主实时同步（远程捕获和投递）：https://www.xmmup.com/oggyongyukuayunrdszhijianpeizhishuangzhushishitongbuyuanchengbuhuohetoudi.html
4、使用阿里的开源工具otter，这个方案经过验证是可行的。阿里数据同步工具Otter和Canal简介请参考：https://www.xmmup.com/alishujutongbugongjuotterhecanaljianjie.html
- otter用于跨云RDS之间配置双主实时同步参考：https://www.xmmup.com/otteryongyukuayunrdszhijianpeizhishuangzhushishitongbu.html
otter和ogg优缺点
1、otter不能同步无主键的表（会导致同步任务停止），而ogg可以
2、otter可以单向同步ddl语句，而ogg对于MySQL 5.7不可以（5.7需要安装插件），ogg对MySQL 8.0支持DDL同步
3、otter有图形界面操作，OGG只有命令行操作，但是ogg的微服务也可以全程图形化
搭建otter环境配置双向同步
本次环境架构图如下：
准备环境
购买2台RDS for MySQL环境
这里，我做测试直接买了2台华为云的rds，大家把rds-3388-0001当做华为云rds，另一台当做天翼云rds吧：
购买1台ECS环境作为otter环境
这里，我做测试直接买了1台华为云的ecs：
开放端口：8088，web页面使用
开放端口：2088，2089，2090，这几个端口对rds开放，同时2个rds的3306需要对这台ecs开放。
下面开始配置：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | -- 拉取docker环境的otter docker pull registry.cn-hangzhou.aliyuncs.com/lhrbest/lhrotter:v2.0 -- 创建otter docker run -d --name lhrotter -h lhrotter \ -v /sys/fs/cgroup:/sys/fs/cgroup \ -p 8088:8088 -p 2088-2090:2088-2090 \ --privileged=true \ registry.cn-hangzhou.aliyuncs.com/lhrbest/lhrotter:v2.0 init -- 进入otter环境 docker exec -it lhrotter bash -- 修改/usr/local/otter_manager/conf/otter.properties otter.domainName = 139.9.130.227 -- 启动otter环境 sh /etc/rc.local |
启动成功后浏览器访问 http://139.9.130.227:8088/login.htm，出现otter的页面，用户名和密码都是admin。
配置otter
修改Node
选择机器管理的node管理：
由于ECS和2台rds通信只能使用外网IP，所以，这里启用外部IP， 如上图。
启动node
启动命令：
1 | /usr/local/otter_node/bin/startup.sh |
管理界面显示节点状态已经启动：
添加数据源
添加2个rds的数据源： 填写正确的数据库连接信息。
这里填写的mysql用户不一定要用root，只要有操作需同步数据的库表的相关权限即可。
添加需要同步的数据表
注意：如果同步整个数据库的表，则将schema name和table name都设置成“.*”，不建议对整个库同步，因为有系统库不建议同步。
配置双向同步
双向同步可以理解为两个单向同步的组合，但需要额外处理避免回环同步. 回环同步算法： Otter双向回环控制 .
同时，因为双向回环控制算法会依赖一些系统表，需要在需要做双向同步的数据库上初始化所需的系统表，也可以直接从界面获取（可以点击使用文档-》数据库初始化页面），获取初始sql:
1 | wget https://raw.github.com/alibaba/otter/master/node/deployer/src/main/resources/sql/otter-system-ddl-mysql.sql |
界面获取：
配置上相比于单向同步有一些不同，操作步骤：
- 首先配置一个channel
- 然后添加两个pipeline
注意：两个单向的canal和映射配置，在一个channel下配置为两个pipeline。如果是两个channel，每个channel一个pipeline，将不会使用双向回环控制算法，也就是会有重复回环同步. - 每个pipeline各自配置canal，定义映射关系
双向需要注意：
一个channel 添加两个 pipeline ，
两个为双向同步，如果要用DDL同步，一个pipeline开启ddl同步，另一个不要开启，且建议开启跳过ddl异常，DryRun模式 不要开启
同时在配置双向同步的时候，建议执行otter-system-ddl-mysql.sql增加同步控制库，若是单向同步，则不需要运行该脚本。
双向同步建议在需要同步的两个数据库中新建retl数据库。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 | /* 供 otter 使用， otter 需要对 retl.* 的读写权限，以及对业务表的读写权限 1. 创建database retl */ CREATE DATABASE retl; /* 2. 用户授权 给同步用户授权 */ CREATE USER retl@'%' IDENTIFIED BY 'retl'; GRANT USAGE ON *.* TO `retl`@'%'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO `retl`@'%'; GRANT SELECT, INSERT, UPDATE, DELETE, EXECUTE ON `retl`.* TO `retl`@'%'; /* 业务表授权，这里可以限定只授权同步业务的表 */ GRANT SELECT, INSERT, UPDATE, DELETE ON *.* TO `retl`@'%'; /* 3. 创建系统表 */ USE retl; DROP TABLE IF EXISTS retl.retl_buffer; DROP TABLE IF EXISTS retl.retl_mark; DROP TABLE IF EXISTS retl.xdual; CREATE TABLE retl_buffer ( ID BIGINT(20) AUTO_INCREMENT, TABLE_ID INT(11) NOT NULL, FULL_NAME varchar(512), TYPE CHAR(1) NOT NULL, PK_DATA VARCHAR(256) NOT NULL, GMT_CREATE TIMESTAMP NOT NULL, GMT_MODIFIED TIMESTAMP NOT NULL, CONSTRAINT RETL_BUFFER_ID PRIMARY KEY (ID) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; CREATE TABLE retl_mark ( ID BIGINT AUTO_INCREMENT, CHANNEL_ID INT(11), CHANNEL_INFO varchar(128), CONSTRAINT RETL_MARK_ID PRIMARY KEY (ID) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8; CREATE TABLE xdual ( ID BIGINT(20) NOT NULL AUTO_INCREMENT, X timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (ID) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8; /* 4. 插入初始化数据 */ INSERT INTO retl.xdual(id, x) VALUES (1,now()) ON DUPLICATE KEY UPDATE x = now(); |
添加canal
Otter使用canal开源产品获取数据库增量日志数据，可以把cannal看作是源库的一个伪slave。
原理： canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议，mysql master收到dump请求，开始推送binarylog给slave(也就是canal)， canal解析binary log对象(原始为byte流)。
若要配置双向同步，则必须添加2个canal，若配置单向同步，则配置一个canal即可。
添加channel、pipline以及映射关系
若是单向同步，则可以不开启数据一致性！
注意这里的选项：
2个Pipeline都需要添加映射关系：
启动channel
验证
验证是否同步：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 | -- 华为云 mysql -uroot -p -h124.70.97.208 MySQL [lhrdb]> insert into ab values(2); Query OK, 1 row affected (0.03 sec) -- 天翼云 mysql -uroot -p -h114.116.245.109 MySQL [(none)]> select * from lhrdb.ab; +----+ | id | +----+ | 1 | | 2 | +----+ 2 rows in set (0.03 sec) MySQL [lhrdb]> MySQL [(none)]> insert into lhrdb.ab values(3); Query OK, 1 row affected (0.03 sec) -- 华为云查询 MySQL [lhrdb]> select * from lhrdb.ab; +----+ | id | +----+ | 1 | | 2 | | 3 | +----+ 3 rows in set (0.03 sec) |
双向同步配置完成。
添加监控
压测
使用mysqlslap
创建了一个简单的表使用mysqlslap进行测试。
1 2 3 4 5 | CREATE TABLE `otter_test` ( `id` int(11) NOT NULL, `name` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; |
测试100w条插入：
1 2 3 4 | mysqlslap --concurrency=50 --iterations=1 --create-schema=lhrdb \ --query="insert into otter_test values(FLOOR(0 + (RAND() * 10000000)),'namexmm') \ ON DUPLICATE KEY UPDATE name='xmmupwuwwu'" \ --number-of-queries=1000000 -uroot -plhr -P3306 -h124.70.97.208 |
延迟、tps等如下：
使用sysbench
由于DDL是单向同步，所以，在华为云rds需要做建表操作，然后可以在天翼云rds做压测：
1 2 3 4 5 6 7 8 9 10 11 | -- 在华为云rds sysbench /usr/share/sysbench/oltp_common.lua --time=100 --mysql-host=124.70.97.208 \ --mysql-port=3306 --mysql-user=root --mysql-password=lhr --mysql-db=lhrdb \ --table-size=100000 --tables=10 --threads=16 --events=999999999 prepare -- 在天翼云rds sysbench /usr/share/sysbench/oltp_read_write.lua --time=100 --mysql-host=114.116.245.109 \ --mysql-port=3306 --mysql-user=root --mysql-password=lhr --mysql-db=lhrdb \ --table-size=100000 --tables=10 --threads=16 --events=999999999 --report-interval=10 \ --db-ps-mode=disable --forced-shutdown=1 run |
总体来说，如果不做太多的字段重命名、二次处理，otter性能本身还是不错的。
请教一下，在启动后，点击登录会报错，请问博主有遇到类似的情况吗？是否缺失包：
HTTP ERROR 500
Problem accessing /login.htm. Reason:
Caused by:
com.alibaba.citrus.service.pipeline.PipelineException: Failed to execute action module
这个没碰到过