合 阿里数据同步工具Otter和Canal简介
Tags: MySQL高可用双主主从复制数据同步Otter跨机房阿里Canal
Manager使用
Manager使用介绍
otter系统自带了manager,所以简化了一些admin管理上的操作成本,比如可以通过manager发布同步任务配置,接收同步任务反馈的状态信息等。
目前manager的操作可分为两部分:
- 同步配置管理
- 添加数据源
- canal解析配置
- 添加数据表
- 同步任务
- 同步状态查询
- 查询延迟
- 查询吞吐量
- 查询同步进度
- 查询报警&异常日志
manager的用户权限在设计的时候,主要分为三类:
- ADMIN : 超级管理员
- OPERATOR : 普通用户,管理某个同步任务下的同步配置,添加数据表,修改canal配置等
- ANONYMOUS : 匿名用户,只能进行同步状态查询的操作.
同步管理
同步模式配置 (点击同步列表右边的查看/编辑链接)
a. 同步一致性
- 基于数据库反查 (简单点说,就是强制反查数据库,从binlog中拿到pk,直接反查对应数据库记录进行同步,回退到几天前binlog进行消费时避免同步老版本的数据时可采用)
- 基于当前日志变更 (基于binlog/redolog解析出来的字段变更值进行同步,不做数据库反查,推荐使用)
b. 同步模式
- 行模式 (兼容otter3的处理方案,改变记录中的任何一个字段,触发整行记录的数据同步,在目标库执行merge sql)
- 列模式 (基于log中的具体变更字段,按需同步)
c. 特殊组合: (同样支持)