阿里数据同步工具Otter和Canal简介
otter
- otter GitHub介绍：https://github.com/alibaba/otter
otter是阿里巴巴分布式数据库同步系统(解决中美异地机房)，目前最新版本是2019年9月2日发布的v4.2.18。
otter是阿里开源的一个分布式数据库同步系统，尤其是在跨机房数据库同步方面，有很强大的功能。它是基于数据库增量日志解析，实时将数据同步到本机房或跨机房的mysql/oracle数据库。
otter官方文档：https://github.com/alibaba/otter/wiki/Introduction
otter项目背景
阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。
otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otter4。
目前同步规模：
- 同步数据量6亿
- 文件同步1.5TB(2000w张图片)
- 涉及200+个数据库实例之间的同步
- 80+台机器的集群规模
项目介绍
名称：otter ['ɒtə(r)]
译意： 水獭，数据搬运工
语言： 纯java开发
定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统.
工作原理
原理描述：
基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, 请点击
典型管理系统架构，manager(web管理)+node(工作节点)
a. manager运行时推送同步配置到node节点
b. node节点将同步状态反馈到manager上
基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.
本人提供Oracle、MySQL、PG等数据库的培训和考证业务，私聊QQ646634621或微信db_bao，谢谢！
otter能解决什么？
异构库同步
a. mysql -> mysql/oracle. (目前开源版本只支持mysql增量，目标库可以是mysql或者oracle，取决于canal的功能)
单机房同步 (数据库之间RTT < 1ms)
a. 数据库版本升级
b. 数据表迁移
c. 异步二级索引
异地机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同步，RTT > 200ms，亮点)
a. 机房容灾
双向同步
a. 避免回环算法 (通用的解决方案，支持大部分关系型数据库)
b. 数据一致性算法 (保证双A机房模式下，数据保证最终一致性，亮点)
文件同步
a. 站点镜像 (进行数据复制的同时，复制关联的图片，比如复制产品数据，同时复制产品图片).
RTT(Round-Trip Time)：往返时延。在计算机网络中它是一个重要的性能指标，表示从发送端发送数据开始，到发送端收到来自接收端的确认（接收端收到数据后便立即发送确认），总共经历的时延。通常，时延由发送时延、传播时延、排队时延、处理时延四个部分组成。
6.rds之间的数据同步
这点是麦老师自己添加的，前边几点是官方的！
现在很多MySQL库都直接使用了云rds服务，由于云原生的rds for MySQL服务很多场景都禁用了super权限，所以，MySQL自带的主从服务就不可用了。那么，如果客户想做rds之间的同步或跨云的rds同步或将线下机房的MySQL实时同步到云上rds，那么这个时候就可以考虑otter工具了。其实，ogg for MySQL也可以实现，可以私聊麦老师。
单机房复制示意图
说明：
a. 数据on-Fly，尽可能不落地，更快的进行数据同步. (开启node loadBalancer算法，如果Node节点S+ETL落在不同的Node上，数据会有个网络传输过程)
b. node节点可以有failover / loadBalancer.
异地机房复制示意图
说明：
a. 数据涉及网络传输，S/E/T/L几个阶段会分散在2个或者更多Node节点上，多个Node之间通过zookeeper进行协同工作 (一般是Select和Extract在一个机房的Node，Transform/Load落在另一个机房的Node)
b. node节点可以有failover / loadBalancer. (每个机房的Node节点，都可以是集群，一台或者多台机器)
初步性能指标
单机房同步
a. 100tps ， 延迟100ms
b. 5000tps，延迟1s
中美异地机房同步
a. 100tps ， 延迟2s
b. 5000tps ，延迟10s
ps. 性能指标取决于目标数据库性能，数据大小等多个因素，单机房100b大小，极限tps可以1w+
相关名词解释
otter核心model关系图
名词解释
- Pipeline：从源端到目标端的整个过程描述，主要由一些同步映射过程组成
- Channel：同步通道，单向同步中由一个Pipeline组成，在双向同步中由两个Pipeline组成
- DataMediaPair：根据业务表定义映射关系，比如源表和目标表，字段映射，字段组等
- DataMedia : 抽象的数据介质概念，可以理解为数据表/mq队列定义
- DataMediaSource ：抽象的数据介质源信息，补充描述DateMedia
- ColumnPair：定义字段映射关系
- ColumnGroup ：定义字段映射组
- Node : 处理同步过程的工作节点，对应一个jvm
otter的S/E/T/L stage阶段模型
说明：为了更好的支持系统的扩展性和灵活性，将整个同步流程抽象为Select/Extract/Transform/Load，这么4个阶段.
Select阶段: 为解决数据来源的差异性，比如接入canal获取增量数据，也可以接入其他系统获取其他数据等。
Extract/Transform/Load 阶段：类似于数据仓库的ETL模型，具体可为数据join，数据转化，数据Load的
环境搭建 & 打包
环境搭建：
- 进入
$otter_home目录 - 执行：
mvn clean install - 导入maven项目。如果eclipse下报"
Missing artifact com.oracle:ojdbc14:jar:10.2.0.3.0"，修改$otter_home/pom.xml中"${user.dir}/lib/ojdbc14-10.2.0.3.0.jar"为绝对路径，比如"d:/lib/ojdbc14-10.2.0.3.0.jar"
打包：
- 进入
$otter_home目录 - 执行：
mvn clean install -Dmaven.test.skip -Denv=release - 发布包位置：
$otter_home/target
