阿里数据同步工具Otter和Canal简介

0    3431    16

Tags:

👉 本文共约27901个字,系统预计阅读时间或需105分钟。

Manager使用

Manager使用介绍

otter系统自带了manager,所以简化了一些admin管理上的操作成本,比如可以通过manager发布同步任务配置,接收同步任务反馈的状态信息等。

目前manager的操作可分为两部分:

  • 同步配置管理
    1. 添加数据源
    2. canal解析配置
    3. 添加数据表
    4. 同步任务
  • 同步状态查询
    1. 查询延迟
    2. 查询吞吐量
    3. 查询同步进度
    4. 查询报警&异常日志

manager的用户权限在设计的时候,主要分为三类:

  • ADMIN : 超级管理员
  • OPERATOR : 普通用户,管理某个同步任务下的同步配置,添加数据表,修改canal配置等
  • ANONYMOUS : 匿名用户,只能进行同步状态查询的操作.

同步管理

阿里数据同步工具Otter和Canal简介

同步模式配置 (点击同步列表右边的查看/编辑链接)

阿里数据同步工具Otter和Canal简介
说明:

a. 同步一致性

  1. 基于数据库反查 (简单点说,就是强制反查数据库,从binlog中拿到pk,直接反查对应数据库记录进行同步,回退到几天前binlog进行消费时避免同步老版本的数据时可采用)
  2. 基于当前日志变更 (基于binlog/redolog解析出来的字段变更值进行同步,不做数据库反查,推荐使用)

b. 同步模式

  1. 行模式 (兼容otter3的处理方案,改变记录中的任何一个字段,触发整行记录的数据同步,在目标库执行merge sql)
  2. 列模式 (基于log中的具体变更字段,按需同步)

c. 特殊组合: (同样支持)

本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!
阿里数据同步工具Otter和Canal简介后续精彩内容已被小麦苗无情隐藏,请输入验证码解锁本站所有文章!
验证码:
请先关注本站微信公众号,然后回复“验证码”,获取验证码。在微信里搜索“DB宝”或者“www_xmmup_com”或者微信扫描右侧二维码都可以关注本站微信公众号。

标签:

Avatar photo

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复

嘿,我是小麦,需要帮助随时找我哦。
  • 18509239930
  • 个人微信

  • DB宝
  • 个人邮箱
  • 点击加入QQ群
  • 个人微店

  • 回到顶部