PG日志挖掘工具之WalMiner用于误操作恢复

0    978    4

Tags:

👉 本文共约8635个字,系统预计阅读时间或需33分钟。

PG中通过pg_waldump来分析pg_wal日志:https://www.xmmup.com/pgzhongtongguopg_waldumplaifenxipg_walrizhi.html

WalMiner简介

官网:https://gitee.com/movead/XLogMiner

WalMiner是从PostgreSQL的WAL(write ahead logs)日志中解析出执行的SQL语句的工具,并能生成对应的undo SQL语句。与传统的logical decode插件相比,walminer不要求logical日志级别且解析方式较为灵活。

WalMiner是从PostgreSQL的WAL(write ahead logs)日志的解析工具,旨在挖掘wal日志所有的有用信息,从而提供PG的数据恢复支持。目前主要有如下功能:

  • 从waL日志中解析出SQL,包括DML和少量DDL

    解析出执行的SQL语句的工具,并能生成对应的undo SQL语句。与传统的logical decode插件相比,walminer不要求logical日志级别且解析方式较为灵活。

  • 数据页挽回

    当数据库被执行了TRUNCATE等不被wal记录的数据清除操作,或者发生磁盘页损坏,可以使用此功能从wal日志中搜索数据,以期尽量挽回数据。

XlogMiner Enhancements Released and Renamed to WalMiner:https://www.postgresql.org/about/news/xlogminer-enhancements-released-and-renamed-to-walminer-1919/

注意:walminer是Highgo开源的一款软件。HGDB所有版本均支持walminer。

walminer3.0更新内容

  • 代码结构变化
  • 增加数据页挽回功能(坏块修复)
  • 增加对开发库PG14的支持

walminer4.0介绍

walminer是PostgreSQL的wal日志解析工具,4.0版本摒弃插件模式改为bin模式,现已脱离对目标数据库的编译依赖和安装依赖,一个walminer工具可以解析PG10~PG15的WAL日志。 现已实现的功能为wal2sql、fosync、pgto。

1.1 walminer功能介绍

  • wal2sql为walminer的基本功能,可以将wal日志解析为SQL语句,以及其undo语句,可解析部分DDL语句。
  • fosync为在wal2sql的基础上实现的,PG故障转移延迟数据同步功能。
  • pgto为PG的CDC工具,库外解析;一键部署;低wal级别。

1.2 walminer导航

PG版本支持

  • walminer3.0支持PostgreSQL 10及其以上版本。(此版本放弃对9.x的支持)

编译安装

编译一:PG源码编译
如果你从编译pg数据库开始:

  1. 将walminer目录放置到编译通过的PG工程的"../contrib/"目录下
  2. 进入walminer目录
  3. 执行命令

编译二:依据PG安装编译
如果你使用yum或者pg安装包已经编译安装了pg

  1. 配置pg的bin路径至环境变量

  2. 进入walminer代码路径

  3. 执行编译安装,注意修改MAJORVERSION的值,MAJORVERSION支持‘10’,‘11’,‘12’,‘13’

    过程:

使用方法-SQL解析

场景一:从WAL日志产生的数据库中直接执行解析

1. 创建walminer的extension

2. 添加要解析的wal日志文件

3. Remove wal日志文件

4. List wal日志文件

5. 执行解析

5.1 普通解析

5.2 精确解析

walminer的构建基础是,checkpoint之后对每一个page的更改会产生全页写(FPW),因此一个checkpoint之后的所有wal日志可以完美解析。注意checkpoint是指checkpoint开始的点,而不是checkpoint的wal记录的点,参照说明

普通解析会直接解析给定范围内的wal日志,因为可能没有找到之前的checkpoint点,所以会出现有些记录解析不全导致出现空的解析结果。

精确解析是指walminer程序会界定需要解析的wal范围,并在给定的wal范围之前探索一个checkpoint开始点c1,从c1点开始记录FPI,然后就可以完美解析指定的wal范围。如果在给定的wal段内没有找到c1点,那么此次解析会报错停止。

5.3 单表解析

​ 'true'和‘false’代表是否为精确解析模式,reloid为目标表的oid(注意不是relfilenode)

5.4 快捷解析

​ 场景1中的加载数据字典和加载wal日志步骤可以省略,默认直接加载当前数据字典和当前wal路径下的所有wal文件。这个解析模式只在学习本工具时使用,在生产数据库中,可能会因为wal段切换而导致解析失败。

5.5 替身解析

​ 如果一个表被drop或者被truncate等操作,导致新产生的数据字典不包含旧的数据库中所包含的relfilenode,那么使用新的数据字典无法解析出旧的wal日志中包含的的某些内容。在知晓旧表的表结构的前提下,可以使用替身解析模式。替身模式目前只适用于[场景一]。

6. 解析结果查看

:warning: 注意:walminer_contents是walminer自动生成的unlogged表(之前是临时表,由于临时表在清理上有问题,引起工具使用不便,所以改为unlogged表),在一次解析开始会首先创建或truncate walminer_contents表。

7. 结束walminer操作

该函数作用为释放内存,结束日志分析,该函数没有参数。

场景二:从非WAL产生的数据库中执行WAL日志解析

:warning: 要求执行解析的PostgreSQL数据库和被解析的为同一版本

于生产数据库

1.创建walminer的extension

2.生成数据字典

于测试数据库

1. 创建5walminer的extension

2. load数据字典

3. add wal日志文件

4. remove wal日志文件

5. list wal日志文件

6. 执行解析

同上

7. 解析结果查看

8.结束walminer操作,该函数作用为释放内存,结束日志分析,该函数没有参数。

:warning: 注意:walminer_contents是walminer自动生成的unlogged表(之前是临时表,由于临时表在清理上有问题,引起工具使用不便,所以改为unlogged表),在一次解析开始会首先创建或truncate walminer_contents表。

场景三:自apply解析(开发中的功能,慎用)

场景一和场景二中的解析结果是放到结果表中的,场景三可以将解析结果直接apply到解析数据库中。命令执行的流程与场景一和场景二相同。

此功能可以处理主备切换延迟数据

当主库A发生故障,从库B切换为主库之后。

  1. B库将A库未通过流复制apply的wal日志拷贝到B库可以获取的路径(这一步目前需要DBA自行处理,尚未纳入本功能)

  2. 在B库加载wal日志,执行walminer_apply()解析,其中:

    startlsn选取未能apply到B库的lsn的开始值

    endlsn参数写NULL

    'true'这里最好填写‘true’,就不要写‘false’了

    reloid是可选参数

  3. walminer_apply()完成后,可以看到延迟的数据已经写到B库了

自apply解析功能说明

  1. 目前处于coding中,后续会添加严格的txid限制,避免错误修改数据,现在是尝鲜测试版
  2. 对于有冲突的项目,会把冲突sql存放到$PGDATA/pg_walminer/wm_analyselog/apply_failure文件中,供DBA自行判断处理
  3. 保持事务性,同一个事务中的一条SQLapply失败后,整个事务都会apply失败
  4. 看大家需求,后续可能考虑增加远程apply功能

场景四:DDL解析

系统表变化解析

目前walminer支持解析系统表的变化。也就是说如果在PG执行了DDL语句,walminer可以分析出DDL语句引起的系统表的变化。

DDL解析

:warning:系统表变化解析DDL解析不共存,总是接受最新确定的状态。

:warning:walminer对DML数据的解析是要求没有系统表变化的,因此存在DDL变化时,可能导致DML解析不出来的情况。

使用限制

  1. 本版本解析DML语句。DDL语句解析功能正在不断开发。

  2. 只能解析与数据字典时间线一致的wal文件

  3. 当前walminer无法处理数据字典不一致问题,walminer始终以给定的数据字典为准,

    对于无法处理的relfilenode,那么会丢弃这一条wal记录(会有一个notice在解析结果中没有体现)

  4. complete属性只有在wallevel大于minimal时有效

  5. xid解析模式不支持子事务

    本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!
  6. 同时只能有一个walminer解析进程,否则会出现解析混乱

使用方法-数据页挽回(坏块修复)

1. 环境搭建

创建extension,创建数据地点,加载wal日志的方法与[SQL解析]中描述的方法一致。

2. 执行数据挽回

relfilenode:需要解析的wal日志中的relfilenode

reloid:解析库中存在的表的OID,此命令将会将从wal中找到的page覆盖到reloid制定的表中

pages:是字符串类型,制定想要挽回的目标page。格式为'0,1,2,7'或者'all'。

具体使用方法可以从pc_base.sql测试用例文件中获取。

此功能持续开发中,后续会添加基于基础备份的数据页挽回

使用限制

1.将部分page恢复到其他表后,查询时可能会出现报错的情况。这是因为恢复后的page可能依赖其他page数据,而其依赖的page没有恢复到这个表中。

2.执行此命令后请立即备份,因为此命令对数据的操作不会记录在wal中。

老版本示例

WalMiner 4.3版本使用

文档:https://gitee.com/movead/XLogMiner/wikis/walminer4.3/builtdic%E5%8A%9F%E8%83%BD

安装

下载地址获取最新的发行版

必须以普通用户登录配置:

执行walminer help,如果可以正常打印help信息,则证明安装部署成功。

使用示例

builtdic功能

功能综述

walminer解析wal日志时需要从wal日志外的地方获取数据库内部的元数据信息,额外的地方就是指数据库数据数据字典。使用walminer的一些功能需要先从产生wal日志的数据库导出walminer需要的元数据信息,builtdic就是用来导出元数据也就是数据字典的功能模块。
注意目前walminer的解析单位为单库,就是一个PG集簇下的一个数据库。

help信息

-d指目标数据库名(默认为postgres数据库)
-h指目标数据库IP(默认为localhost)
-p指目标数据库端口(默认为5432)
-u指连接目标数据库的用户(默认为postgres用户)
-W指连接目标数据库的用户密码
-D指生成数据字典的文件(path+name)
-f指如果目标位置已经有文件,那么重写这个文件

使用演示

在这个使用示例中,没有指定-d参数那么就默认为postgres数据库生成数据字典。同时打印了下数据字典相关信息和版本号信息。在后面需要使用数据字典的地方就可以指定为/home/lchch/Desktop/walminer.dic

showdic功能

功能综述

查看看数据字典里保存的信息,这个一般不会用到,在开发调试问题时会使用。

help信息

-D指需要查看的数据字典文件

使用演示

如下使用演示,现在结果显示不美观o(╯□╰)o...

avatardic功能

功能综述

如果一个表已经被删除,但是用户又想解析wal中这张表的相关操作,正常情况下由于没有历史信息的数据字典,所以无法解析这张表。这里提供了一个修改数据字典的方法,可以重新创建一个与被删除的表表结构完全一致的新表。然后生成数据字典,在数据字典中用新表的relfilenode取代旧表的relfilenode,这样解析结果就能以新表为载体出现。

help信息

-r新创建的表的表名
-n已经删除的表的relfilenode
-D被执行修改的数据字典

使用演示

生成数据字典并查看

执行avatardic命令

查看修改后的数据字典

wal2sql功能

功能综述

wal2sql是walminer的核心功能,主要是以各种方式解析wal日志,并得出产生wal的DML语句、其undo语句、事务信息、lsn信息。

help信息

-D指定解析使用的数据字典

-C开启DDL解析(参照[DDL解析模块]章节)

-w指定解析的wal日志所在的目录

-t指定解析结果的输出方式

-k指定解析类型

-m指定解析类型

-r指定当前解析为单表解析,并指定表名

-s当k=2时为开始lsn; 当k=3时为开始时间;当k=4时为xid列表

-e当k=2时为结束lsn; 当k=3时为结束时间;

-f当t为2时,指定文件名

-d 当t=3时指定目标数据库的数据库名(默认postgres)

-h 当t=3时指定目标数据库的地址(默认localhost)

-p 当t=3时指定目标数据库的端口(默认5432)

-u 当t=3时指定目标数据库的连接用户名(默认postgres)

-W 当t=3时指定目标数据库的连接用户的密码

使用演示

首先要生成数据字典,方法参照[builtdic功能]章节

演示全部解析

演示lsn解析

演示时间解析

演示事务ID解析

附录

解析原理
walminer在解析一个wal记录时,可能需要依赖之前的wal记录,原因可以参照博客中的[不同Wal级别记录DML语句的方式]章节。根据wal的FPW特性(检查点开始后首次对一个数据页进行修改时,需要在wal中记录这个数据也的全部信息),walminer可以做到,一个检查点的redo点之后的所有信息可以完全被解析出来。

精确解析时通过-s和-e指定了解析范围,解析范围能确定lsn范围,在这些lsn范围之前在找到一个checkpoin点的redo点就可解析范围内的所有数据。

即使精确解析,也存在解析范围内的事务解析不全的现象,比方指定了范围lsn1~lsn2,可能一个事务开始的lsn比lsn1小,结束的lsn比lsn1大,那么这个事务比lsn1小的部分就无法解析出来。可以通过解析结果的complete字段识别这种情况。

版本更新

walminer4.3
添加-C参数,用于支持DDL解析
添加-a参数,用于支持catalog变更输出
解析过程遇到数据字典变更时,把变更同步到现有数据字典信息

fosync功能

导出

功能综述

PG主备在异步流复制的情况下,备库LSN可能比主库LSN小很多,这其中可能有一部分wal在备库还没有redo,也有可能还有一部分在主库还没有发送到备库。第一种情况不用担心,备库提升主库时会处理这些数据;但是在第二这种情况下,现有方案无法处理这部分没有发送到备库的延迟数据。
fosync是在PG流复制发生故障转移后,将主备延迟部分的数据同步到备库的方案。

功能原理

PG备库提升主库后,会在pg_wal目录下的xxxx.history文件中记录,提升主库的lsn位点。也就是这个lsn之前的事务提交已经在新主库中可见,这个lsn之后的提交的数据,在新主库这种没有或不可见。walminer fosync功能就是通过解析主库wal日志,把lsn位点之后提交的数据解析出来,重新通过SQL的形式apply到新主库中。

help信息

-D数据字典文件,可以从原主库或新主库获取
-w指定需要解析的wal文件所在的目录
-t解析结果的输出位置

-f如果t为2那么在这个参数指定输出文件
-l备库提升为主库的lsn位点
-d当t为3或4时,指定目标数据库名
-h当t为3或4时,指定目标数据库IP
-p当t为3或4时,指定目标数据库端口
-u当t为3或4时,指定目标数据库连接用户
-W当t为3或4时,指定目标数据库连接用户密码

版本更新

walminer4.3
解析过程遇到数据字典变更时,把变更同步到现有数据字典信息
解析DDL结果

DDL解析模块

功能综述

数据库中有太多的DDL命令,个人力量难以完成所有的DDL命令的解析。目前实现了对几个重要的DDL命令的解析。
目前DDL解析只实现在了wal2sql功能中,详情参照wal2sql的-C参数。

已经实现的DDL命令

CREATE TABLE

DROP TABLE

TRUNCATE TABLE

RENAME TABLE

ALTER TABLE...ADD COLUMN

ALTER TABLE...DROP COLUMN

ALTER TABLE...ALTER COLUMN TYPE

ALTER TABLE...RENAME COLUMN

适用范围

目前DDL解析只实现在了wal2sql功能中

dic同步模块

导出

模块综述

-------------D1--------C1---------->lsn

在给定的WAL中,如果发生了数据结构的变更,比如在D1点创建了数据字典,解析过程使用到了C1点的WAL日志,而在C1点创建了新的表。在这种情况下,由于在数据字典中没有新表的数据结构,所以无法解析。dic同步模块就是在遇到数据字典变更的wal时,将变更同步到内存中的数据字典中,以供解析使用。
对于D1点之前(创建数据字典之前)的数据结构变更不会做额外处理。

数据字典同步

在解析过程中,如果遇到数据字典变更,则将变更信息同步到内存中的数据字典中。
注意:
1.只有大于数据字典创建的wal,才会引起数据字典同步
2.解析完成后,数据字典不会同步到磁盘上的数据字典
3.即使一些行为不会被DDL解析出来,他也会完成数据字典同步动作

版本限制

如果一个事务中做了表结构的变更或者表的创建,这个事务中也进行了这个表的DML操作,那么这个事务中的DML操作解析可能会出问题。

总结

1、WalMiner 4.0版本更好,但是收费,请参考:https://gitee.com/movead/XLogMiner/wikis/walminer%20license

2、WalMiner 4.0可以wal日志拷贝出来,然后远程生成字典,进行远程解析。

参考

https://gitee.com/movead/XLogMiner/wikis/walminer4.3/wal2sql%E5%8A%9F%E8%83%BD

标签:

头像

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复

嘿,我是小麦,需要帮助随时找我哦
  • 18509239930
  • 个人微信

  • 麦老师QQ聊天
  • 个人邮箱
  • 点击加入QQ群
  • 个人微店

  • 回到顶部
返回顶部