Greenplum中检测和恢复故障的segment(gprecoverseg)

0    122    2

Tags:

👉 本文共约12340个字,系统预计阅读时间或需47分钟。

检测故障的Segment

如果启用了镜像,Greenplum数据库会在主Segment宕机后自动故障转移到一个镜像Segment上,镜像Segment承担主Segment的角色和职能,故障主Segment变成镜像,用户感觉不到segment产生了故障。

当故障出现时,正在进行中的事务会回滚并在新的segment上自动重新开始。

gpstate工具可以用来分辨故障segment。该工具显示的系统表信息包括gp_segment_configuration

如果整个Greenplum数据库系统由于一个Segment故障(例如,如果没有启用镜像或者没有足够的Segment在线 以访问全部用户数据)而变得无法运转,用户在尝试连接到数据库时会看到错误。返回给客户端程序的错误可能表明 失效。例如:

segment故障如何被监测和管理

在Greenplum数据库master主机上,Postgres的postmaster进程会创建一个错误侦测子进程 ftsprobe。该进程也被称为FTS (Fault Tolerance Server)进程。如果FTS进程出现故障, postmaster会重启该进程。

FTS进程循环执行,每个循环之间会停顿一会。每一个循环中,FTS都会从gp_segment_configuration 系统表中获取每一个主segment实例的主机名和端口号,并通过与其建立TCP套接字连接的方式连接segment实例 来侦测segment的状态。如果成功连接,segment会执行一些简单的检查并报告给FTS。该检查包括在关键的segment 目录上执行一个stat系统调用,并且会检查segment实例的内部错误。如果没有检测到问题,FTS会 收到一个积极的反馈信号,被检查的正常segment也不会采取任何附加操作。

如果不能建立连接,或者在超时时间内没有得到反馈,FTS会尝试重新连接segment实例。 如果达到了FTS的最大重试次数,FTS会去检测该segment的镜像看其是否在线,如果在线它就会修改 gp_segment_configuration表,将原来的主segment标记为”down”并设置 镜像承担主segment的角色。FTS会把执行过的操作更新到 gp_configuration_history表中。

当系统中只有主segment正常,其对应的镜像故障时,主segment会进入not synchronizing 状态并继续记录数据库日志变化,一旦镜像修复,便可以将这些变化继续同步,而不用从主segment执行一个完整的拷贝。

运行gpstate工具并带有-e选项可以展示单个主segment和镜像segment实例 的任何问题。gpstate的另外一些选项也能显示所有主segment或镜像segment实例的信息,例如 -m(镜像实例信息)、-c(主segment和镜像segment配置信息),另外也可以 显示主segment和镜像segment的问题。

您也可以从系统表gp_segment_configuration查看当前模式: s (同步状态)n (非同步状态),还有当前状态 u (在线) or d (离线)。

gprecoverseg工具可以用于将离线的镜像segment重新加入集群。默认情况下, gprecoverseg会执行增量恢复,首先将镜像放入同步模式,接下来会重放主segment上 记录下来的日志变化到镜像segment。如果增量恢复失败,整个恢复便会失败。此时可以执行gprecoverseg 并带有-F选项,以执行一个全量恢复,该操作会复制主segment上的所有数据到镜像segment上。

segment实例恢复后,gpstate -e命令可以列出所有切换了的主segment和镜像segment实例信息。 该信息表示系统目前处于不均衡状态(主实例和镜像实例不在他们的初始配置角色)。如果系统目前处于不均衡状态,在segment 主机系统上可能存在活动主segment实例分布不均匀的结果。

系统表gp_segment_configuration包含列role和 preferred_role。该列上的值为p代表主segment,m 代表镜像segment。role列展示segment实例当前角色,preferred_role 列展示segment实例原来的角色。

在一个平衡的系统中,所有segment实例的role和preferred_role 列都是对应一致的。当某一个列存在不一样的情况时,表明系统是不平衡的。为了重新平衡集群并将所有的segment恢复到他们 本来的角色,可以运行gprecoverseg命令并带有-r选项。

简单的故障转移和恢复示例

本例子已经假设一个单独的主-镜像segment实例对中主segment故障并切换到镜像segment。 以下表格展示在恢复到正常的主segment之前,segment实例在gp_segment_configuration 表中的本来角色, 当前角色, 模式, 和状态:

也可以通过执行gpstate -e来显示主segment和镜像segment的状态信息

本来角色当前角色模式状态
Primaryp(primary)m(mirror)n(not synchronizing)d(down)
Mirrorm(mirror)p(primary)n(not synchronizing)u(up)

segment实例不在他们原来的最佳角色,主segment故障。镜像segment上线成为主segment,目前为非同步模式, 因为他的镜像(之前失败的主segment)处于故障状态。当修复了故障问题后,使用gprecoverseg 重新将失败的实例拉起并在主segment和镜像segment之间同步差异数据。

一旦gprecoverseg操作完成,segment的状态如下表展示,主segment和镜像segment 转换成为他们之前的最佳角色。

本来角色当前角色模式状态
Primaryp(primary)m(mirror)s(synchronizing)u(up)
Mirrorm(mirror)p(primary)s(synchronizing)u(up)

gprecoverseg -r命令通过将segment的角色切换回他们之前的最佳角色来重新平衡 整个集群系统。

本来角色当前角色模式状态
Primaryp(primary)p(primary)s(synchronized)u(up)
Mirrorm(mirror)m(mirror)s(synchronized)u(up)

配置FTS行为

有一系列的服务器配置参数会影响FTS行为:

gp_fts_probe_interval

开始下一个FTS循环的时间间隔,以秒为单位。例如将该参数设置为60,检测循环持续10秒,那么FTS进程 沉睡50秒。如果设置该参数为60,检测循环持续75秒,FTS进程沉睡0秒。该参数默认值为60,最大为3600。

gp_fts_probe_timeout

master到segment之间的检测超时时间,以秒为单位。默认20秒,最大3600秒。

gp_fts_probe_retries

检测segment失败后的重试次数,例如如果设置为5,那么首次失败后,会再进行4次检测尝试。默认为5。

gp_log_fts

FTS日志级别。可设置的值有:”off”, “terse”, “verbose”, or “debug”。 “verbose”设置可以用在生产上,能为问题定位提供一些有用的数据。”debug” 设置不能用在生产上。默认为:”terse”。

gp_segment_connect_timeout

允许镜像响应的最大时间,以秒为单位。默认为:600(10分钟)

除了可以使用FTS执行错误检查外,不能发送数据到其镜像segment的主segment可以改变镜像的状态为down。 主segment会将同步数据暂时排队处理,如果gp_segment_connect_timeout时间超时, 此时意味着镜像故障,系统会标记镜像为down并将主segment变为变化追踪(change tracking)模式。

检测故障Segment

启用镜像的情况下,系统允许存在故障Segment并且不影响数据库服务正常运行。可以通过 gpstate工具查看整个数据库系统状态。gpstate 可以展示整个数据库系统中包括主Segment、镜像Segment、Master和备用Master在内的每 一个单独系统组件的状态。

如何检测故障Segment

  1. 在Master上,用-e选项运行gpstate工具显示有错误情况的Segment:

    如果工具列出Segments with Primary and Mirror Roles Switched,表明 segment不在他的原始角色(系统初始化时赋予的角色)。这意味着系统处于一种潜在的不平衡状态, 因为一些segment主机可能比正常状态下拥有更多的活动segment,并不处于它们的最佳性能状态。

    Segments展示Config status为Down则预示着 其对应的镜像segment产生故障下线了。

    修复该问题的详细过程,请见从Segment故障中恢复

  2. 为了获取故障segment的详细信息,可以检查 gp_segment_configuration系统表。例如:

  3. 针对那些故障的segment实例,注意主机、端口号、原来角色和数据目录。这些信息会帮助您在问题定位时 提供有用的决策信息。

  4. 要展示镜像segment实例的信息,运行:

检查日志文件

日志文件可以提供信息来帮助判断一个错误的成因。每个Master和Segment实例都在其数据目录的 pg_log中有它们自己的日志文件。Master的日志文件包含了大部分信息,应该总是首先检查它。

gplogfilter工具可以用来检查Greenplum数据库日志文件。 如果要检查segment日志文件,使用gpssh在segment主机上执行gplogfilter工具。

如何检查日志文件

  1. 对于WARNING、ERROR、FATAL或 PANIC日志级别的消息,使用gplogfilter检查Master的日志文件:

  2. 对于每个Segment实例上的WARNING、ERROR、 FATAL或PANIC日志级别的消息,使用gpssh检查。例如:

恢复故障Segment

如果Master无法连接到一个Segment实例,它会在Greenplum数据库的系统表中把该Segment标记为“down”。 该Segment实例会保持离线状态直到管理员采取步骤让它重新回到线上。恢复一个失效Segment实例或者主机的 处理取决于失效原因以及是否启用了镜像。一个Segment实例的故障原因多种多样:

  • Segment主机不可用,例如由于网络或者硬件失效。
  • Segment实例没有运行,例如没有postgres数据监听器进程。
  • Segment实例的数据目录损坏或者丢失,例如数据不可访问、文件系统损坏或者磁盘失效。

Figure 1展示了前述失效场景的高层排查步骤。

本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!
Greenplum中检测和恢复故障的segment(gprecoverseg)后续精彩内容已被小麦苗无情隐藏,请输入验证码解锁本站所有文章!
验证码:
请先关注本站微信公众号,然后回复“验证码”,获取验证码。在微信里搜索“DB宝”或者“www_xmmup_com”或者微信扫描右侧二维码都可以关注本站微信公众号。

标签:

Avatar photo

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复

嘿,我是小麦,需要帮助随时找我哦。
  • 18509239930
  • 个人微信

  • DB宝
  • 个人邮箱
  • 点击加入QQ群
  • 个人微店

  • 回到顶部