Greenplum中的gpperfmon数据库

简介

gpperfmon 数据库是一个专用数据库，包含查询状态和系统指标的可选的性能管理数据库，Greenplum segment 主机上的数据收集代理程序将查询和系统统计信息保存在这个数据库中。

gpperfmon_install管理工具创建名为gpperfmon的数据库， 并启用运行在Greenplum数据库Master和Segment节点上的数据收集代理。 运行在节点上的数据收集代理会从节点上收集查询状态，还包括诸如CPU和内存使用量等系统指标。 Master节点上的代理周期性的（通常15秒）从节点代理上收集数据并更新gpperfmon数据库。 用户可以查询gpperfmon数据库来查看查询和系统指标。

gpperfmon 数据库通过 gpperfmon_install 命令行工具创建。 这个工具然后创建 gpmon 数据库角色并启用 master 和 segment 主机上的数据收集代理 程序。更多关于该工具使用和数据收集代理配置的信息，请参考 Greenplum 数据库工具指南 中的 gpperfmon_install 参考手册。

gpperfmon 数据库由三组表组成。它们分别用于在不同阶段捕捉查询和系统状态信息。

• _now 系列表存储当前系统指标，例如活动查询等。
• _tail 系列表用于在数据保存到 _history 系列表之前暂存数据。 _tail 系列表仅供内部使用，不提供用户查询。
• _history 系列表用于存储历史数据。

_now 和 _tail 表的数据存储为文本文件，保存在 master 主机 文件系统中，通过外部表在 gpperfmon 数据库中访问。history 系列表 是 gpperfmon 数据库的常规内存表。只有运行超过一定时间(默认是 20 秒)的查询才会 保存到历史数据表中。你可以通过设置 $MASTER_DATA_DIRECTORY/gpperfmon/conf/gpperfmon.conf 中的 min_query_time 参数来修改这个门限值。设置为 0 将会保存所有查询历史信息。

Note: gpperfmon 不支持 ALTER SQL 命令。 ALTER 查询不会被记录在 gpperfmon 历史查询表中。

历史查询表按月进行分区。关于移除老分区的信息，请参见 历史查询表分区保留 。

该数据库包含以下几类表:

• database_* 系列表存储一个 Greenplum 数据库实例的查询负载信息。
• diskspace_* 系列表存储磁盘 空间指标。
• logalert* 系列表存储 pg_log 中的错误和警告消息。
• queries_* 系列表存储高级查询 状态信息。
• segment_* 系列表存储 Greenplum 数据库 segment 实例的内存分配和统计信息。
• socketstats* 系列表存储一个 Greenplum 数据库实例中 socket 使用统计指标信息。 注意: 这些表为将来使用保留，当前没有填充信息。
• system_* 系列表存储系统工具程序指标。

gpperfmon 数据库还包含下列视图:

• dynamic_memory_info 视图展示每个主机中所有 segments 的汇总, 以及每个主机中 动态内存使用量。
• memory_info 视图展示来自 system_history 和 segment_history 表的每个主机的内存信息.

历史查询表分区保留

gpperfmon 数据库中的 历史查询 表按月进行分区。分区 在需要时会以两个月为增量自动添加。

$MASTER_DATA_DIRECTORY/gpperfmon/conf/gpperfmon.conf 配置文件中的 partition_age 参数可以设置为要保留的每月最大分区数。添加新分区时，将自动 删除早于指定值的分区。

partition_age 的默认值是 0, 这意味着管理员必须手动删除 不需要的分区。

警报日志处理和日志轮换

当 gp_gperfmon_enable 服务期配置参数设置为 true 时, Greenplum 数据库 syslogger 会把警报消息写到一个 .csv 文件中。该文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/logs 目录。

通过修改 postgresql.conf 文件中的 gpperfmon_log_alert_level 服务期配置参数，可以将写入日志消息级别设置为 none, warning, error, fatal, 或者 panic。默认的消息基本是 warning。

日志存储的目录可以通过设置 $MASTER_DATA_DIRECTORY/gpperfmon/conf/gpperfmon.conf 配置文件中的 log_location 配置变量来改变。

syslogger 每 24 小时，或在当前日志文件达到或超过 1MB 时轮换警报日志。

如果单条错误消息包含一个长 SQL 语句或者长堆栈信息时，轮换日志文件可能超过 1MB。 此外，syslogger 会分批处理错误消息，每个日志记录过程分别对应一个单独的分块。日志块的 大小取决于操作系统; 例如，在 Red Hat Enterprise Linux 系统中, 它是 4096 字节。如果许多 Greenplum 数据库会话同时生成错误消息，则在检查文件大小并触发日志轮换之前， 日志文件可能会显着增长。

gpperfmon 数据收集过程

当 Greenplum 数据库启用 gpperfmon 支持下启动时, 它将创建一个 gpmmon 代理进程。 gpmmon 然后在 Greenplum 数据库集群的 master 主机和每个 segment 主机上启动一个 gpsmon 代理进程。Greenplum 数据库的 postmaster 进程监视 gpmmon 进程并在需要时重启该进程；gpmmon 进程监视和在需要时重启 gpsmon 进程。

gpmmon 进程以循环方式运行，并按一个可配置间隔检索 gpsmon 系列进程聚合的数据，并将其添加到 _now 和 _tail 外部数据库表 的数据文件, 然后存入 _history 常规内存数据库表中。

Note: gpperfmon 中的 log_alert 表流程不同于此，因为警报消息 由 Greenplum 数据库系统 logger 发送，而不是通过 gpsmon 发送。参见 警报日志处理和日志轮换 了解更多信息。

$MASTER_DATA_DIRECTORY/gpperfmon/conf/gpperfmon.conf 配置文件中的 两个配置参数控制着 gpmmon 被触发的频度:

• quantum 参数是以秒为单位的频率, gpmmon 依此频率向 segment 节点的 gpsmon 代理进程请求数据，并将获取到的数据添加到 _now 和 _tail 外部表数据文件中。 quantum 参数的有效设定值是 10, 15, 20, 30, 以及 60. 默认值是 15.
• harvest_interval 参数是以秒为单位的频率, 依此频率将 _tail 表中的数据移动到 _history 表中。 harvest_interval 至少是 30. 默认值为 120.

参见 Greenplum 数据库工具指南 中的 gpperfmon_install 管理工具 参考手册， 查阅 gpperfmon 配置参数完整列表。

以下步骤描述了，当 gpperfmon 支持启用时，数据从 Greenplum 数据库进入 gpperfmon 的流程。

1. 在执行查询时, Greenplum 数据库查询调度程序和查询执行程序进程以 UDP 报文形式发送查询状态消息。 gp_gpperfmon_send_interval 服务器配置变量决定数据库发送这些消息的频率。 默认为每秒发送一次。
2. 每个主机上的 gpsmon 进程接收 UDP 报文, 合并并汇总所包含的数据, 并添加其他主机指标，例如 CPU 和内存使用率。
3. gpsmon 进程继续累积数据，直到它们从 gpmmon 接收到转储命令为止。
4. gpsmon 进程通过发送其累积的状态数据和日志警报到一个 gpmmon 事件侦听线程来响应 dump 命令。
5. gpmmon 事件处理程序将指标保存到 master 主机的 $MASTER_DATA_DIRECTORY/gpperfmon/data 目录下的 .txt 文件。

在每一个 quantum 间隔 (默认为 15 秒), gpmmon 执行以下步骤:

1. 发送一个 dump 命令到 gpsmon 进程。

2. 收集和转换 .txt 文件（保存在 the $MASTER_DATA_DIRECTORY/gpperfmon/data 目录中) 为 .dat 外部数据文件, 支持通过 gpperfmon 数据库中的 _now 和 _tail 外部表访问。

   例如, 磁盘空间指标被添加到 diskspace_now.dat 和 _diskspace_tail.dat 带分隔符的文本文件中. 这些文本文件经由 gpperfmon 数据库中的 diskspace_now 和 _diskspace_tail 表访问.

在每一个 harvest_interval (默认为 120 秒), gpmmon 对每一个 _tail 文件执行以下步骤:

1. 重命名 _tail 为一个 _stage 文件.

2. 创建一个新的 _tail 文件.

3. 把数据从 _stage 文件追加进 _tail 文件.

4. 允许一个 SQL 命令吧数据从 _tail 外部表插入进相应的 _history 表中.

   例如, _database_tail 外部表的内容被插进 database_history 常规 (内存) 表中.

5. Deletes the _tail file 在内容被加载进数据库表中后，删除 _tail 文件。

6. 收集所有 $MASTER_DATA_DIRECTORY/gpperfmon/logs 目录下的 gpdb-alert-*.csv 文件 (除了 syslogger 已经打开并正在写入的最新文件) 到单个文件 alert_log_stage 中.

7. 把 alert_log_stage 文件内容加载进 gpperfmon 数据库的 log_alert_history 表中。

8. 清空 alert_log_stage 文件.

gpperfmon 数据库每表中的内容

以下主题分别描述 gpperfmon 数据库每表中的内容。

• database_* 表
• diskspace_* 表
• interfacestats* 表
• logalert* 表
• queries_* 表
• segment_* 表
• socketstats* 表
• system_* 表
• dynamic_memory_info 视图
• memory_info 视图

database_* 表

database_* 表存储一个 Greenplum 数据库实例的工作负载信息。这里一共有三张表，每张表都具有相同的结构(列):

• database_now 是一个外部表，其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 从数据采集代理程序获得数据以后，自动提交到 database_history 表之前，当前查询工作负载数据存储在 database_now 表中。
• database_tail 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 它是一个过渡表，当数据已经从 database_now 中清除，但还没有提交到 database_history 表中时，暂存在这里。它通常仅包含数据几分钟时间。
• database_history 是一个常规表， 用于存储历史查询工作负载数据。 它已预先设置为按月分区。 分区会根据需要以两个月为增量自动添加。

diskspace_* 表

diskspace_* 表存储磁盘空间指标。

• diskspace_now 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 在数据从 gpperfmon 数据采集代理程序获得数据以后，自动提交到 diskspace_history 表之前， 当前磁盘空间指标数据存储在 database_now 表中。
• diskspace_tail 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 它是一个过渡表，当数据已经从 diskspace_now 中清除，但还没有提交到 diskspace_history表中时，暂存在这里。它通常仅包含数据几分钟时间。
• diskspace_history 是一个常规表， 用于存储历史磁盘空间指标。 它已预先设置为按月分区。 分区会根据需要以两个月为增量自动添加。

interface_stats_* 表

interface_stats_* 表存储 一个 Greenplum 数据库实例在每个活动网络接口上 的通信统计指标。

这些表为将来使用保留，当前没有填充信息。

一共有三张 interface_stats 表, 它们具有相同的结构(列):

• interface_stats_now 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data.
• interface_stats_tail 是一个外部表, 其数据文件位于 in $MASTER_DATA_DIRECTORY/gpperfmon/data. 它是一个存储接口统计指标的过渡表，当数据已经从 interface_stats_now 中清除，但还没有提交到 interface_stats_history表中时，暂存在这里。 它通常仅包含数据几分钟时间。
• interface_stats_history 是一个常规表， 用于存储历史接口统计指标。 它已预先设置为按月分区。 分区会根据需要以两个月为增量自动添加。

log_alert_* 表

log_alert_* 表存储 pg_log 错误和警报.

参考 警报日志处理和日志轮换 了解关于配置 gpperfmon 系统 logger 的更多信息.

一共有三张 log_alert 表, 所有这些表具有相同的列:

• log_alert_now 是一个外部表，它的数据存储在 $MASTER_DATA_DIRECTORY/gpperfmon/logs 目录下的 .csv 文件中。 在数据从 gpperfmon 代理自动提交到 log_alert_history 表期间， 当前的 pg_log 错误和警报数据在 log_alert_now 中。.
• log_alert_tail 是一个外部表，它的数据存储在 $MASTER_DATA_DIRECTORY/gpperfmon/logs/alert_log_stage 中. 这是一个过渡表，当数据已经从 log_alert_now 中清除，但还没有提交到 log_alert_history 中时，暂存在这里。该表包括所有警报日志中的记录， 但最新的除外。它通常仅包含数据几分钟时间。
• log_alert_history 是一个常规表，用于存储数据库范围内的历史错误和警告数据。 它已预先设置为按月分区。分区会根据需要以两个月为增量自动添加。

queries_* 表

queries_* 系列表存储高级查询状态信息.

tmid, ssid 和 ccnt 列是唯一标识特定查询的组合键.

一共有三张查询表，所有查询表都具有相同的列:

• queries_now 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 在数据从 gpperfmon 代理自动提交到 queries_history 表期间， 当前查询状态存储在 queries_now 中。
• queries_tail 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 它是一个过渡表。当数据已经从 queries_now 中清除，但还没有提交到 queries_history 时，查询状态数据保存在这里。它通常仅包含数据几分钟时间.
• queries_history 是存储历史查询状态数据的常规表。 它被预定义为按月进行分区. 分区会根据需要以两个月为增量自动添加。

segment_* 表

The segment_* 包含 Greenplum 数据库 segment 实例的内存分配统计信息。 它跟踪每个特定 segment 实例上全部 postgres 进程的内存消费数量, 以及由当前资源管理方案(基于资源组或基于资源队列)设置的每个 segment 可用的剩余内存数量. 参见 Greenplum 数据库管理员指南 了解更多关于资源管理方案的详细信息.

一共有三张 segment 表, 每张表都具有相同的结构(列):

• segment_now 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 在数据从 gpperfmon 数据采集代理程序获得以后，自动提交到 segment_history 表之前， 当前系统使用指标数据存储在 segment_now 表中。
• segment_tail 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 它是一个内存分配信息的过渡表，当数据已经从 segment_now 中清除，但还没有提交到 segment_history 表中时，暂存在这里。 它通常仅包含数据几分钟时间。
• segment_history 是一个常规表， 用于存储历史内存分配指标。 它已预先设置为按月分区。 分区会根据需要以两个月为增量自动添加。

每个特定 segment 实例通过 hostname 和 dbid (gp_segment_configuration 系统目录表中的 segment 唯一标识) 定义.

参见 memory_info 视图和 dynamic_memory_info 视图了解更多主机上内存分配汇总和使用信息.

socket_stats_* 表

socket_stats_* 表存储一个 Greenplum 数据库实例中 socket 使用统计指标。 一共有三张表，所有查询表都具有相同的列:

这些表为将来使用保留，当前没有填充信息。

• socket_stats_now 是一个外部表，它的数据存储在 $MASTER_DATA_DIRECTORY/gpperfmon/data.
• socket_stats_tail 是一个外部表，它的数据存储在 $MASTER_DATA_DIRECTORY/gpperfmon/data. 这是一个过渡表，当数据已经从 socket_stats_now 中清除，但还没有提交到 socket_stats_history中时，暂存在这里。它通常仅包含数据几分钟时间。
• socket_stats_history 是一个常规表，用于存储 socket 历史统计指标。 它已预先设置为按月分区。分区会根据需要以两个月为增量自动添加。

system_* 表

system_* 表存储系统使用指标。 这里一共有三张表，每张表都具有相同的结构(列):

• system_now 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 在数据从 gpperfmon 数据采集代理程序获得以后，自动提交到 system_history 表之前， 当前系统使用指标数据存储在 system_now 表中。
• system_tail 是一个外部表, 其数据文件位于 $MASTER_DATA_DIRECTORY/gpperfmon/data. 它是一个过渡表，当数据已经从 system_now 中清除，但还没有提交到 system_history 表中时，暂存在这里。它通常仅包含数据几分钟时间。
• system_history 是一个常规表， 用于存储历史系统使用指标。 它已预先设置为按月分区。 分区会根据需要以两个月为增量自动添加。

dynamic_memory_info 视图

dynamic_memory_info 视图展示一个 segment 主机上所有 segment 实例已用内存和可用动态内存的总和。 动态内存指 Greenplum 数据库实例在启动取消进程前， 允许一个 segment 实例上查询进程使用的内存(超过该数量则启动取消进程)。 这个限制有当前所使用的资源管理方案决定 (基于资源组或基于资源队列), 按每个 segment 进行评估.

memory_info 视图

memory_info 视图展示 system_history 表和 segment_history 表中的每个主机上的内存信息. 它允许管理员比较 segment 主机上的总可以内存, 总使用内存, 以及查询进程已使用的动态内存.

gpperfmon_install安装gpperfmon数据库

安装Greenplum Command Center使用的gpperfmon数据库， 并可选择启用数据收集代理。

概要

安装

gpcc(Greenplum Command Center Console)是 greenplum 的常用监控平台，在安装了gpcc后才有gpperfmon_install程序。

在开始 configure 时需要添加 --enable-gpperfmon，
比如:

之后安装完毕后会存在文件 $GPHOME/bin/gpperfmon_install

gpperfmon_install 是个 python 脚本。

描述

gpperfmon_install工具自动执行启用数据收集代理程序所需的步骤。 gpperfmon_install 是个 python 脚本。

用户必须是Greenplum数据库系统用户（gpadmin）才能运行此工具。 --port选项是必须的。使用--enable选项时， 还需要--password选项。使用--port选项来 提供Greenplum数据库的Master实例的端口。如果使用--enable选项， 必须在工具完成后重新启动Greenplum数据库。

在没有--enable选项时，此工具只创建gpperfmon 数据库（用于存储由数据收集代理收集的系统度量的数据库）。在使用--enable 选项运行时，该工具还会运行启用性能监视器数据收集代理所需的以下附加任务：

1. 在Greenplum数据库中创建gpmon超级用户角色。 数据收集代理需要连接到数据库并写入数据。gpmon超级用户角色默认 使用MD5加密口令认证。 使用--password选项来设置gpmon 超级用户的口令。

2. 更新$MASTER_DATA_DIRECTORY/pg_hba.conf文件。 该工具将这些行添加到基于主机的认证文件（pg_hba.conf）中：

   local gpperfmon gpmon md5 host all gpmon 127.0.0.1/28 md5 host all gpmon ::1/128 md5

   1 2 3

   local      gpperfmon     gpmon                 md5            host       all           gpmon  127.0.0.1/28   md5            host       all           gpmon  ::1/128        md5

   第二和第三行的host项，让gpmon能访问 所有Greenplum数据库。

   Note: 可能有必要在运行gpperfmon_install工具以限制 gpmon角色访问数据库或更改身份验证方法之后再编辑 pg_hba.conf文件中的行。运行gpstop -u重新加载 Greenplum数据库的pg_hba.conf文件。

   • 要将gpmon的访问限制为仅访问gpperfmon数据库， 编辑pg_hba.conf文件中host项。对于 gpmon用户，将第二个字段从all更改为 gpperfmon：

     local gpperfmon gpmon md5 host gpperfmon gpmon 127.0.0.1/28 md5 host gpperfmon gpmon ::1/128 md5

     1 2 3

     local      gpperfmon     gpmon                  md5                host       gpperfmon     gpmon    127.0.0.1/28  md5                host       gpperfmon     gpmon    ::1/128       md5

   • gpperfmon_install工具采用默认的MD5认证方法。Greenplum数据库可以 选择性地配置为使用SHA-256哈希算法来计算保存在系统目录中的口令哈希值。这与MD5认证方法 不兼容，MD5认证方法在系统目录中需要MD5哈希或明文口令。 因此，如果在数据库中启用了SHA-256哈希算法，则必须在运行gpperfmon_install 工具后编辑pg_hba.conf文件。对于host项，将 gpmon角色的身份认证从md5改为 password：

     local gpperfmon gpmon md5 host all gpmon 127.0.0.1/28 password host all gpmon ::1/128 password

     1 2 3

     local      gpperfmon     gpmon                 md5                  host       all           gpmon  127.0.0.1/28   password                  host       all           gpmon  ::1/128        password

     password认证方法提交用户的明文口令进行验证，不应在不可信的网络上使用。 请参阅Greenplum数据库管理员指南中的“保护Greenplum数据库中的密码”。

3. 更新口令文件(.pgpass)。为了允许数据收集代理作为 gpmon角色进行连接而无需口令提示，用户必须拥有一个包含gpmon 用户项的口令文件。该工具将以下项添加到用户的口令文件（如果该文件不存在，该工具将创建它）：

   *:5432:gpperfmon:gpmon:gpmon_password

   1	*:5432:gpperfmon:gpmon:gpmon_password

   如果用户的口令文件不在默认位置(~/.pgpass)，使用--pgpass 选项指定文件位置。

4. 设置Greenplum Command Center的服务器配置参数。数据收集代理必须启用 以下参数才能开始收集数据。该工具在Greenplum数据库的postgresql.conf 配置文件中设置以下参数：

   • gp_enable_gpperfmon=on (在集群中所有的postgresql.conf 文件中)
   • gpperfmon_port=8888 (在集群中所有的postgresql.conf文件中)
   • gp_external_enable_exec=on (在Master的 postgresql.conf文件中)

   数据收集代理可以通过在gpperfmon.conf配置文件中设置参数进行配置。 参阅数据收集代理配置获取更多详细信息。

选项

--enable

除了创建gpperfmon数据库外，还执行启用数据收集代理所需的附加步骤。 指定--enable时，工具还将创建并配置gpmon超级用户帐户， 并在postgresql.conf文件中设置Command Center服务器配置参数。

--password gpmon_password

如果必须指定了--enable。设置gpmon超级用户的口令。 如果未指定--enable则不允许使用。

--port gpdb_port

必需。指定Greenplum数据库Master的连接端口。

--pgpass path_to_file

在--enable选项被指定时可选。如果口令文件不在~/.pgpass 的默认位置，则这个选项指定口令文件的位置。

--verbose

将日志记录级别设置为详细。

--help | -h | -?

显示在线帮助。

数据收集代理配置

$MASTER_DATA_DIRECTORY/gpperfmon/conf/gpperfmon.conf文件存储数据收集代理的配置 参数。要使这些选项的配置更改生效，必须保存gpperfmon.conf然后重新启动Greenplum数据库 服务器（gpstop -r)。

gpperfmon.conf文件包含以下配置参数。

注解

gpperfmon数据库和Greenplum Command Center需要gpmon角色。 在创建gpperfmon数据库和gpmon角色后，用户可以更改 gpmon角色的口令并更新Greenplum Command Center信息用来连接到gpperfmon 数据库：

1. 以超级用户身份登录到Greenplum数据库，并使用ALTER ROLE命令更改 gpmon的口令。

   # ALTER ROLE gpmon WITH PASSWORD 'new_password' ;

   1	# ALTER ROLE gpmon WITH PASSWORD 'new_password' ;

2. 更新Greenplum Command Center使用的.pgpass文件中的口令。默认文件位置是gpadmin 的主目录（~/.pgpass）。.pgpass文件包含一行gpmon口令。

   *:5432:gpperfmon:gpmon:new_password

   1	*:5432:gpperfmon:gpmon:new_password

3. 使用Command Center的gpcmdr工具重新启动Greenplum Command Center。

   $ gpcmdr --restart

   1	$ gpcmdr --restart

gpperfmon监控系统在启动后需要一些初始化。监控信息在几分钟后出现， 而不是在安装和启动gpperfmon系统之后立即出现。

示例

只创建gpperfmon数据库：

创建gpperfmon数据库，创建gpmon超级用户， 并启用数据收集代理：

参考

https://www.bookstack.cn/read/greenplum-admin_guide-6.0-zh/aec5ff4173314783.md

https://www.bookstack.cn/read/greenplum-admin_guide-6.0-zh/42a7963b02d03326.md