PG使用插件pg_prewarm实现数据预加热

0    694    7

👉 本文共约3304个字,系统预计阅读时间或需13分钟。

在MySQL中,在配置参数innodb_buffer_pool_dump_at_shutdown=1后,若在正常关闭MySQL时,就可以将内存缓冲区的信息 dump到一个文件内部(该文件名为ib_buffer_pool,为MySQL 5.6新特性),然后启动时通过加载该文件内部的块(需要配置innodb_buffer_pool_load_at_startup=1),实现对内存缓冲区的预热,从而提高数据库重启后的查询性能。

在PostgreSQL中,也有这种功能,只需要安装pg_prewarm插件即可。更好的消息是,从PG 9.4开始,pg_prewarm插件融入了 PostgreSQL发行版中,无需下载编译安装程序。

安装插件pg_prewarm

主要函数pg_prewarm的参数含义如下:

  • regclass:要做prewarm的表名

  • mode:prewarm模式。prefetch表示异步地将数据预加载到os cache;read表示同步预取,最终结果和 prefetch 一样,但它是同步方式,支持所有平台;buffer表示同步读入PG的shared buffer,默认为 buffer

  • fork:relation fork的类型。一般用main,其他类型有visibilitymap和fsm,默认为main

  • first_block & last_block:first_block 表示开始 prewarm 的数据块,last_block 表示最后 prewarm 的数据块。表的first_block=0,last_block可通过pg_class的relpages字段获得

  • RETURNS int8:函数返回pg_prewarm处理的block数目(整型),pg_prewarm 函数返回的是加载后的数据块数

  • autoprewarm_dump_now 表示在服务器启动期间没有配置自动预热功能时,可以使用此命令启动自动预热工作程序。

  • autoprewarm_start_worker 立马对 autoprewarm. blocks文件进行更新,如果自动预热进程当前没有运行,那么希望在下次重启之后运行它,这样做会很有用。

pg_prewarm使用

pg_prewarm 模块可以将数据预先加载到数据库缓存,也可以预先加载到操作系统缓存

所以,预热有两种方式,

一种是手动调用pg_prewarm函数,用于将当前所需的数据装入内存。

另一种是自动执行,要要设置shared_preload_libraries参数。设置完毕后,系统将自动运行一个后台工作进程postgres: autoprewarm master,它定期将shared_buffers中的内容写入到文件 autoprewarm. blocks中,以便在重新启动数据库后,快速加载该文件内部的数据块,实现预热功能。

配置shared_preload_libraries参数:

本人提供Oracle、MySQL、PG等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!

注意:

1、对于shared_preload_libraries,多个参数不要整体放在单引号中,可以每个单引号内一个参数,例如:

2、变量shared_preload_libraries指定一个或者多个要在服务器启动时预载入的共享库。它包含一个由逗号分隔的库名列表,其中每个名称都会按LOAD命令的方式解析。项之间的空格会被忽略,如果需要在库名中包含空格或者逗号,请把库名放在双引号内。这个参数只能在服务器启动时设置。如果指定的库没有找到,服务器将无法启动。

3、重启数据库后可以看到多了一个进程postgres: autoprewarm master,如下所示:

文件autoprewarm.blocks:

功能测试

我们来使用虚拟机测试一下,把shared_buffers为128MB,我们创建一个75MB的表。

接下来进行全表扫描测试:

首次运行shared hit 2144,read 6053,时间需要180ms。

再运行一次shared hit 2176,read 6021。shared buffer命中有所提高,我们想把全部缓存到内存,多执行几次就行了。若要立即完成,则必须手工执行pg_prewarm函数。

手动执行后,可以看到现在全部都已经是shared_hit了,时间仅需108ms。

此时,我们再看一下我们的autoprewarm.blocks文件,这5列记录的分别是数据库的oid,表空间的oid,relfilenode,数据文件的ForkNumber和BlockNumber

下一步,我们将重新启动数据库,看看启动后,是否有预热功能。

告警日志输出:

重新启动后,您会发现日志中打印出一条的信息autoprewarm successfully prewarmed,它表示预热成功。再次执行查询,可以看到全部数据都是shared hit。

参数配置

有2个参数设置,pg_prewarm.autoprewarm表示是否启动预热功能,pg_prewarm.autoprewarm_interval表示进程将在多少秒内刷新一次至autoprewarm. blocks文件,默认情况下为300秒刷一次。

官网

http://postgres.cn/docs/13/pgprewarm.html

pg_prewarm模块提供一种方便的方法把关系 数据载入到操作系统缓冲区或者 PostgreSQL缓冲区。可以使用pg_prewarm函数手工执行预热,或者通过在shared_preload_libraries中包括pg_prewarm来自动执行预热。在后一种情况中,系统将运行一个后台工作者,它会周期性地把共享内存中的内容记录在一个名为autoprewarm.blocks的文件中,并且在重新启动后用两个后台工作者重新载入那些块。

1. 函数

第一个参数是要预热的关系。第二个参数是要使用的预热方法,下文将会 进一步讨论。第三个参数是要被预热的关系分叉,通常是main。 第四个参数是要预热的第一个块号(NULL也被接受,它等同于 零)。第五个参数是要预热的最后一个块号(NULL表示一直 预热到关系的最后一个块)。返回值是被预热的块数。

有三种可用的预热方法。prefetch会向操作系统发出异步 预取请求(如果支持异步预取),不支持异步预取则抛出一个错误。 read会读取要求范围的块。与prefetch 不同,它是同步的并且在所有平台上都被支持,但是可能较慢。buffer会把要求范围的块读入道数据库的缓冲区。

注意使用任意一种方法尝试预热比能缓存的数量更多的块 — 使用 prefetch或者read(由 OS)或者使用 buffer(由PostgreSQL ) — 将很可能导致高编号块被读入时把低编号的块从缓冲区中逐出的情况。 被预热的数据也不享受对缓冲区替换的特别保护,因此其他系统活动可能会在刚刚 被预热的块被读入后很快就将它们逐出。反过来,预热也可能把其他数据逐出缓存。 由于这些原因,预热通常在启动时最有用,那时缓冲大部分都为空。

启动主要的autoprewarm工作者。这通常将会自动发生,但是如果没有在服务器启动时配置自动预热并且用户希望在稍晚的时候启动该工作者,这个函数就能发挥作用。

立即更新autoprewarm.blocks。如果autoprewarm工作者没有运行但用户希望它在下一次重启后运行,则这个函数会很有用。返回值是写入到autoprewarm.blocks中的记录数。

2. 配置参数

  • pg_prewarm.autoprewarm (boolean)

    控制服务器是否应该运行autoprewarm工作者。默认这个参数为on。这个参数只能在服务器启动时设置。

  • pg_prewarm.autoprewarm_interval (int)

    这是更新autoprewarm.blocks的间隔。默认是300秒。如果被设置为0,该文件将不会以常规的间隔方式转储,而是只在服务器关闭时转储。

其他问题

可能有人会想:我直接将表select *全表查询一遍不就可以将数据加载到缓存中了嘛,为什么还需要使用pg_prewarm呢?因为对于大小超过shared_buffer/4的表进行全表扫描时,pg一般不会使用全部的shared_buffer,而是只使用很少一部分的shared_buffer。所以,将大表加载到缓存中不能用一个查询来直接实现的,而pg_prewarm正好可以满足这个需求。

标签:

头像

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

2 × 4 =

 

嘿,我是小麦,需要帮助随时找我哦
  • 18509239930
  • 个人微信

  • 麦老师QQ聊天
  • 个人邮箱
  • 点击加入QQ群
  • 个人微店

  • 回到顶部
返回顶部