合 PG高可用集群之Patroni + etcd + HAProxy + keepalived + Prometheus + Grafana监控 部署

简介

使用postgresql + etcd + patroni + haproxy + keepalived可以实现PG的高可用集群，其中，以postgresql做数据库，Patroni监控本地的PostgreSQL状态，并将本地PostgreSQL信息/状态写入etcd来存储集群状态，所以，patroni与etcd结合可以实现数据库集群故障切换（自动或手动切换），而haproxy可以实现数据库读写分离+读负载均衡（通过不同端口实现），keepalived实现VIP跳转，对haproxy提供了高可用，防止haproxy宕机。

Etcd用于Patroni节点之间共享信息。Patroni监控本地的PostgreSQL状态。如果主库(Primary)故障，Patroni把一个从库(Standby)拉起来，作为新的主(Primary)数据库， 如果一个故障PostgreSQL被抢救过来了，能够重新自动或手动加入集群。

Patroni基于Python开发的模板，结合DCS(Distributed Configuration Store，例如 ZooKeeper, etcd, Consul )可以定制PostgreSQL高可用方案。Patroni接管PostgreSQL数据库的启停，同时监控本地的PostgreSQL数据库，并将本地的PostgreSQL数据库信息写入DCS。Patroni的主备端是通过是否能获得 leader key 来控制的，获取到了leader key的Patroni为主节点，其它的为备节点。

其中Patroni不仅简单易用而且功能非常强大。

• 支持自动failover和按需switchover

• 支持一个和多个备节点

• 支持级联复制

  本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务，私聊QQ646634621或微信db_bao，谢谢！

• 支持同步复制，异步复制

• 支持同步复制下备库故障时自动降级为异步复制（功效类似于MySQL的半同步，但是更加智能）

• 支持控制指定节点是否参与选主，是否参与负载均衡以及是否可以成为同步备机

• 支持通过pg_rewind自动修复旧主

• 支持多种方式初始化集群和重建备机，包括pg_basebackup和支持wal_e，pgBackRest，barman等备份工具的自定义脚本

• 支持自定义外部callback脚本

• 支持REST API

• 支持通过watchdog防止脑裂

• 支持k8s，docker等容器化环境部署

• 支持多种常见DCS(Distributed Configuration Store)存储元数据，包括etcd，ZooKeeper，Consul，Kubernetes

架构规划

部署规划如下:

主机	IP	组件	备注
lhrpgpatroni71	172.72.6.71	PostgreSQL 13.3 + Patroni 2.1.2	主节点，yum安装PG，pip3安装Patroni
lhrpgpatroni72	172.72.6.72	PostgreSQL 13.3 + Patroni 2.1.2	备节点1，yum安装PG，pip3安装Patroni
lhrpgpatroni73	172.72.6.73	PostgreSQL 13.3 + Patroni 2.1.2	备节点2，yum安装PG，pip3安装Patroni
lhretcd74	172.72.6.74	etcd 3.3.11	leader，yum安装etcd
lhretcd75	172.72.6.75	etcd 3.3.11	follower，yum安装etcd
lhretcd76	172.72.6.76	etcd 3.3.11	follower，yum安装etcd
lhrhaproxyka77	172.72.6.77	HAProxy 1.5.18 + keepalived 1.3.5	yum安装HAProxy + keepalived主节点
lhrhaproxyka78	172.72.6.78	HAProxy 1.5.18 + keepalived 1.3.5	yum安装HAProxy + keepalived备节点
lhrmonitor	172.72.6.79	Prometheus + Grafana + etcd brower	已内置普罗米修斯监控软件，需要配置监控PG和HAProxy，etcd浏览
	172.72.6.70	VIP	虚拟IP，在172.72.6.77和172.72.6.78之间进行漂移，附着于eth0网卡

架构图如下：



拓扑图如下：



本文包括如下几个部分：

1、搭建1主2从的PG流复制环境
2、搭建3节点的etcd集群，并配置etcd-browser WEB可视化界面
3、patroni安装及配置实现switchover和failover故障切换
4、配置HAProxy和Keepalived实现负载均衡+读写分离
5、配置普罗米修斯（prometheus+grafana）监控PG+HAproxy+etcd集群
6、高可用测试

如果配置防火墙，需要开放的端口：

程序	端口	用途
PostgreSQL	5432	数据库监听端口
Patroni	8008	restapi监听端口
etcd	2379/2380	客户端访问端口和服务监听端口
haproxy	1080/5000/5001	Web访问端口和数据库对外服务端口
grafana	3000	Web登录端口
prometheus	9090	Web登录端口
node_exporter	9100	对外服务端口
postgres_exporter	9187	对外服务端口
haproxy_exporter	9101	对外服务端口

环境准备

-- 网卡 docker network create --subnet=172.72.6.0/24 pg-network -- pg + Patroni docker rm -f lhrpgpatroni71 docker run -d --name lhrpgpatroni71 -h lhrpgpatroni71 \ --net=pg-network --ip 172.72.6.71 \ -p 64371:5432 -p 18008:8008 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrpgall:2.0 \ /usr/sbin/init docker rm -f lhrpgpatroni72 docker run -d --name lhrpgpatroni72 -h lhrpgpatroni72 \ --net=pg-network --ip 172.72.6.72 \ -p 64372:5432 -p 28008:8008 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrpgall:2.0 \ /usr/sbin/init docker rm -f lhrpgpatroni73 docker run -d --name lhrpgpatroni73 -h lhrpgpatroni73 \ --net=pg-network --ip 172.72.6.73 \ -p 64373:5432 -p 38008:8008 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrpgall:2.0 \ /usr/sbin/init -- etcd docker rm -f lhretcd74 docker run -d --name lhretcd74 -h lhretcd74 \ --net=pg-network --ip 172.72.6.74 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrcentos76:8.5 \ /usr/sbin/init docker rm -f lhretcd75 docker run -d --name lhretcd75 -h lhretcd75 \ --net=pg-network --ip 172.72.6.75 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrcentos76:8.5 \ /usr/sbin/init docker rm -f lhretcd76 docker run -d --name lhretcd76 -h lhretcd76 \ --net=pg-network --ip 172.72.6.76 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrcentos76:8.5 \ /usr/sbin/init -- HAProxy + keepalived docker rm -f lhrhaproxyka77 docker run -d --name lhrhaproxyka77 -h lhrhaproxyka77 \ --net=pg-network --ip 172.72.6.77 \ -p 11080:1080 -p 15000-15001:5000-5001 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrcentos76:8.5 \ /usr/sbin/init docker rm -f lhrhaproxyka78 docker run -d --name lhrhaproxyka78 -h lhrhaproxyka78 \ --net=pg-network --ip 172.72.6.78 \ -p 21080:1080 -p 25000-25001:5000-5001 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrcentos76:8.5 \ /usr/sbin/init -- 监控 docker rm -f lhrmonitor docker run -d --name lhrmonitor -h lhrmonitor \ --net=pg-network --ip 172.72.6.79 \ -p 23389:3389 -p 29090:9090 -p 29093:9093 -p 23000:3000 -p 28000:8000 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrprometheus:1.0 \ /usr/sbin/init

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76

-- 网卡 docker network create --subnet=172.72.6.0/24 pg-network   -- pg + Patroni docker rm -f lhrpgpatroni71 docker run -d --name lhrpgpatroni71 -h lhrpgpatroni71 \   --net=pg-network --ip 172.72.6.71 \   -p 64371:5432 -p 18008:8008 \   -v /sys/fs/cgroup:/sys/fs/cgroup \   --privileged=true lhrbest/lhrpgall:2.0 \   /usr/sbin/init   docker rm -f lhrpgpatroni72 docker run -d --name lhrpgpatroni72 -h lhrpgpatroni72 \   --net=pg-network --ip 172.72.6.72 \   -p 64372:5432 -p 28008:8008 \   -v /sys/fs/cgroup:/sys/fs/cgroup \   --privileged=true lhrbest/lhrpgall:2.0 \   /usr/sbin/init   docker rm -f lhrpgpatroni73 docker run -d --name lhrpgpatroni73 -h lhrpgpatroni73 \   --net=pg-network --ip 172.72.6.73 \   -p 64373:5432 -p 38008:8008 \   -v /sys/fs/cgroup:/sys/fs/cgroup \   --privileged=true lhrbest/lhrpgall:2.0 \   /usr/sbin/init   --  etcd docker rm -f lhretcd74 docker run -d --name lhretcd74 -h lhretcd74 \   --net=pg-network --ip 172.72.6.74 \   -v /sys/fs/cgroup:/sys/fs/cgroup \   --privileged=true lhrbest/lhrcentos76:8.5 \   /usr/sbin/init   docker rm -f lhretcd75 docker run -d --name lhretcd75 -h lhretcd75 \   --net=pg-network --ip 172.72.6.75 \   -v /sys/fs/cgroup:/sys/fs/cgroup \   --privileged=true lhrbest/lhrcentos76:8.5 \   /usr/sbin/init   docker rm -f lhretcd76 docker run -d --name lhretcd76 -h lhretcd76 \   --net=pg-network --ip 172.72.6.76 \   -v /sys/fs/cgroup:/sys/fs/cgroup \   --privileged=true lhrbest/lhrcentos76:8.5 \   /usr/sbin/init   -- HAProxy + keepalived docker rm -f lhrhaproxyka77 docker run -d --name lhrhaproxyka77 -h lhrhaproxyka77 \   --net=pg-network --ip 172.72.6.77 \   -p 11080:1080 -p 15000-15001:5000-5001 \   -v /sys/fs/cgroup:/sys/fs/cgroup \   --privileged=true lhrbest/lhrcentos76:8.5 \   /usr/sbin/init   docker rm -f lhrhaproxyka78 docker run -d --name lhrhaproxyka78 -h lhrhaproxyka78 \   --net=pg-network --ip 172.72.6.78 \   -p 21080:1080 -p 25000-25001:5000-5001 \   -v /sys/fs/cgroup:/sys/fs/cgroup \   --privileged=true lhrbest/lhrcentos76:8.5 \   /usr/sbin/init   -- 监控 docker rm -f lhrmonitor docker run -d --name lhrmonitor -h lhrmonitor \ --net=pg-network --ip 172.72.6.79 \ -p 23389:3389 -p 29090:9090 -p 29093:9093 -p 23000:3000 -p 28000:8000 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrprometheus:1.0 \ /usr/sbin/init