使用Prometheus+Grafana对StarRocks数据库监控

0    190    1

Tags:

👉 本文共约14870个字,系统预计阅读时间或需56分钟。

简介

StarRocks 提供两种监控报警的方案。企业版用户可以使用内置的 StarRocksManager,其自带的 Agent 从各个 Host 采集监控信息,上报至 Center Service,然后做可视化展示。StarRocksManager 提供邮件和 Webhook 的方式发送报警通知。如果您有二次开发需求,需要自行搭建部署监控服务,也可以使用开源 Prometheus+Grafana 方案,StarRocks 提供了兼容 Prometheus 的信息采集接口,可以通过直接连接 BE 或 FE 的 HTTP 端口来获取集群的监控信息。

使用 StarRocksManager

StarRocks Manager 为企业版功能,目前不提供单独下载。

StarRocksManager 的监控可以分成 集群节点 两个维度。

您可以在集群页面可以看到下列监控项:

  • 集群性能监控
    • CPU 使用率
    • 内存使用
    • 磁盘 I/O 使用率,磁盘使用量、磁盘空闲量
    • 发包带宽、收包带宽,发包数、收包数
  • 集群查询监控
    • QPS
    • 平均响应时间
    • 50/75/90/95/99/999 分位响应时间
  • 数据导入量监控
    • 发起导入次数
    • 导入行数
    • 导入数据量
  • 数据组合并(Compaction)监控
    • 基线合并数据组速率
    • 基线合并数据量
    • 增量合并数据组速率
    • 增量合并数据量

节点页面可以看到所有 BE/FE 的机器列表和状态等基础信息。

使用Prometheus+Grafana对StarRocks数据库监控

点击节点链接可以看到每一个节点的详细监控信息。在右侧的节点列表中选择多个节点同时展示,也可以在上方的下拉框中选择各类指标。

使用Prometheus+Grafana对StarRocks数据库监控

使用 Prometheus+Grafana

您可以使用 Prometheus 作为 StarRocks 监控数据存储方案,并使用 Grafana 作为可视化组件。

Prometheus 是一个拥有多维度数据模型的、灵活的查询语句的时序数据库。它可以通过 Pull 或 Push 采集被监控系统的监控项,存入自身的时序数据库中。并且通过丰富的多维数据查询语言,满足用户的不同需求。

Grafana 是一个开源的 Metric 分析及可视化系统。支持多种数据源,详情可参考官网文档。通过对应的查询语句,从数据源中获取展现数据。通过灵活可配置的 Dashboard,快速的将这些数据以图表的形式展示给用户。

本文档仅提供基于 Prometheus 和 Grafana 实现的一种 StarRocks 可视化监控方案,原则上不维护和开发这些组件。更多详细的介绍和使用,请参考对应的官网文档。

监控架构

使用Prometheus+Grafana对StarRocks数据库监控

Prometheus 通过 Pull 方式访问 FE 或 BE 的 Metric 接口,然后将监控数据存入时序数据库。

用户可以通过 Grafana 配置 Prometheus 为数据源,自定义绘制 Dashboard。

部署 Prometheus

下载并安装 Prometheus

1.Prometheus 官网下载最新版本的 Prometheus。

以下示例以 prometheus-2.29.1.linux-amd64 版本为例。

配置 Prometheus

prometheus.yml 中添加 StarRocks 监控相关的配置。

启动 Prometheus

通过以下命令启动 Prometheus。

本人提供Oracle(OCP、OCM)、MySQL(OCP)、PostgreSQL(PGCA、PGCE、PGCM)等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!
使用Prometheus+Grafana对StarRocks数据库监控后续精彩内容已被小麦苗无情隐藏,请输入验证码解锁本站所有文章!
验证码:
请先关注本站微信公众号,然后回复“验证码”,获取验证码。在微信里搜索“DB宝”或者“www_xmmup_com”或者微信扫描右侧二维码都可以关注本站微信公众号。

标签:

Avatar photo

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复

嘿,我是小麦,需要帮助随时找我哦。
  • 18509239930
  • 个人微信

  • DB宝
  • 个人邮箱
  • 点击加入QQ群
  • 个人微店

  • 回到顶部