Prometheus Rule for Alert

Prometheus Rule功能介紹

Prometheus Rule 是用於在 Prometheus 中定義規則的 YAML 配置文件。它可以根據指定的表達式或條件對 metrics 進行匹配和計算，並在達到一定條件時生成警報或創建新的 metrics。

Prometheus Rule 的主要功能如下：

Metrics 計算：通過表達式對符合條件的 metrics 進行匹配和計算，生成新的 metrics。
警報：當符合指定條件的 metrics 達到一定閾值時，生成警報。
規則繫結：可以為指定的 metrics 繫結指定的規則，進行自動化的警報觸發。
標註註釋：在生成警報時可以加上自定義的標註和註釋，方便後續的統計和分析。

通常在配合 Grafana 等圖形化界面使用時，Prometheus Rule 可以讓用戶方便的自定義需要監控的 metrics，並在 Grafana 上實現對這些 metrics 的實時監控和報警，以實現系統的實時監控和異常處理。

設定Prometheus Rule

這是一個 PrometheusRule YAML 配置文件，用於定義 Prometheus 規則，以檢測和警報指定的 metrics。

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  labels:
    name: srs-online-member
  name: srs-online-member
  namespace: stu-srs
spec:
  groups:
  - name: srs-online-member
    rules:
    - expr: sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"stu-srs",pod=~"srs-edge.+"})
        by (pod)
      labels:
        name: online-member-high
        namespace: stu-srs
        service: eventqueue
      record: stream_total_clients_by_pod
  - name: quay-alert.rules
    rules:
    - alert: online-member-full
      annotations:
        message: online-member-full {{ $labels.pod }} at {{ $value }}%
      expr: sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"stu-srs",pod=~"srs-edge.+"})
        by (pod) > 1000
      for: 5m
      labels:
        severity: warning

該文件定義了兩個規則組，每個規則組包含一個或多個規則。

第一個規則組名為 srs-online-member，包含一個規則。該規則通過表達式 sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"stu-srs",pod=~"srs-edge.+"}) by (pod) 求和符合條件的 metrics，這些 metrics 包含在 stream_clients_clients 中，該 metrics 必須滿足以下條件：在命名空間 stu-srs 中，容器名稱為 json-exporter，Pod 名稱符合正則表達式 srs-edge.+。

如果條件滿足，Prometheus 將會創建一個名為 stream_total_clients_by_pod 的時間序列，其中 pod 是標籤，值是符合條件的 Pod 名稱，這樣可以讓你在 Grafana 等圖形化界面上顯示時間序列並進行分析。

第二個規則組名為 quay-alert.rules，包含一個警報規則。該規則通過表達式 sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"stu-srs",pod=~"srs-edge.+"}) by (pod) > 1000 檢查符合條件的 metrics 是否大於 1000。如果條件滿足 5 分鐘以上，Prometheus 將會發出名為 online-member-full 的警報，並設置一些額外的標籤和注釋以便進一步分析。

設定alert規則

我們也可以在Rule裡面設定Alert的規則，當有labels的Severity為warning時，就代表這個rule為一個告警，下面是代表當pod的人數大於1000多過五分鐘時，會觸發告警

  - name: quay-alert.rules
    rules:
    - alert: online-member-full
      annotations:
        message: online-member-full {{ $labels.pod }} at {{ $value }}%
      expr: sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"default",pod=~"my-pod.+"})
        by (pod) > 1000
      for: 5m
      labels:
        severity: warning

可以在Prometheus Web UI的Alert頁籤裡找到這個設定值

Claire's Blog