Prometheus Rule for Alert​

Prometheus Rule功能介紹

Prometheus Rule 是用於在 Prometheus 中定義規則的 YAML 配置文件。它可以根據指定的表達式或條件對 metrics 進行匹配和計算，並在達到一定條件時生成警報或創建新的 metrics。

Prometheus Rule 的主要功能如下：

• Metrics 計算：通過表達式對符合條件的 metrics 進行匹配和計算，生成新的 metrics。
• 警報：當符合指定條件的 metrics 達到一定閾值時，生成警報。
• 規則繫結：可以為指定的 metrics 繫結指定的規則，進行自動化的警報觸發。
• 標註註釋：在生成警報時可以加上自定義的標註和註釋，方便後續的統計和分析。

通常在配合 Grafana 等圖形化界面使用時，Prometheus Rule 可以讓用戶方便的自定義需要監控的 metrics，並在 Grafana 上實現對這些 metrics 的實時監控和報警，以實現系統的實時監控和異常處理。

設定Prometheus Rule

這是一個 PrometheusRule YAML 配置文件，用於定義 Prometheus 規則，以檢測和警報指定的 metrics。

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  labels:
    name: srs-online-member
  name: srs-online-member
  namespace: stu-srs
spec:
  groups:
  - name: srs-online-member
    rules:
    - expr: sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"stu-srs",pod=~"srs-edge.+"})
        by (pod)
      labels:
        name: online-member-high
        namespace: stu-srs
        service: eventqueue
      record: stream_total_clients_by_pod
  - name: quay-alert.rules
    rules:
    - alert: online-member-full
      annotations:
        message: online-member-full {{ $labels.pod }} at {{ $value }}%
      expr: sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"stu-srs",pod=~"srs-edge.+"})
        by (pod) > 1000
      for: 5m
      labels:
        severity: warning

該文件定義了兩個規則組，每個規則組包含一個或多個規則。

第一個規則組名為 srs-online-member，包含一個規則。該規則通過表達式 sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"stu-srs",pod=~"srs-edge.+"}) by (pod) 求和符合條件的 metrics，這些 metrics 包含在 stream_clients_clients 中，該 metrics 必須滿足以下條件：在命名空間 stu-srs 中，容器名稱為 json-exporter，Pod 名稱符合正則表達式 srs-edge.+。

如果條件滿足，Prometheus 將會創建一個名為 stream_total_clients_by_pod 的時間序列，其中 pod 是標籤，值是符合條件的 Pod 名稱，這樣可以讓你在 Grafana 等圖形化界面上顯示時間序列並進行分析。

第二個規則組名為 quay-alert.rules，包含一個警報規則。該規則通過表達式 sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"stu-srs",pod=~"srs-edge.+"}) by (pod) > 1000 檢查符合條件的 metrics 是否大於 1000。如果條件滿足 5 分鐘以上，Prometheus 將會發出名為 online-member-full 的警報，並設置一些額外的標籤和注釋以便進一步分析。

設定alert規則

我們也可以在Rule裡面設定Alert的規則，當有labels的Severity為warning時，就代表這個rule為一個告警，下面是代表當pod的人數大於1000多過五分鐘時，會觸發告警

  - name: quay-alert.rules
    rules:
    - alert: online-member-full
      annotations:
        message: online-member-full {{ $labels.pod }} at {{ $value }}%
      expr: sum(stream_clients_clients{container="json-exporter", name=~".+",namespace=~"default",pod=~"my-pod.+"})
        by (pod) > 1000
      for: 5m
      labels:
        severity: warning

可以在Prometheus Web UI的Alert頁籤裡找到這個設定值​