使用Alertmanager配置管理監控報警通知：完整教程

在大型應用程序中，監控和報警是不可或缺的。它們幫助我們快速響應系統中的問題並及時加以解決。為了更好地管理監控和報警系統，我們可以使用Alertmanager。這個工具可以協調不同監控系統和報警發現，並以統一的方式發送報警通知。本文將提供完整的教程，幫助你使用Alertmanager設置和管理監控報警通知。

一、Alertmanager簡介

Alertmanager是一種開源軟件，用於管理和報警監視警報。它與Prometheus緊密集成，後者是一種流行的開源監視和警報系統。Alertmanager從多個源接收警報和通知，並根據一組配置規則來決定如何處理和發送這些警報。

因此，Alertmanager的功能可以概括為：

接收監控系統發送的警報
根據配置規則對收到的警報進行處理和去重
發送通知警報

Alertmanager支持各種通知方式，例如電子郵件、Slack、PagerDuty等。

二、Alertmanager安裝和配置

Alertmanager的安裝過程可以使用二進制文件或Docker容器的方式進行，這裡我們介紹二進制文件的方式。

Step 1: 下載Alertmanager

 wget https://github.com/prometheus/alertmanager/releases/download/v0.22.2/alertmanager-0.22.2.linux-amd64.tar.gz
 tar -xzvf alertmanager-0.22.2.linux-amd64.tar.gz
 cd alertmanager-0.22.2.linux-amd64/

Step 2: 配置Alertmanager

Alertmanager的配置文件為alertmanager.yml，默認情況下它位於安裝目錄的conf/目錄中。以下是一個簡單的配置示例，包括接收和發送警報通知的配置：

 global:
  # Smtp發送配置
  smtp_smarthost: 'smtp.qq.com:465'
  smtp_from: 'yourqqnumber@qq.com'
  smtp_auth_username: 'yourqqnumber@qq.com'
  smtp_auth_password: 'password'
  smtp_require_tls: true
 
 
route:
  group_by: ['alertname']
  # 需要發送的接收者，可以是一個數組
  receiver: 'team-sms'
 
  # 根據標籤過濾
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 1h
 
  routes:
  - receiver: 'team-sms'
    match:
      severity: 'warning'
 
receivers:
- name: 'team-sms'
  # pushover推送消息
  pushover_configs:
  - user_key: 'your user key'
    api_token: 'your api token'
  - name: 'sms-test'
    email_configs:
    - to: '1234567890@qq.com'
      require_tls: false
      send_resolved: true

在上面的示例中，我們定義了一個名為team-sms的接收者，並設置了一個Pushover配置，該配置允許將消息推送到一個移動應用程序，以及一個電子郵件配置，該配置允許將消息發送到一個電子郵件地址中。 receiver字段定義某個規則條件下將通知發送給哪個接收者。在上述的示例中，我們以warning的severity規則進行匹配。

Step 3: 啟動Alertmanager

一旦Alertmanager配置完成，我們可以通過以下命令啟動它：

./alertmanager

默認情況下，Alertmanager會監聽端口9093並接收警報通知。你可以通過瀏覽器或其他HTTP客戶端訪問localhost:9093以查看Alertmanager控制台界面。

三、警報規則配置

在這個部分，我們將設置監控規則，通過設置監控規則來觸發警報。在本示例中，我們將使用Prometheus監控Redis服務器，並創建一個警報，該警報將在Redis內存使用率超過特定閾值時觸發。

Step 1: 配置Redis監控規則

首先，我們需要在Prometheus中配置Redis監控規則，以便將Redis的內存使用率添加到Prometheus時間序列數據庫。這裡我們使用以下命令安裝redis_exporter：

wget https://github.com/oliver006/redis_exporter/releases/download/v1.12.1/redis_exporter-v1.12.1.linux-amd64.tar.gz
tar -xzvf redis_exporter-v1.12.1.linux-amd64.tar.gz
cd redis_exporter-v1.12.1.linux-amd64/

接下來，我們需要創建一個Redis Exporter systemd服務文件：

vim /etc/systemd/system/redis_exporter.service

輸入以下內容：

[Unit]
Description=Redis Exporter
After=network.target
 
[Service]
WorkingDirectory=/opt/prometheus/redis_exporter
ExecStart=/opt/prometheus/redis_exporter/redis_exporter
Restart=on-failure
TimeoutStopSec=20s
 
[Install]
WantedBy=multi-user.target

保存文件並運行以下命令啟動服務：

systemctl daemon-reload
systemctl start redis_exporter
systemctl enable redis_exporter

然後，我們需要在Prometheus中配置Redis規則，打開Prometheus配置文件/etc/prometheus/prometheus.yml，並添加以下規則：

scrape_configs:
- job_name: "redis"
  static_configs:
  - targets: ['127.0.0.1:6379']
 
  relabel_configs:
    - source_labels: [__address__]
      target_label: instance
 
    - source_labels: [__address__]
      target_label: __metrics_path__
      regex: /metrics/redis
  rules:
  - alert: HighRedisMemoryUsage
    expr: redis_mem_used_mb / redis_mem_total_mb * 100 > 75
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "High Redis memory usage"
      description: "Redis memory usage is above 75% (current value is {{ $value }}%)"

在上面的規則配置中，我們定義了一個名為HighRedisMemoryUsage的警報規則，它檢查Redis內存使用率是否超過75％並持續1分鐘。如果是，則會觸發警報並將警報通知發送給Alertmanager。

Step 2: 在Alertmanager中配置通知

我們已經在Prometheus中定義了一個警報規則，並設置了警報規則將警報發送到Alertmanager。現在，我們需要在Alertmanager中設置通知方式，以便能夠接收這些發送的警報。

在上面我們已經提供了一個Alertmanager通知配置，這裡我們將使用一種不同的通知方式進行配置：Webhook。

要配置Webhook通知，我們需要修改Alertmanager配置文件alertmanager.yml，添加以下內容：

route:
  group_by: ['alertname']
  receiver: 'webhook'
 
receivers:
- name: 'webhook'
    webhook_configs:
    - url: 'http://localhost/notify'

在上面的例子中，我們定義了一個名為webhook的接收者，並使用一個名為webhook_configs的配置屬性指定Webhook URL為http://localhost/notify。這樣，當有警報發送到Alertmanager時，它將使用HTTP POST請求將該警報的詳細信息發送到這個URL。

四、測試

現在我們已經設置好Alertmanager和Prometheus的相關配置，讓我們來測試一下。首先，我們可以通過以下命令啟動Prometheus：

nohup ./prometheus &

接下來，我們可以使用以下命令模擬警報：

redis-cli config set maxmemory 1mb

這個命令將導致Redis的內存使用率超過閾值75％。如果一切正常，你將會在Alertmanager配置的接收方式中收到警報通知。

五、總結

本文通過一個完整的示例，闡述了如何使用Alertmanager配置管理監控報警通知。我們先安裝了Alertmanager，然後在Alertmanager中設置了通知方式，最後創建了一個警報規則來確保我們的監控系統工作正常。Alertmanager與Prometheus緊密集成，並提供了許多靈活的方式來管理和通知警報。通過這篇教程，希望能夠幫助大家更好地了解Alertmanager的配置和使用。

原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hant/n/160583.html