Zum Inhalt

Monitoring verstehen

Monitoring beantwortet zwei Fragen: Wie geht es meinen Servern gerade? und Erfährt jemand davon, wenn etwas kaputtgeht? Prometheus ist dafür auf Linux-Servern die verbreitetste Open-Source-Lösung.

Wie Prometheus arbeitet

 web01, db01, tuxdex-srv          tuxdex-srv                         tuxdex-srv
┌──────────────────────┐  holt   ┌──────────────────────┐  Alarme  ┌──────────────┐  Mail
│ node_exporter :9100  │ ──────> │ Prometheus :9090     │ ───────> │ Alertmanager │ ─────> Admin
│ /metrics             │         │ speichert Zeitreihen,│          │ :9093        │
└──────────────────────┘         │ wertet Regeln aus    │          └──────────────┘
                                 └──────────────────────┘
                                            │
                                            └──> Grafana (Dashboards, optional)
Teil Aufgabe
Exporter Bietet Metriken als Text auf einer HTTP-Seite /metrics an. Der Node Exporter deckt den Server selbst ab: CPU, RAM, Platten, Netzwerk
Prometheus Holt alle 15 Sekunden die Werte aller Ziele ab (Scrape), speichert sie und wertet Alarmregeln aus
Alertmanager Nimmt ausgelöste Alarme an, fasst sie zusammen, schaltet sie auf Wunsch stumm und verschickt Mails oder Chatnachrichten
Grafana Zeichnet Dashboards aus den Daten in Prometheus; gehört nicht zu Prometheus selbst

Pakete, Dienste und Ports

Debian Ubuntu RHEL Arch
Prometheus prometheus prometheus nicht in den Paketquellen prometheus
Node Exporter prometheus-node-exporter prometheus-node-exporter nicht in den Paketquellen prometheus-node-exporter
Alertmanager prometheus-alertmanager prometheus-alertmanager nicht in den Paketquellen alertmanager
Nach der Installation gestartet ja ja siehe unten nein: systemctl enable --now

Unter RHEL nimmst du die Release-Archive von prometheus.io mit eigenen systemd-Units oder die Container-Images prom/prometheus, prom/node-exporter und prom/alertmanager.

Port Dienst
9090 Prometheus (Weboberfläche und API)
9093 Alertmanager
9100 Node Exporter

Eine Scrape-Konfiguration

/etc/prometheus/prometheus.yml (gekürzt):

global:
  scrape_interval: 15s
  evaluation_interval: 15s

alerting:
  alertmanagers:
    - static_configs:
        - targets: ['localhost:9093']

rule_files:
  - /etc/prometheus/rules/*.yml

scrape_configs:
  - job_name: node
    static_configs:
      - targets: ['localhost:9100', '192.0.2.21:9100', '192.0.2.22:9100']

Nach einer Änderung: promtool check config, dann sudo systemctl reload prometheus.

PromQL in fünf Abfragen

Abfrage Ergebnis
up 1 für jedes erreichbare Ziel, 0 für die anderen
up == 0 Nur die Ziele, die nicht erreichbar sind
node_load1 Load Average der letzten Minute, pro Server
100 * (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) RAM-Auslastung in Prozent
rate(node_network_receive_bytes_total[5m]) Empfangene Bytes pro Sekunde, gemittelt über 5 Minuten

Du gibst sie in der Weboberfläche auf Port 9090 ein oder führst sie mit promtool query instant aus.

Eine Alarmregel

/etc/prometheus/rules/node.yml:

groups:
  - name: node
    rules:
      - alert: InstanceDown
        expr: up == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }} is down"

for: 2m heißt: Die Bedingung muss zwei Minuten lang zutreffen, bevor der Alarm auslöst (firing). Das verhindert Mails wegen eines kurzen Aussetzers. Wer benachrichtigt wird, entscheidet danach der Alertmanager; siehe amtool.

Das Monitoring überwachen

Fällt der Prometheus-Server selbst aus, kommt kein Alarm. Eine einfache Prüfung von außen (ein zweites Prometheus, ein Uptime-Dienst oder ein Cronjob mit curl auf /-/healthy) schließt diese Lücke.

Die Ports nicht offen ins Netz stellen

Die Metriken verraten viel über deine Server: Versionen, Einhängepunkte, Dienste. Erlaube die Ports 9100 und 9090 nur vom Prometheus-Server und aus deinem Admin-Netz.