awk¶
Verarbeitet Text Spalte für Spalte: Spalten auswählen, nach Bedingungen filtern, zählen, summieren und formatieren.

Syntax¶
awk [OPTION]... 'PROGRAMM' [DATEI]...
Ein awk-Programm besteht aus Blöcken der Form BEDINGUNG { AKTION }. Die Aktion läuft
für jede Zeile, die die Bedingung erfüllt.
Optionen¶
| Option | Beschreibung |
|---|---|
-F TRENNER |
Spaltentrenner (Standard: beliebig viele Leerzeichen und Tabs) |
-v NAME=WERT |
Eine Variable setzen, bevor das Programm startet |
-f DATEI |
Das Programm aus DATEI lesen |
Eingebaute Variablen und Blöcke:
| Element | Bedeutung |
|---|---|
$1, $2, … |
Spalte 1, 2, … der aktuellen Zeile |
$0 |
Die ganze Zeile |
$NF |
Die letzte Spalte |
NR |
Nummer der aktuellen Zeile |
NF |
Anzahl der Spalten in der aktuellen Zeile |
BEGIN { } |
Läuft einmal vor der ersten Zeile |
END { } |
Läuft einmal nach der letzten Zeile |
Beispiele¶
Bestimmte Spalten ausgeben:
awk '{print $1, $9}' /var/log/nginx/access.log | head -n 3
192.0.2.10 200
192.0.2.10 200
198.51.100.23 200
Spalte 1 ist die IP-Adresse, Spalte 9 der HTTP-Statuscode.
Nur Zeilen zeigen, die eine Bedingung erfüllen:
awk '$9 == 404 {print $1, $7}' /var/log/nginx/access.log
192.0.2.77 /wp-login.php
192.0.2.77 /.env
198.51.100.23 /favicon.ico
Alle normalen Benutzerkonten finden:
awk -F: '$3 >= 1000 && $3 < 65534 {print $1}' /etc/passwd
nox
Auf allen gängigen Distributionen beginnen normale Benutzer bei UID 1000. nobody hat die
UID 65534 und wird ausgeschlossen.
Eine Spalte aufsummieren:
awk '{sum += $10} END {printf "%.1f KB\n", sum/1024}' /var/log/nginx/access.log
20.5 KB
Das ist die gesamte Datenmenge, die nginx für die Anfragen im Log gesendet hat.
Werte pro Gruppe zählen:
awk '{count[$9]++} END {for (s in count) print s, count[s]}' /var/log/nginx/access.log | sort
200 5
302 1
404 3
Die Ausgabe formatieren:
awk -F, 'NR > 1 {printf "%-6s %s\n", $2, $3}' users.csv
nox nox@example.com
alice alice@example.com
bob bob@example.com
NR > 1 überspringt die Kopfzeile, %-6s gibt den Namen linksbündig mit 6 Zeichen aus.
Einen Durchschnitt berechnen:
awk '$9 == 200 {n++; s += $10} END {print n, s/n}' /var/log/nginx/access.log
5 4109.2
5 erfolgreiche Anfragen mit durchschnittlich 4109,2 Bytes.
Wann brauche ich das?¶
- Um Logs auszuwerten: Anfragen pro IP, Statuscode oder URL, übertragene Daten, Antwortzeiten
- Um Spalten aus Ausgaben mit unregelmäßigen Leerzeichen auszuwählen, wo
cutscheitert - Um nach Zahlenbedingungen zu filtern, etwa Benutzer mit UID ≥ 1000 oder Dateien ab einer bestimmten Größe
- Für kleine Auswertungen und Summen direkt auf der Kommandozeile
awk statt cut bei ausgerichteter Ausgabe
Die Ausgabe von Befehlen wie ps, df oder ls -l hat mehrere Leerzeichen zwischen
den Spalten. awk '{print $5}' kommt damit richtig zurecht, cut -d' ' -f5 nicht.
Einfache Anführungszeichen um das Programm
Schreib das Programm immer in einfache Anführungszeichen: awk '{print $1}'. In
doppelten Anführungszeichen ersetzt die Shell $1 durch ihre eigene Variable, bevor
awk startet, meist durch nichts.
Unterschiede zwischen Distributionen¶
| Debian | Ubuntu | RHEL | Arch | |
|---|---|---|---|---|
Standard-awk |
mawk (schnell, Grundfunktionen) |
mawk |
gawk (GNU awk, viele Extras) |
gawk |
Alle Beispiele auf dieser Seite funktionieren mit beiden. GNU-spezifische Funktionen wie
gensub(), asort() oder PROCINFO brauchen gawk. Unter Debian und Ubuntu
installierst du es mit:
sudo apt install gawk