Zum Inhalt

Suchserver verstehen

Shops, Wikis, Log-Plattformen und viele Anwendungen nutzen einen Suchserver, um Text in Millionen von Dokumenten in Millisekunden zu finden. Die beiden verbreiteten sind Elasticsearch und OpenSearch.

Elasticsearch oder OpenSearch?

2021 hat Elastic die Lizenz von Elasticsearch geändert. Amazon hat daraufhin die letzte Open-Source-Version als OpenSearch abgespalten. Beide arbeiten gleich und teilen den größten Teil der REST-API.

Elasticsearch OpenSearch
Gepflegt von Elastic OpenSearch Software Foundation (Linux Foundation)
Weboberfläche Kibana OpenSearch Dashboards
Sicherheit eingebaut, seit Version 8 standardmäßig aktiv Security-Plugin, standardmäßig aktiv
Admin-Benutzer elastic admin
Werkzeuge in bin/ elasticsearch-reset-password, elasticsearch-keystore, elasticsearch-plugin opensearch-keystore, opensearch-plugin; Benutzer im Security-Plugin

Installation und Pfade

Keiner von beiden steckt in den Paketquellen der Distributionen. Nimm die Paketquelle des Herstellers oder ein Container-Image.

Debian Ubuntu RHEL Arch
Elasticsearch APT-Paketquelle von Elastic APT-Paketquelle von Elastic YUM-Paketquelle von Elastic AUR oder Container
OpenSearch APT-Paketquelle von OpenSearch APT-Paketquelle von OpenSearch YUM-Paketquelle von OpenSearch AUR oder Container
Was Elasticsearch (Paket) OpenSearch (Paket)
Programme /usr/share/elasticsearch/bin/ /usr/share/opensearch/bin/
Konfiguration /etc/elasticsearch/elasticsearch.yml /etc/opensearch/opensearch.yml
Heap-Größe /etc/elasticsearch/jvm.options.d/*.options /etc/opensearch/jvm.options
Daten und Logs /var/lib/elasticsearch/, /var/log/elasticsearch/ /var/lib/opensearch/, /var/log/opensearch/
Dienst elasticsearch opensearch

Die Programme liegen nicht im PATH. Ruf sie mit vollem Pfad auf, etwa sudo /usr/share/elasticsearch/bin/elasticsearch-reset-password.

Port Zweck
9200 REST-API über HTTPS, für Anwendungen und Admins
9300 Kommunikation zwischen den Knoten eines Clusters

Die REST-API mit curl

Fast die ganze Verwaltung läuft über HTTP. Bei der Paketinstallation legt Elasticsearch eine eigene CA an; curl braucht deren Zertifikat:

$ curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic https://localhost:9200/_cluster/health?pretty
Anfrage Antwort
GET / Name, Version, Clustername
GET /_cluster/health?pretty Zustand des Clusters: grün, gelb oder rot
GET /_cat/indices?v Alle Indizes mit Dokumentanzahl und Größe
GET /_cat/shards?v Jeder Shard mit Zustand und Knoten
GET /_cat/nodes?v Knoten mit Heap, RAM, CPU und Last
GET /_cat/allocation?v Plattenbelegung pro Knoten
GET /_cluster/allocation/explain?pretty Warum ein Shard nicht zugewiesen ist
PUT /INDEX/_settings Einstellungen ändern, z. B. die Zahl der Replikate
DELETE /INDEX Einen Index löschen

?v ergänzt bei den _cat-APIs Spaltenüberschriften, ?pretty formatiert JSON.

Grün, gelb, rot

Zustand Bedeutung Typische Ursache
green Alle Primär-Shards und Replikate sind zugewiesen
yellow Alle Daten sind da, aber einige Replikate fehlen Ein einzelner Knoten: Replikate dürfen nicht auf demselben Knoten liegen wie ihr Primär-Shard
red Mindestens ein Primär-Shard fehlt: Daten sind nicht verfügbar Knoten ausgefallen, Platte voll, kaputter Index

Auf einem einzelnen Server ist gelb normal. Setz für deine Indizes "number_of_replicas": 0, dann wird der Cluster grün.

Speicher und Systemeinstellungen

Einstellung Empfehlung
Heap (-Xms, -Xmx) Höchstens die Hälfte des RAM, nie mehr als etwa 31 GB; beide Werte gleich
vm.max_map_count Mindestens 262144, gesetzt mit sysctl; die Pakete setzen es selbst
Swap Aus oder bootstrap.memory_lock: true
Freier Plattenplatz Über 15 %: ab 85 % keine neuen Shards, ab 95 % werden Indizes schreibgeschützt

Snapshots statt Dateikopien

Sichere Indizes mit der Snapshot-API in ein Repository (path.repo in der Konfiguration oder S3). Eine Kopie von /var/lib/elasticsearch bei laufendem Dienst ergibt ein inkonsistentes Backup.

Port 9200 nicht offen ins Netz stellen

Alte Elasticsearch-Versionen ohne Passwort sind ein klassisches Datenleck. Auch mit aktiver Sicherheit erlaubst du Port 9200 nur für die Anwendungsserver.