Der kombinierte Einsatz von Elasticsearch, Logstash und Kibana ist allgemein bekannt unter dem Begriff ELK Stack. In diesem Artikel erkläre ich kurz, was die Aufgabe der einzelnen Tools ist, wer sie einsetzt und wann deren Einsatz sinnvoll ist.
Zentralisiertes Logging
Zentralisiertes Logging ist sinnvoll, wenn man über einen zentralen Ort auf alle Logdateien zugreifen möchte, um Server- oder Applikationsprobleme zu identifizieren. In größeren Unternehmen oder Entwicklungsprojekten ist das zentralisierte Logging von Serverumgebungen mit mehreren Maschinen bereits Alltag. Vor allem, wenn man normalen Entwicklern aus Sicherheitsgründen keinen Zugriff auf die Server zum Auslesen der Logdateien gewähren kann / darf.
Mit Hilfe von Logstash parsed man seine Daten direkt in den ElasticSearch Node. ElasticSearch geht dann entsprechend mit den Daten um, welche mit Unterstützung von Kibana für den Anwender in anpsrechender, verständlicher Form visualisiert werden.
Was ist Elasticsearch
Elasticsearch ist ein schemaloser, RESTful Suchservice, welcher beliebig skaliert und einfach einfach ist, das zeigt schon die Installation. Projekte wie beispielsweise GitHub, Soundcloud oder Xing setzen Elasticsearch schon seit langem erfolgreich ein. Auch in den von uns betreuten Kundenprojekten ist Elasticsearch immer häufiger ein Thema.
Was ist Logstash
Logstash ist eine Software zur zentralen Sammlung und Anzeige von Log-Daten. Dabei kann Logstash verschiedenste Eingabeformate aufnehmen, filtern und einheitlich in einer Datenbank wie Elasticsearch ablegen. Darüber hinaus bietet Logstash mit Kibana ein benuzterfreundliches Webfrontend zur Anzeige und Filterung der Logs.
Was ist Kibana
Kibana ist ein GUI Tool (= grafische Benutzeroberfläche), welches Logs und Time-stamped Daten in Realtime visualisiert. Anhand der verschiedenen Konfigurationsmöglichkeiten kann man sich die Darstellung und Views so wie benötigt selbst definieren.
ELK Stack bei DevOps beliebt
Wer als DevOp in einem größeren Unternehmen tätig ist, wird früher oder später mit dem ELK Stack konfrontiert werden, wenn er oder eine übergeordnete Person wissen möchte, wie es um die Unternehmensdaten steht. Dann ist es notwendig, dass die vielen verschiedenen Logdaten auf einer zentralen Instanz sinnvoll aufbereitet, gefilter und benutzerfreundlich ausgegeben und ausgewertet werden. Dazu werden die folgenden drei Komponenten eingesetzt:
- Elasticsearch für die Suche und Datenanalyse
- Logstash für zentralisiertes Logging und Parsing
- Kibana zur ansprechenden Visualisierung der Daten
Wer mehr Informationen zu Logstash oder einer der anderen Komponenten benötigt, kann sich unter den genannten URLs einlesen. Gerne stehen wir auch bei der Installation und Einführung der Systeme in Ihr Unternehmen bereit.