5 Open Source Log Überwachungs- und Verwaltungstools für Linux

Wenn ein Betriebssystem wie Linux läuft, gibt es viele Ereignisse und Prozesse, die im Hintergrund laufen, um eine effiziente und zuverlässige Nutzung der Systemressourcen zu ermöglichen. Diese Ereignisse können in der Systemsoftware wie z.B. dem init– oder systemd-Prozess oder in Benutzeranwendungen wie Apache, MySQL, FTP und vielen anderen auftreten.

Um den Zustand des Systems und verschiedener Anwendungen zu verstehen und wie sie funktionieren, müssen Systemadministratoren die Protokolldateien in Produktionsumgebungen täglich überprüfen.

Man kann sich vorstellen, wie mühsam es sein kann, Protokolldateien aus verschiedenen Systembereichen und Anwendungen zu überprüfen, hier kommen Protokollierungssysteme ins Spiel. Sie helfen dabei, verschiedene Protokolldateien zu überwachen, zu überprüfen, zu analysieren und sogar Berichte zu erstellen, wie von einem Systemadministrator konfiguriert.

In diesem Artikel werden wir uns die vier am häufigsten verwendeten Open-Source-Protokollverwaltungssysteme in Linux heute ansehen. Das Standardprotokoll für die Protokollierung in den meisten, wenn nicht allen, Distributionen heute ist Syslog.

1. ManageEngine EventLog Analyzer

ManageEngine EventLog Analyzer ist eine lokale Protokollverwaltungslösung, die für Unternehmen jeder Größe in verschiedenen Branchen wie Informationstechnologie, Gesundheit, Einzelhandel, Finanzen, Bildung und mehr entwickelt wurde. Die Lösung bietet Benutzern sowohl agentenbasierte als auch agentenlose Protokollsammlung, Protokollparsings, eine leistungsstarke Protokollsuchmaschine und Optionen zur Protokollarchivierung.

Mit der Funktionalität zur Überwachung von Netzwerkgeräten können Benutzer ihre Endgeräte, Firewalls, Router, Switches und mehr in Echtzeit überwachen. Die Lösung zeigt analysierte Daten in Form von Grafiken und intuitiven Berichten an.

Die Mechanismen zur Vorfallerkennung von EventLog Analyzer wie Protokollkorrelation, Bedrohungsinformationen, Implementierung des MITRE ATT&CK-Frameworks, fortschrittliche Bedrohungsanalytik und mehr helfen, Sicherheitsbedrohungen sofort zu erkennen, sobald sie auftreten.

Das Echtzeitwarnsystem informiert Benutzer über verdächtige Aktivitäten, damit sie Sicherheitsbedrohungen mit hoher Risikostufe priorisieren können. Mit einem automatisierten Vorfallreaktionssystem können SOCs potenzielle Bedrohungen eindämmen.

Die Lösung hilft den Benutzern auch, sich an verschiedene IT-Compliance-Standards wie PCI DSS, ISO 27001, GLBA, SOX, HIPAA, CCPA, GDPR und mehr zu halten. Abonnementdienste werden je nach Anzahl der zu überwachenden Logquellen angeboten. Support wird den Benutzern über Telefon, Produktvideos und eine Online-Wissensdatenbank zur Verfügung gestellt.

2. Graylog 2

Graylog ist eine führende Open-Source- und robuste zentrale Protokollverwaltungswerkzeug, das weit verbreitet ist, um Protokolle in verschiedenen Umgebungen einschließlich Test- und Produktionsumgebungen zu sammeln und zu überprüfen. Es ist einfach einzurichten und wird für kleine Unternehmen sehr empfohlen.

Graylog hilft Ihnen dabei, Daten aus mehreren Geräten einschließlich Netzwerkswitches, Routern und drahtlosen Zugangspunkten zu sammeln. Es integriert sich in den Elasticsearch Analyse-Motor und nutzt MongoDB, um Daten und die gesammelten Protokolle zu speichern, die tiefe Einblicke bieten und bei der Fehlersuche hilfreich sind.

Mit Graylog erhalten Sie eine ordentliche und übersichtliche WebUI mit coolen Dashboards, die Ihnen dabei helfen, Daten nahtlos zu verfolgen. Außerdem erhalten Sie eine Reihe von raffinierten Tools und Funktionen, die bei der Compliance-Prüfung, der Bedrohungssuche und vielem mehr helfen. Sie können Benachrichtigungen so aktivieren, dass ein Alarm ausgelöst wird, wenn eine bestimmte Bedingung erfüllt ist oder ein Problem auftritt.

Insgesamt macht Graylog einen ziemlich guten Job beim Zusammenstellen großer Datenmengen und vereinfacht die Suche und Analyse von Daten. Die neueste Version ist Graylog 5.2.4 und bietet neue Funktionen wie den Dark Mode, die Integration mit Slack und ElasticSearch und vieles mehr.

3. Logcheck

Logcheck ist ein weiteres Open-Source-Protokollüberwachungstool, das als Cron-Job ausgeführt wird. Es durchsucht Tausende von Protokolldateien, um Verstöße oder ausgelöste Systemereignisse zu erkennen. Logcheck sendet dann eine detaillierte Zusammenfassung der Warnungen an eine konfigurierte E-Mail-Adresse, um Betriebsteams über ein Problem wie einen unbefugten Zugriff oder einen Systemfehler zu informieren.

In diesem Protokollierungssystem wurden drei verschiedene Ebenen der Protokollfilterung entwickelt, darunter:

• Paranoid: ist für Hochsicherheitssysteme gedacht, die so wenige Dienste wie möglich ausführen.
• Server: Dies ist das Standardfilterniveau für Logcheck, und seine Regeln sind für viele verschiedene Systemdaemons definiert. Die Regeln, die auf paranoidem Niveau definiert sind, sind auch unter diesem Niveau enthalten.
• Arbeitsstation: Es ist für geschützte Systeme und hilft, die meisten Nachrichten zu filtern. Es enthält auch Regeln, die unter paranoidem und Serverniveau definiert sind.

Logcheck ist auch in der Lage, Nachrichten in drei mögliche Ebenen zu sortieren, die Sicherheitsereignisse, Systemereignisse und Systemangriffswarnungen umfassen. Ein Systemadministrator kann die Detailebene auswählen, auf der Systemereignisse gemeldet werden, abhängig vom Filterniveau, obwohl dies Sicherheitsereignisse und Systemangriffswarnungen nicht beeinflusst.

Logcheck bietet die folgenden Funktionen:

• Vordefinierte Berichtsvorlagen.
• A mechanism for filtering logs using regular expressions.
• Instant-E-Mail-Benachrichtigungen.
• Instant-Sicherheitswarnungen.

4. Logwatch

Logwatch ist eine Open-Source- und hoch anpassbare Protokollsammlungs- und Analyseanwendung. Es analysiert sowohl System- als auch Anwendungsprotokolle und erstellt einen Bericht darüber, wie Anwendungen ausgeführt werden. Der Bericht wird entweder auf der Befehlszeile oder über eine dedizierte E-Mail-Adresse bereitgestellt.

Sie können Logwatch ganz nach Ihren Wünschen anpassen, indem Sie die Parameter im Pfad /etc/logwatch/conf ändern. Es bietet auch etwas Extra in Form von vordefinierten PERL-Skripten, um das Protokollparsen zu erleichtern.

Logwatch wird mit einem gestuften Ansatz geliefert, und es gibt 3 Hauptorte, an denen Konfigurationsdetails definiert sind:

• /usr/share/logwatch/default.conf/*
• /etc/logwatch/conf/dist.conf/*
• /etc/logwatch/conf/*

Alle Standardwerte sind in der Datei /usr/share/logwatch/default.conf/logwatch.conf definiert. Die empfohlene Praxis ist es, diese Datei intakt zu lassen und stattdessen Ihre eigene Konfigurationsdatei im Pfad /etc/logwatch/conf/ zu erstellen, indem Sie die Originalkonfigurationsdatei kopieren und dann Ihre benutzerdefinierten Einstellungen definieren.

Die neueste Version von Logwatch ist Version 7.10 und sie bietet Unterstützung für die direkte Abfrage des systemd-Journals mit journalctl. Wenn Sie sich kein proprietäres Protokollverwaltungstool leisten können, bietet Logwatch Ihnen die Gewissheit, dass alle Ereignisse protokolliert und Benachrichtigungen gesendet werden, falls etwas schief geht.

5. Logstash

Logstash ist eine Open-Source-Server-seitige Datenverarbeitungspipeline, die Daten von einer Vielzahl von Quellen wie lokalen Dateien oder verteilten Systemen wie S3 akzeptiert. Anschließend verarbeitet sie die Protokolle und leitet sie an Plattformen wie Elasticsearch weiter, wo sie später analysiert und archiviert werden. Es ist ein ziemlich leistungsfähiges Werkzeug, da es große Mengen von Protokollen aus verschiedenen Anwendungen aufnehmen und später gleichzeitig an verschiedene Datenbanken oder Engines ausgeben kann.

Logstash strukturiert unstrukturierte Daten, führt Geolokalisierungsabfragen durch, anonymisiert personenbezogene Daten und skaliert über mehrere Knoten hinweg. Es gibt eine umfangreiche Liste von Datenquellen, die Logstash überwachen kann, darunter SNMP, Herzschläge, Syslog, Kafka, Puppet, Windows-Ereignisprotokoll usw.

Logstash verlässt sich auf „Beats“, die leichte Daten-Versender sind, die Daten an Logstash zur Analyse und Strukturierung usw. übermitteln. Die Daten werden dann an andere Ziele wie Google Cloud, MongoDB und Elasticsearch zur Indexierung gesendet. Logstash ist eine wichtige Komponente des Elastic Stack, die es Benutzern ermöglicht, Daten in beliebiger Form zu sammeln, zu parsen und auf interaktiven Dashboards zu visualisieren.

Was noch wichtiger ist, ist dass Logstash auf breite Unterstützung der Community und regelmäßige Updates zählen kann.

Zusammenfassung

Das ist es vorerst und denken Sie daran, dass dies nicht alle verfügbaren Protokollverwaltungssysteme sind, die Sie unter Linux verwenden können. Wir werden die Liste in zukünftigen Artikeln weiter überprüfen und aktualisieren. Ich hoffe, Sie finden diesen Artikel nützlich und Sie können uns andere wichtige Protokollwerkzeuge oder -systeme mitteilen, indem Sie einen Kommentar hinterlassen.