Logs von selbstverwalteter MongoDB sammeln und an DigitalOceans verwalteten OpenSearch mit Fluent Bit weiterleiten

Einführung

In diesem Tutorial lernen Sie, wie Sie Protokolle von Fluent Bit, das auf einem selbstverwalteten MongoDB auf einem Ubuntu-Droplet installiert ist, an die verwaltete OpenSearch-Datenbank von DigitalOcean senden.

OpenSearch ist eine Open-Source-Such- und Analysesoftware, die als Fork von Elasticsearch und Kibana entstanden ist. Sie unterstützt die Echtzeit-Datenaufnahme, erweiterte Abfragen und robuste Sicherheit, was sie ideal für E-Commerce-, IT-Überwachungs- und Finanzanwendungen macht. Mit Funktionen wie SQL-Abfrageunterstützung, maschinellem Lernen und Alarmierung entwickelt sich OpenSearch kontinuierlich durch aktive Gemeinschaftsentwicklung.

Fluent Bit ist ein leichter, Open-Source-Protokollprozessor und -weiterleiter, der Protokolldaten sammelt, verarbeitet und versendet. Optimiert für Leistung ist es ideal für ressourcenbeschränkte Umgebungen wie Container und Edge Computing. Fluent Bit aggregiert und leitet Protokolle effizient an verschiedene Ziele weiter, was es populär für Echtzeit-Protokollierung und -Überwachung macht.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie:

• Ein DigitalOcean Cloud-Konto mit Zugriff auf Managed OpenSearch.
• Grundkenntnisse in OpenSearch und Fluent Bit.
• Zugriff auf das OpenSearch Dashboard.

Fluent Bit installieren

Es gibt mehrere Plattformen, auf denen Fluent Bit installiert werden kann. Hier verwenden Sie eine Ubuntu-Plattform. Führen Sie den folgenden Befehl im Terminal Ihres Droplets aus.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Sie können die offizielle Dokumentation für weitere Informationen einsehen.

Fluent Bit konfigurieren

Die Fluent Bit-Konfigurationsdatei wird standardmäßig unter /etc/fluent-bit/fluent-bit.conf gespeichert. Sie werden die fluent-bit.conf ändern, um die Protokolle an OpenSearch zu senden.

FluentBit Eingaben

Fluent Bit bietet eine Vielzahl von Eingabe-Plugins, die es ermöglichen, Protokoll- und Ereignisdaten aus verschiedenen Quellen zu sammeln. Da Sie Protokolle aus Logdateien senden werden, verwenden Sie das Tail-Eingabe-Plugin.

Aktualisieren Sie die fluent-bit.conf-Datei wie folgt:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

Sie können mehr über Eingabe-Plugins im offiziellen Handbuch von Fluent Bit lesen.

FluentBit Ausgaben

Ähnlich wie bei Eingabe-Plugins bietet Fluent Bit ein Ausgabe-Plugin, das gesammelte und verarbeitete Protokolle an verschiedene Ziele sendet. Da wir Protokolle an OpenSearch senden, lassen Sie uns das OpenSearch-Ausgabe-Plugin verwenden.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #DO Managed OpenSearch-Benutzername
   HTTP_Passwd XXXX #Managed OpenSearch-Passwort
   Index mongodb
   tls On
   Suppress_Type_Name On

Sie können mehr über die Output-Plugins im offiziellen Handbuch von Fluent Bit lesen.

Sobald die Konfigurationen eingerichtet sind, starten Sie den Fluent Bit-Dienst.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Greifen Sie auf die MongoDB-Protokolle im OpenSearch-Dashboard zu

• Navigieren Sie zum OpenSearch-Dashboard in Ihrem DigitalOcean-Cloud-Konto.
• Verwenden Sie das Hamburger-Symbol, klicken Sie im Verwaltungsbereich auf Dashboard-Verwaltung.
• Klicken Sie auf Indexmuster und dann auf Indexmuster erstellen.
• Geben Sie dem Indexmuster denselben Namen, der in der fluent-bit.conf Datei verwendet wird.
• Sobald das Indexmuster bereit ist, können Sie auf die MongoDB-Protokolle über den Entdecken-Tab zugreifen.

Fazit

Herzlichen Glückwunsch! Sie haben erfolgreich gelernt, Fluent Bit zu verwenden, um selbstgehostete MongoDB-Protokolle an eine DigitalOcean Managed OpenSearch-Datenbank weiterzuleiten. Wir haben die Konfiguration von Fluent Bit behandelt und ein Indexmuster in OpenSearch erstellt, um Ihre MongoDB-Protokolle effizient zu überwachen und zu analysieren.