Verzamel en forward logs van zelfbeheerde MongoDB naar DigitalOcean’s beheerde OpenSearch met Fluent Bit

Inleiding

In deze tutorial leer je hoe je logs kunt verzenden van Fluent Bit die is geïnstalleerd op een zelfbeheerde MongoDB die draait op een Ubuntu Droplet naar DigitalOcean’s beheerde OpenSearch-database.

OpenSearch is een open-source zoek- en analysepakket dat is ontstaan als een fork van Elasticsearch en Kibana. Het ondersteunt real-time gegevensingestie, geavanceerde querying en robuuste beveiliging, waardoor het ideaal is voor e-commerce, IT monitoring en financiële toepassingen. Met functies zoals SQL query-ondersteuning, machine learning en meldingen, evolueert OpenSearch voortdurend door actieve community-ontwikkeling.

Fluent Bit is een lichtgewicht, open-source logprocessor en forwarder die loggegevens verzamelt, verwerkt en verzendt. Geoptimaliseerd voor prestaties, is het ideaal voor resource-gelimiteerde omgevingen zoals containers en edge computing. Fluent Bit aggregeert en forwardt logs efficiënt naar verschillende bestemmingen, waardoor het populair is voor real-time logging en monitoring.

Voorkennis

Voordat je begint, zorg ervoor dat je hebt:

• Een DigitalOcean Cloud-account met toegang tot Managed OpenSearch.
• Basiskennis van OpenSearch en Fluent Bit.
• Toegang tot het OpenSearch Dashboard.

Fluent Bit installeren

Er zijn meerdere platforms waarop Fluent Bit geïnstalleerd kan worden. Hier gebruik je een Ubuntu-platform. Voer de volgende opdracht uit op de terminal van je Droplet.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Je kunt de officiële documentatie raadplegen voor meer informatie.

FluentBit configureren

De Fluent Bit-configuratiebestand is standaard opgeslagen in /etc/fluent-bit/fluent-bit.conf. Je zult het fluent-bit.conf bestand aanpassen om de logs naar OpenSearch te sturen.

FluentBit Inputs

Fluent Bit biedt een verscheidenheid aan inputplugins die het mogelijk maken om log- en gegevensinformatie van verschillende bronnen te verzamelen. Aangezien je logs van logbestanden stuurt, zul je de tail Input plugin gebruiken.

Werk het fluent-bit.conf bestand als volgt bij:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

Je kunt meer lezen over Input plugins in de officiële Handleiding van Fluent Bit.

FluentBit Outputs

Net als inputplugins biedt Fluent Bit een outputplugin die verzamelde en verwerkte logs naar verschillende bestemmingen stuurt. Aangezien we logs naar Opensearch sturen, laten we de Opensearch Output plugin gebruiken.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #DO Managed OpenSeach gebruikersnaam
   HTTP_Passwd XXXX #Managed OpenSeach Wachtwoord
   Index mongodb
   tls On
   Suppress_Type_Name On

Je kunt meer lezen over Output plugins in de officiële Handleiding van Fluent Bit.

Une fois les configurations sont configurées, démarrez le service Fluent Bit.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Toegang tot MongoDB logs in OpenSearch Dashboard

• Navigeer naar het OpenSearch Dashboard op je DigitalOcean Cloud account.
• Gebruik het hamburgerpictogram om te klikken op Dashboard Management onder het gedeelte Beheer.
• Klik op Index patterns en klik op Maak een indexpatroon aan.
• Geef het indexpatroon dezelfde naam die wordt gebruikt in het bestand fluent-bit.conf.
• Une fois le patron d’index prêt, vous pouvez accéder aux logs MongoDB depuis l’onglet Discover.

Conclusie

Gefeliciteerd! Je hebt succesvol geleerd hoe je Fluent Bit kunt gebruiken om zelfgehoste MongoDB-logboeken te verzamelen en door te sturen naar een DigitalOcean Managed OpenSearch-database. We hebben het besproken over het configureren van Fluent Bit en het maken van een indexpatroon in OpenSearch om je MongoDB-logboeken efficiënt te monitoren en te analyseren.