Raccogli e inoltra i log da MongoDB gestito autonomamente a OpenSearch gestito da DigitalOcean utilizzando Fluent Bit

Introduzione

In questo tutorial, imparerai come inviare i log da Fluent Bit installato su una MongoDB gestita autonomamente che gira su un Droplet Ubuntu verso il database OpenSearch gestito da DigitalOcean.

OpenSearch è una suite di ricerca e analisi open-source che è stata originariamente creata come fork di Elasticsearch e Kibana. Supporta l’ingestione di dati in tempo reale, querying avanzate e una robusta sicurezza, rendendolo ideale per applicazioni di e-commerce, monitoraggio IT e finanza. Con funzionalità come il supporto per query SQL, machine learning e alerting, OpenSearch evolve costantemente grazie allo sviluppo attivo della comunità.

Fluent Bit è un processore e forwarder di log leggero e open-source che raccoglie, processa e invia dati di log. Ottimizzato per le prestazioni, è ideale per ambienti con risorse limitate come container e computazione perimetrale. Fluent Bit aggrega ed invia efficientemente i log verso vari destinazioni, rendendolo popolare per il logging e il monitoraggio in tempo reale.

Prerequisiti

Prima di iniziare, assicurati di avere:

• Un account DigitalOcean Cloud con accesso a Managed OpenSearch.
• Conoscenze di base di OpenSearch e Fluent Bit.
• Accesso al Dashboard OpenSearch.

Installazione di Fluent Bit

Esistono più piattaforme dove è possibile installare Fluent Bit. Utilizzerai qui una piattaforma Ubuntu. Esegui il seguente comando sul terminale del tuo Droplet.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

PUoi accedere alla documentazione ufficiale per ulteriori informazioni.

Configurazione di FluentBit

Il file di configurazione di Fluent Bit è memorizzato per impostazione predefinita in /etc/fluent-bit/fluent-bit.conf. Dovrai modificare il file fluent-bit.conf per inviare i log a OpenSearch.

FluentBit Inputs

Fluent Bit offre una varietà di plugin di input che consentono di raccogliere dati di log e eventi da diverse fonti. Dato che invierai i log da file di log, utilizzerai il plugin di input tail.

Aggiorna il file fluent-bit.conf come segue:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

Puoi leggere di più sui plugin di input nel Manuale Ufficiale di Fluent Bit.

FluentBit Outputs

Simile ai plugin di input, Fluent Bit fornisce un plugin di output che invia i log raccolti e processati a diverse destinazioni. Dato che stiamo inviando i log a Opensearch, utilizziamo il plugin di output Opensearch.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #Nome utente DO Managed OpenSeach
   HTTP_Passwd XXXX #Password Managed OpenSeach
   Index mongodb
   tls On
   Suppress_Type_Name On

Puoi leggere di più sui plugin di output nel manuale ufficiale di Fluent Bit.

Dopo aver configurato le impostazioni, avvia il servizio Fluent Bit.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Accedi ai log di MongoDB nel Dashboard di OpenSearch

• Naviga al Dashboard di OpenSearch sul tuo account Cloud di DigitalOcean.
• Utilizzando l’icona dell’hamburger, clicca su Gestione Dashboard nella sezione Gestione.
• Clicca su Modelli di indice e clicca su Crea modello di indice.
• Assegna al modello di indice lo stesso nome utilizzato nel file fluent-bit.conf.
• Una volta che il modello di indice è pronto, puoi accedere ai log di MongoDB dalla scheda Discover.

Conclusione

Congratulazioni! Hai appreso con successo come utilizzare Fluent Bit per raccogliere e inoltrare i log di MongoDB auto-ospitati a un database DigitalOcean Managed OpenSearch. Abbiamo coperto la configurazione di Fluent Bit e la creazione di uno schema di indice in OpenSearch per monitorare e analizzare efficientemente i tuoi log di MongoDB.