Collecter et transmettre les journaux de MongoDB auto-géré vers OpenSearch géré par DigitalOcean en utilisant Fluent Bit

Introduction

Dans ce tutoriel, vous apprendrez comment envoyer des journaux desde Fluent Bit installé sur une MongoDB auto-gérée fonctionnant sur une instance Ubuntu Droplet vers la base de données OpenSearch gérée par DigitalOcean.

OpenSearch est une suite de recherche et d’analyse open-source qui a vu le jour en tant que fork d’Elasticsearch et Kibana. Elle prend en charge l’ingestion de données en temps réel, des requêtes avancées et une sécurité robuste, ce qui en fait une solution idéale pour le commerce électronique, la surveillance informatique et les applications financières. Avec des fonctionnalités telles que le support des requêtes SQL, l’apprentissage automatique et les alertes, OpenSearch évolue constamment grâce au développement actif de la communauté.

Fluent Bit est un processeur et transmetteur de journaux léger et open-source qui collecte, traite et expédie les données de journalisation. Optimisé pour les performances, il est idéal pour les environnements à ressources limitées tels que les conteneurs et l’informatique de bordure. Fluent Bit agrège et transmet efficacement les journaux vers diverses destinations, ce qui en fait un outil populaire pour la journalisation et la surveillance en temps réel.

Prérequis

Avant de commencer, assurez-vous d’avoir :

• Un compte Cloud DigitalOcean avec accès à Managed OpenSearch.
• Connaissances de base de OpenSearch et de Fluent Bit.
• Accès au Tableau de bord OpenSearch.

Installer Fluent Bit

Il existe plusieurs plateformes où Fluent Bit peut être installé. Vous utiliserez une plateforme Ubuntu ici. Exécutez la commande suivante sur le terminal de votre Droplet.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Vous pouvez consulter la documentation officielle pour plus d’informations.

Configurer FluentBit

Le fichier de configuration de Fluent Bit est stocké par défaut à /etc/fluent-bit/fluent-bit.conf. Vous allez modifier le fichier fluent-bit.conf pour envoyer les logs vers OpenSearch.

FluentBit Inputs

Fluent Bit offre une variété de plugins d’entrée qui lui permettent de collecter des données de logs et d’événements à partir de différentes sources. Puisque vous allez envoyer des logs à partir de fichiers de logs, vous allez utiliser le plugin d’entrée tail.

Mettez à jour le fichier fluent-bit.conf comme suit :

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

Vous pouvez en savoir plus sur les plugins d’entrée dans le manuel officiel de Fluent Bit.

FluentBit Outputs

Similaire aux plugins d’entrée, Fluent Bit fournit un plugin de sortie qui envoie les logs collectés et traités vers différents destinations. Puisque nous envoyons des logs vers Opensearch, utilisons le plugin de sortie Opensearch.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #Nom d'utilisateur de OpenSearch géré par DO
   HTTP_Passwd XXXX #Mot de passe de OpenSearch géré
   Index mongodb
   tls On
   Suppress_Type_Name On

Vous pouvez en savoir plus sur les plugins de sortie dans le manual officiel de Fluent Bit.

Une fois les configurations établies, démarrez le service Fluent Bit.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Accédez aux journaux MongoDB dans le tableau de bord OpenSearch

• Naviguez vers le tableau de bord OpenSearch sur votre compte DigitalOcean Cloud.
• En utilisant l’icône du hamburger, cliquez sur Gestion du tableau de bord dans la section Gestion.
• Cliquez sur Index patterns et cliquez sur Créer un modèle d’index.
• Donnez au modèle d’index le même nom utilisé dans le fichier fluent-bit.conf.
• Une fois le modèle d’index prêt, vous pouvez accéder aux journaux MongoDB à partir de l’onglet Découvrir.

Conclusion

query
Félicitations ! Vous avez réussi à apprendre à utiliser Fluent Bit pour collecter et transmettre les journaux auto-hébergés de MongoDB vers une base de données DigitalOcean Managed OpenSearch. Nous avons couvert la configuration de Fluent Bit et la création d’un modèle d’index dans OpenSearch pour surveiller et analyser efficacement vos journaux MongoDB.