Recopilar y reenviar registros de MongoDB autogestionado a OpenSearch gestionado por DigitalOcean utilizando Fluent Bit

Introducción

En este tutorial, aprenderás a enviar registros desde Fluent Bit instalado en una MongoDB autoadministrada que se ejecuta en un Droplet de Ubuntu a la base de datos OpenSearch gestionada por DigitalOcean.

OpenSearch es una suite de búsqueda y análisis de código abierto que se originó como una bifurcación de Elasticsearch y Kibana. Soporta la ingesta de datos en tiempo real, consultas avanzadas y un robusto sistema de seguridad, lo que lo convierte en ideal para aplicaciones de comercio electrónico, monitoreo de TI y financieras. Con características como soporte para consultas SQL, aprendizaje automático y alertas, OpenSearch evoluciona continuamente a través del desarrollo activo de la comunidad.

Fluent Bit es un procesador y reenviador de registros ligero y de código abierto que recopila, procesa y envía datos de registro. Optimizado para rendimiento, es ideal para entornos con recursos limitados como contenedores y computación en las或少es. Fluent Bit agrega y reenvía registros de manera eficiente a varios destinos, popularizándose para el registro y monitoreo en tiempo real.

Prerrequisitos

Antes de comenzar, asegúrate de tener:

• Una cta de DigitalOcean Cloud con acceso a Managed OpenSearch.
• Conocimientos básicos de OpenSearch y Fluent Bit.
• Acceso al Panel de OpenSearch.

Instalación de Fluent Bit

Hay múltiples plataformas donde se puede instalar Fluent Bit. Aquí utilizarás una plataforma Ubuntu. Ejecuta el siguiente comando en el terminal de tu Droplet.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Puedes acceder a la documentación oficial para obtener más información.

Configuración de FluentBit

El archivo de configuración de Fluent Bit se almacena en /etc/fluent-bit/fluent-bit.conf de forma predeterminada. Cambiarás el archivo fluent-bit.conf para enviar los registros a OpenSearch.

Entradas de FluentBit

Fluent Bit ofrece una variedad de complementos de entrada que permiten recopilar datos de registros y eventos de diferentes fuentes. Dado que enviarás registros desde archivos de registro, utilizarás el complemento de entrada tail.

Actualiza el archivo fluent-bit.conf de la siguiente manera:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

Puedes leer más sobre los complementos de entrada en el Manual oficial de Fluent Bit.

Salidas de FluentBit

Al igual que los complementos de entrada, Fluent Bit proporciona un complemento de salida que envía los registros recopilados y procesados a diferentes destinos. Dado que estamos enviando registros a Opensearch, vamos a utilizar el complemento de salida Opensearch.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #Nombre de usuario de OpenSearch administrado por DO
   HTTP_Passwd XXXX #Contraseña de OpenSearch administrado
   Index mongodb
   tls On
   Suppress_Type_Name On

Puedes leer más sobre los complementos de salida en el Manual oficial de Fluent Bit.

Una vez configuradas las configuraciones, inicia el servicio de Fluent Bit.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Accede a los registros de MongoDB en el Dashboard de OpenSearch

• Navega al Dashboard de OpenSearch en tu cidade en la nube de DigitalOcean.
• Usando el ícono de hamburguesa, haz clic en Administración de Dashboard en la sección de Administración.
• Haz clic en Patrones de índice y haz clic en Crear patrón de índice.
• Da al patrón de índice el mismo nombre utilizado en el archivo fluent-bit.conf.
• Una vez que el patrón de índice esté listo, puedes acceder a los registros de MongoDB desde la pestaña Descubrir.

Conclusión

Felicidades, has aprendido con éxito a usar Fluent Bit para recolectar y reenviar los registros de MongoDB autohospedados a una base de datos DigitalOcean Managed OpenSearch. Cubrimos la configuración de Fluent Bit y la creación de un patrón de índice en OpenSearch para monitorear y analizar eficientemente tus registros de MongoDB.