Coletar e encaminhar logs de MongoDB auto-gerenciado para OpenSearch gerenciado pela DigitalOcean usando Fluent Bit

Introdução

Neste tutorial, você aprenderá como enviar logs do Fluent Bit instalado em um MongoDB auto-gerenciado executando em um Droplet Ubuntu para o banco de dados OpenSearch gerenciado pela DigitalOcean.

OpenSearch é um suite de busca e análise de código aberto que se originou como um fork do Elasticsearch e Kibana. Ele suporta ingestão de dados em tempo real, consulta avançada e segurança robusta, tornando-se ideal para aplicativos de comércio eletrônico, monitoramento de TI e finanças. Com recursos como suporte a consultas SQL, aprendizado de máquina e alertas, o OpenSearch evolui continuamente através de um desenvolvimento ativo da comunidade.

Fluent Bit é um processador e encaminhador de logs leve e de código aberto que coleta, processa e envia dados de logs. Otimizado para desempenho, é ideal para ambientes com recursos limitados, como contêineres e computação de borda. O Fluent Bitagrega e encaminha logs de forma eficiente para vários destinos, tornando-se popular para logs e monitoramento em tempo real.

Pré-requisitos

Antes de começar, certifique-se de que você tem:

• Uma conta DigitalOcean Cloud com acesso a Managed OpenSearch.
• Conhecimento básico de OpenSearch e Fluent Bit.
• Acesso ao OpenSearch Dashboard.

Instalando Fluent Bit

Existem várias plataformas onde o Fluent Bit pode ser instalado. Você estará usando uma plataforma Ubuntu aqui. Execute o seguinte comando no Terminal do seu Droplet.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Você pode acessar a documentação oficial para mais informações.

Configurando FluentBit

O arquivo de configuração do Fluent Bit é armazenado em /etc/fluent-bit/fluent-bit.conf por padrão. Você vai alterar o fluent-bit.conf para enviar os logs para o OpenSearch.

Entradas do FluentBit

O Fluent Bit oferece uma variedade de plugins de entrada que permitem coletar dados de logs e eventos de diferentes fontes. Como você estará enviando logs de arquivos de logs, você usará o plugin de entrada tail.

Atualize o arquivo fluent-bit.conf da seguinte forma:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

Você pode ler mais sobre plugins de entrada no Manual Oficial do Fluent Bit.

Saídas do FluentBit

Assim como os plugins de entrada, o Fluent Bit fornece um plugin de saída que envia logs coletados e processados para diferentes destinos. Como estamos enviando logs para o Opensearch, vamos usar o plugin de saída Opensearch.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #Nome de usuário do OpenSearch gerenciado pela DO
   HTTP_Passwd XXXX #Senha do OpenSearch gerenciado
   Index mongodb
   tls On
   Suppress_Type_Name On

Você pode ler mais sobre Plugins de Saída no Manual Oficial do Fluent Bit.

Depois que as configurações forem definidas, inicie o Serviço Fluent Bit.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Acesse os logs do MongoDB no Dashboard OpenSearch

• Navegue até o Dashboard OpenSearch na sua conta DigitalOcean Cloud.
• Usando o ícone do hambúrguer, clique em Gerenciamento de Dashboard na seção de Administração.
• Clique em Modelos de Índice e clique em Criar Modelo de Índice.
• De ao modelo de índice o mesmo nome usado no arquivo fluent-bit.conf.
• Quando o modelo de índice estiver pronto, você pode acessar os logs do MongoDB na aba Descobrir.

Conclusão

Parabéns! Você aprendeu com sucesso a usar o Fluent Bit para coletar e encaminhar logs de MongoDB auto-hospedados para um banco de dados DigitalOcean Managed OpenSearch. Cobrimos a configuração do Fluent Bit e a criação de um padrão de índice no OpenSearch para monitorar e analisar eficientemente seus logs de MongoDB.