Coletar e encaminhar logs de MongoDB gerenciado pelo próprio usuário para OpenSearch gerenciado pela DigitalOcean usando Fluent Bit

Introdução

Trong este tutorial, você aprenderá a enviar logs do Fluent Bit instalado em um MongoDB auto-gerenciado executando em um Droplet Ubuntu para o banco de dados OpenSearch gerenciado pela DigitalOcean.

OpenSearch é um suite de busca e análise open-source que se originou como um fork do Elasticsearch e Kibana. Ele suporta ingestão de dados em tempo real, consulta avançada e segurança robusta, tornando-se ideal para aplicações de e-commerce, monitoramento de TI e finanças. Com recursos como suporte a consultas SQL, aprendizado de máquina e alertas, o OpenSearch continua a evoluir através de desenvolvimento comunitário ativo.

Fluent Bit é um processador e encaminhador de logs leve e open-source que coleta, processa e envia dados de logs. Otimizado para desempenho, é ideal para ambientes com recursos limitados como contêineres e computação de borda. O Fluent Bit eficienteementa agrega e encaminha logs para vários destinos, tornando-se popular para logging e monitoramento em tempo real.

Pré-requisitos

Antes de começar, certifique-se de que você tem:

• Uma conta DigitalOcean Cloud com acesso a Managed OpenSearch.
• Conhecimento básico de OpenSearch e Fluent Bit.
• Acesso ao Painel do OpenSearch.

Instalando Fluent Bit

Existem várias plataformas onde o Fluent Bit pode ser instalado. Você usará uma plataforma Ubuntu aqui. Execute o seguinte comando no Terminal do seu Droplet.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Você pode acessar a documentação oficial para mais informações.

Configurando FluentBit

O arquivo de configuração do Fluent Bit é armazenado em /etc/fluent-bit/fluent-bit.conf por padrão. Você vai alterar o fluent-bit.conf para enviar os logs para o OpenSearch.

Entradas do FluentBit

O Fluent Bit oferece uma variedade de plugins de entrada que permitem coletar dados de logs e eventos de diferentes fontes. Como você estará enviando logs de arquivos de logs, você usará o plugin de entrada tail.

Atualize o arquivo fluent-bit.conf da seguinte forma:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

Você pode ler mais sobre plugins de entrada no manual oficial do Fluent Bit.

Saídas do FluentBit

Assim como os plugins de entrada, o Fluent Bit fornece um plugin de saída que envia logs coletados e processados para diferentes destinos. Como estamos enviando logs para o Opensearch, vamos usar o plugin de saída Opensearch.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin Nome de usuário gerenciado pelo DO OpenSearch
   HTTP_Passwd XXXX Senha gerenciada do OpenSearch
   Index mongodb
   tls On
   Suppress_Type_Name On

Você pode ler mais sobre plugins de saída no manual oficial do Fluent Bit.

Uma vez que as configurações estiverem definidas, inicie o serviço Fluent Bit.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Acesse os logs do MongoDB no Dashboard do OpenSearch

• Navegue até o Dashboard do OpenSearch na sua conta na Cloud da DigitalOcean.
• Usando o ícone de hambúrguer, clique em Gerenciamento de Dashboard na seção de Gerenciamento.
• Clique em Modelos de índice e clique em Criar modelo de índice.
• Dê ao modelo de índice o mesmo nome usado no arquivo fluent-bit.conf.
• Quando o modelo de índice estiver pronto, você pode acessar os logs do MongoDB na aba Descobrir.

Conclusão

Parabéns! Você aprendeu com sucesso a usar o Fluent Bit para coletar e encaminhar os logs de MongoDB auto-hospedados para um banco de dados OpenSearch gerenciado pela DigitalOcean. Cobrimos a configuração do Fluent Bit e a criação de um padrão de índice no OpenSearch para monitorar e analisar eficientemente seus logs de MongoDB.