Собирать и пересылать логи из самостоятельно управляемого MongoDB в управляемый OpenSearch от DigitalOcean с использованием Fluent Bit

Logging

Введение

В этом руководстве вы узнаете, как отправлять логи с установленного на самостоятельйно управляемом MongoDB, который работает на Ubuntu Droplet, в управляемую базу данных OpenSearch от DigitalOcean.

OpenSearch – это开源��索 и аналитический пакет, который起源于Elasticsearch и Kibana. Он поддерживает реальное время поступления данных, avanzadas запросы и надежную безопасность, что делает его идеальным для использования в электронной коммерции, мониторинге ИТ и финансовых приложениях. С функциями, такими как поддержка SQL-запросов, машинное обучение и оповещения, OpenSearch постоянно развивается благодаря активной разработке сообщества.

Fluent Bit – это легковесный,开源 лог-процессор и форвардер, занимайщийся сбором, обработкой и отправкой логов. Оптимизированный для производительности, он идеален для ограниченных ресурсов, таких как контейнеры и периферийные вычисления. Fluent Bit эффективно агрегирует и пересылает логи в различные目的地, что делает его популярным для реального времени logging и мониторинга.

Предварительные требования

Прежде чем приступить, убедитесь, что у вас есть:

Учетная запись Cloud DigitalOcean с доступом к Управляемому OpenSearch.
Базовые знания OpenSearch и Fluent Bit.
Доступ к Панели OpenSearch.

Установка Fluent Bit

Существует множество платформ, на которых можно установить Fluent Bit. Здесь вы будете использовать платформу Ubuntu. Выполните следующую команду в терминале вашего Droplet.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Вы можете перейти к официальной документации для получения дополнительной информации.

Настройка FluentBit

Файл конфигурации Fluent Bit хранится по умолчанию в /etc/fluent-bit/fluent-bit.conf. Вы измените fluent-bit.conf, чтобы отправлять логи в OpenSearch.

Входы FluentBit

Fluent Bit предлагает разнообразие входных плагинов, которые позволяют ему собирать логи и событийные данные из различных источников. Поскольку вы будете отправлять логи из файлов логов, вы будете использовать плагин tail Input.

Обновите файл fluent-bit.conf следующим образом:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

Вы можете узнать больше о входных плагинах в официальном руководстве Fluent Bit.

Выходы FluentBit

Аналогично входным плагинам, Fluent Bit предоставляет плагин для вывода, который отправляет собранные и обработанные логи в различные destinations. Поскольку мы отправляем логи в Opensearch, давайте воспользуемся плагином Opensearch Output.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #Имя пользователя DO Managed OpenSeach
   HTTP_Passwd XXXX #Пароль Managed OpenSeach
   Index mongodb
   tls On
   Suppress_Type_Name On

Вы можете узнать больше о плагинах вывода в официальном руководстве Fluent Bit.

Once the configurations are set up, start Fluent Bit Service.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Доступ к журналам MongoDB в OpenSearch Dashboard

Перейдите к OpenSearch Dashboard на вашем аккаунте DigitalOcean Cloud.
Используя иконку汉堡ер, нажмите на Управление панелями в разделе Управление.
Нажмите на Index patterns и нажмите на Создать шаблон индекса.
Дайте шаблону индекса то же имя, которое используется в файле fluent-bit.conf.
Once the index pattern is ready, you can access the MongoDB logs from the Discover tab.

Заключение

Поздравляем! Вы успешно научились использовать Fluent Bit для сбора и передачи логов самохостящегося MongoDB в управляемую базу данных DigitalOcean OpenSearch. Мы рассмотрели настройку Fluent Bit и создание шаблона индекса в OpenSearch для эффективного мониторинга и анализа ваших логов MongoDB.

Source:
https://www.digitalocean.com/community/tutorials/collect-forward-logs-from-mongodb-to-opensearch-using-fluentbit