使用Fluent Bit将从自管理MongoDB收集的日志转发到DigitalOcean托管的OpenSearch

简介

在本教程中，您将学习如何将从安装在Ubuntu Droplet上自管理的MongoDB中的Fluent Bit发送日志到DigitalOcean托管的OpenSearch数据库。

OpenSearch是一个开源的搜索和分析套件，起源于Elasticsearch和Kibana的分支。它支持实时数据摄取、高级查询和强大的安全性，使其成为电子商务、IT监控和金融应用的理想选择。OpenSearch具备SQL查询支持、机器学习和警报等功能，通过社区的积极开发持续进化。

Fluent Bit是一个轻量级、开源的日志处理和转发器，用于收集、处理和发送日志数据。它针对性能进行了优化，非常适合容器和边缘计算等资源受限环境。Fluent Bit能够有效地聚合和转发日志到各种目的地，因此在实时日志记录和监控中非常受欢迎。

先决条件

在开始之前，请确保您具备以下条件：

• 一个数字海洋云账户，可以访问托管OpenSearch。
• 对OpenSearch和Fluent Bit的基本了解。
• 可以访问OpenSearch仪表板。

安装Fluent Bit

Fluent Bit可以在多个平台上安装。在这里，您将使用Ubuntu平台。在您的Droplet的终端上运行以下命令。

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

您可以查看官方文档以获取更多信息。

配置FluentBit

Fluent Bit的配置文件默认存储在/etc/fluent-bit/fluent-bit.conf。你需要修改fluent-bit.conf以将日志发送到OpenSearch。

FluentBit输入

Fluent Bit提供了多种输入插件，使其能够从不同的源收集日志和事件数据。由于你将发送来自日志文件的日志，所以会使用tail输入插件。

按照以下方式更新fluent-bit.conf文件：

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

你可以在Fluent Bit的官方手册中了解更多关于输入插件的信息。

FluentBit输出

与输入插件类似，Fluent Bit提供了一个输出插件，用于将收集和处理后的日志发送到不同的目标。由于我们要将日志发送到Opensearch，所以让我们使用Opensearch输出插件。

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin DO托管OpenSeach用户名
   HTTP_Passwd XXXX 托管OpenSeach密码
   Index mongodb
   tls On
   Suppress_Type_Name On

您可以在Fluent Bit的官方手册中了解更多关于输出插件的信息。

一旦配置设置完成，启动Fluent Bit服务。

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

在OpenSearch仪表板中访问MongoDB日志

• 在您的OpenSearch仪表板上导航至DigitalOcean云账户。
• 使用汉堡菜单图标，点击管理部分的仪表板管理。
• 点击索引模式并点击创建索引模式。
• 给索引模式起一个与fluent-bit.conf文件中相同的名称。
• 一旦索引模式准备好了，您就可以从发现标签中访问MongoDB日志。

结论

恭喜！您已成功学会使用Fluent Bit收集和转发自托管MongoDB日志到DigitalOcean托管的OpenSearch数据库。我们涵盖了配置Fluent Bit以及在OpenSearch中创建索引模式，以便高效监控和分析您的MongoDB日志。