從自管理的 MongoDB 收集並轉發日誌至 DigitalOcean 的管理 OpenSearch 使用 Fluent Bit

简介

在本教程中，您将学习如何将安装在运行Ubuntu Droplet的自管理MongoDB上的Fluent Bit发送的日志传输到DigitalOcean托管的OpenSearch数据库。

OpenSearch是一套开源的搜索和分析工具，起源于Elasticsearch和Kibana的分支。它支持实时数据摄入、高级查询和强大的安全性，因此非常适合电子商务、IT监控和金融应用程序。OpenSearch具备SQL查询支持、机器学习和警报等功能，通过活跃的社区开发不断进化。

Fluent Bit是一个轻量级、开源的日志处理器和转发器，用于收集、处理和发送日志数据。它针对性能进行了优化，非常适合容器和边缘计算等资源受限环境。Fluent Bit能够有效地聚合和转发日志到各种目标，因此在实时日志记录和监控中非常受欢迎。

先决条件

在开始之前，请确保您已具备以下条件：

• A 數位海洋雲端帳戶並能訪問托管 OpenSearch。
• 對OpenSearch和Fluent Bit的基本知識。
• 能訪問OpenSearch 控制台。

安裝 Fluent Bit

Fluent Bit 可以在多個平臺上安裝。在這裡你將使用 Ubuntu 平臺。在你的 Droplet 的終端機上運行以下命令。

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

你可以訪問官方文檔以獲得更多信息。

配置 FluentBit

Fluent Bit 的配置文件默認存放在 /etc/fluent-bit/fluent-bit.conf。您將修改 fluent-bit.conf 以將日誌發送到 OpenSearch。

FluentBit 輸入

Fluent Bit 提供了多種輸入插件，使其能夠從不同的來源收集日誌和事件數據。由於您將從日誌文件發送日誌，因此將使用 tail 輸入插件。

按照以下方式更新 fluent-bit.conf 文件：

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

您可以在外語 Bit 的 官方手冊 中閱讀更多關於輸入插件的資訊。

FluentBit 輸出

與輸入插件類似，Fluent Bit 提供了一個輸出插件，將收集和處理過的日誌發送到不同的目的地。由於我們要將日誌發送到 Opensearch，讓我們使用 Opensearch 輸出插件。

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #DO Managed OpenSeach 用戶名
   HTTP_Passwd XXXX #Managed OpenSeach 密碼
   Index mongodb
   tls On
   Suppress_Type_Name On

您可以於 Fluent Bit 的官方手冊中閱讀更多關於輸出插件的資訊。

一旦設定完成，啟動 Fluent Bit 服務。

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

在 OpenSearch 仪表板中訪問 MongoDB 日誌

• 在您的OpenSearch 仪表板中，導航至DigitalOcean 雲帳戶。
• 使用漢堡菜單圖標，在管理部分單擊仪表板管理。
• 單擊索引模式並點擊創建索引模式。
• 為索引模式指定與fluent-bit.conf文件中相同的名稱。
• 一旦索引模式準備就緒，您就可以從探索標籤中訪問 MongoDB 日誌。

結論

恭喜您！您已成功學會使用Fluent Bit來收集和轉發自托管MongoDB日誌至DigitalOcean托管的OpenSearch數據庫。我們涵蓋了配置Fluent Bit和在OpenSearch中創建索引模式以高效監控和分析您的MongoDB日誌。