自ら管理するMongoDBからDigitalOceanの管理型OpenSearchにFluent Bitを使用してログを収集および転送する

導入

このチュートリアルでは、Ubuntu Droplet上で自己管理型のMongoDBにインストールされたFluent Bitを使用して、DigitalOceanの管理型OpenSearchデータベースにログを送信する方法を学びます。

OpenSearchは、ElasticsearchとKibanaのフォークとして始まったオープンソースの検索および分析スイートです。リアルタイムデータのインジェスション、高度なクエリ、強力なセキュリティをサポートしており、eコマース、IT監視、金融アプリケーションに最適です。SQLクエリサポート、機械学習、アラートなどの機能を持ち、OpenSearchは活発なコミュニティの開発を通じて継続的に進化しています。

Fluent Bitは、軽量でオープンソースのログプロセッサおよびフォワーダーで、ログデータを収集、処理、送信します。パフォーマンスに最適化されており、コンテナやエッジコンピューティングのようなリソース制約環境に理想的です。Fluent Bitは効率的にログを集約し、さまざまな宛先にフォワードするため、リアルタイムログと監視に人気があります。

前提条件

始める前に、以下を確認してください：

• A デジタルオーシャン クラウドアカウントとマネージド OpenSearchへのアクセス。
• OpenSearchとFluent Bitの基本知識。
• OpenSearch ダッシュボードへのアクセス。

Fluent Bitのインストール

Fluent Bitをインストールできるプラットフォームは複数あります。ここではUbuntuプラットフォームを使用します。Dropletのターミナルで以下のコマンドを実行してください。

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

更多信息については公式ドキュメントにアクセスできます。

FluentBitの設定

Fluent Bitの設定ファイルはデフォルトで/etc/fluent-bit/fluent-bit.confに保存されています。あなたはfluent-bit.confを編集して、ログをOpenSearchに送信するようにします。

FluentBitインプット

Fluent Bitは、さまざまなソースからのログおよびイベントデータを収集するためのインプットプラグインを提供しています。ログファイルからログを送信するため、tailインプットプラグインを使用します。

fluent-bit.confファイルを以下のように更新します：

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

インプットプラグインの詳細については、Fluent Bitの公式マニュアルで更多信息を読むことができます。

FluentBitアウトプット

インプットプラグインと同様に、Fluent Bitは収集された処理されたログをさまざまな宛先に送信するアウトプットプラグインを提供しています。OpenSearchにログを送信するため、Opensearchアウトプットプラグインを使用しましょう。

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #DO Managed OpenSeachユーザー名
   HTTP_Passwd XXXX #Managed OpenSeachパスワード
   Index mongodb
   tls On
   Suppress_Type_Name On

Fluent Bitの公式マニュアルでOutputプラグインについてさらに読むことができます。

設定が完了したら、Fluent Bitサービスを起動します。

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

OpenSearch DashboardでMongoDBのログにアクセスする

• OpenSearch Dashboardに移動し、DigitalOcean Cloudアカウントでログインします。
• ハンバーガーアイコンを使用して、管理セクションの下にあるダッシュボード管理をクリックします。
• インデックスパターンをクリックし、インデックスパターンを作成をクリックします。
• インデックスパターンに、fluent-bit.confファイルで使用したのと同じ名前を付けます。
• インデックスパターンが準備できたら、DiscoverタブからMongoDBのログにアクセスできます。

結論

おめでとうございます！自分でホストしたMongoDBのログを収集し、DigitalOceanのマネージドOpenSearchデータベースに転送するためにFluent Bitを使う方法を無事に学びました。Fluent Bitの設定と、MongoDBのログを効率的に監視・分析するためのOpenSearchでのインデックスパターンの作成について説明しました。