자체 관리 MongoDB에서 DigitalOcean의 관리형 OpenSearch로 Fluent Bit을 사용하여 로그 수집 및 전송

소개

이 튜토리얼에서는 Ubuntu Droplet에서 자가 관리하는 MongoDB에 설치된 Fluent Bit을 사용하여 DigitalOcean의 관리형 OpenSearch 데이터베이스로 로그를 보내는 방법을 배울 것입니다.

OpenSearch는 Elasticsearch와 Kibana의 포크로 시작된 오픈 소스 검색 및 분석 도구입니다. 실시간 데이터 인gestion, 고급 질의, 강력한 보안을 지원하여 이커머스, IT 모니터링, 금융 애플리케이션에 적합합니다. SQL 질의 지원, 머신러닝, 경고 기능 등을 갖추어 활발한 커뮤니티 개발을 통해 지속적으로 진화하고 있습니다.

Fluent Bit는 가벼운 무게의 오픈 소스 로그 처리기 및 전달기로, 로그 데이터를 수집, 처리, 전달합니다. 성능에 최적화되어 컨테이너와 엣지 컴퓨팅과 같은 자원 제한된 환경에 적합합니다. Fluent Bit은 효율적으로 로그를 집계하고 다양한 대상으로 전달하여 실시간 로깅과 모니터링에 인기가 있습니다.

prerequisites

시작하기 전에 다음을 확인하세요:

• 디지털오션 클라우드 계정(디지털오션 클라우드 계정)을 통해 관리型 OpenSearch에 접근할 수 있습니다.
• OpenSearch와 Fluent Bit에 대한 기본 지식이 필요합니다.
• OpenSearch 대시보드에 접근할 수 있습니다.

Fluent Bit 설치

Fluent Bit을 설치할 수 있는 여러 플랫폼이 있습니다. 여기서는 Ubuntu 플랫폼을 사용합니다. Droplet의 터미널에서 다음 명령어를 실행하세요.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

공식 문서를 통해 더 많은 정보를 확인할 수 있습니다.

FluentBit 구성

Fluent Bit 설정 파일은 기본적으로 /etc/fluent-bit/fluent-bit.conf에 저장됩니다. bạn sẽ thay đổi tệp fluent-bit.conf để gửi 日志到 OpenSearch.

FluentBit Inputs

Fluent Bit cung cấp nhiều plugin đầu vào khác nhau để thu thập 日志 và dữ liệu sự kiện từ các nguồn khác nhau. Do bạn sẽ gửi 日志 từ các tệp 日志, bạn sẽ sử dụng plugin đầu vào tail.

Cập nhật tệp fluent-bit.conf theo cách sau:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

Bạn có thể đọc thêm về các plugin đầu vào trong sổ tay chính thức của Fluent Bit.

FluentBit Outputs

Tương tự như plugin đầu vào, Fluent Bit cung cấp plugin đầu ra để gửi 日志 đã thu thập và xử lý đến các điểm đến khác nhau. Vì chúng ta đang gửi 日志 đến Opensearch, hãy sử dụng plugin đầu ra Opensearch.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #DO Managed OpenSeach 사용자 이름
   HTTP_Passwd XXXX #Managed OpenSeach 비밀번호
   Index mongodb
   tls On
   Suppress_Type_Name On

Fluent Bit의 공식 매뉴얼에서 Output 플러그인에 대해 더 자세히 읽을 수 있습니다.

구성이 설정되면, Fluent Bit 서비스를 시작하세요.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

OpenSearch 대시보드에서 MongoDB 로그에 접근하기

• DigitalOcean 클라우드 계정에서 OpenSearch 대시보드로 이동하세요.
• 햄버거 아이콘을 사용하여 관리 섹션 아래의 대시보드 관리를 클릭하세요.
• 인덱스 패턴을 클릭하고 인덱스 패턴 생성을 클릭하세요.
• fluent-bit.conf 파일에서 사용된 것과 같은 이름을 인덱스 패턴에 부여하세요.
• 인덱스 패턴이 준비되면, 探索 탭에서 MongoDB 로그에 접근할 수 있습니다.

결론

축하합니다! Fluent Bit를 사용하여 자가 호스팅된 MongoDB 로그를 DigitalOcean 관리型 OpenSearch 데이터베이스로 수집하고 전달하는 방법을 성공적으로 배웠습니다. Fluent Bit 설정 및 OpenSearch에서 인덱스 패턴 생성 방법을 다루어 MongoDB 로그를 효율적으로 모니터링하고 분석할 수 있도록 설명했습니다.