איסוף והעברת רישומים מ־ MongoDB מנוהל באופן עצמי ל־ OpenSearch מנוהל של DigitalOcean באמצעות Fluent Bit

הקדמה

בהדרכה זו, תלמד איך לשלוח יומנים מ-Fluent Bit שהותקן על MongoDB מנוהלת באופן עצמאי ומתורגלת על Droplet של Ubuntu למאגר OpenSearch המנוהל על ידי DigitalOcean.

OpenSearch היא קובץ חיפוש וניתוח חופשי המקור היה בפיצול של Elasticsearch ו-Kibana. היא תומכת בקליטת נתונים בזמן אמת, שאילתות מתקדמות ואבטחה חזקה, מה שהופך אותה לאידיאלית לאפליקציות אשר לאחזקה, פיקוח IT ופיננסים. עם תכונות כמו תמיכה בשאילתות SQL, למידת מכונה והתראות, OpenSearch ממשיך להתפתח באופן מתמיד דרך פיתוח קהילתי פעיל.

Fluent Bit הוא מעבד ומעביר יומנים קליל, חופשי ומקור, שאוסף, מעב� ומשגר נתוני יומן. אופטמיזציה לביצועים, הוא מתאים לסביבות מוגבלות במשאבים כמו קונטיינרים ומיקרורשתות. Fluent Bit אוסף ביעילות ומעביר יומנים ליעדים שונים, מה שהופך אותו לפופולרי ללוגינג ופיקוח בזמן אמת.

דרישות מקדימות

לפני שתתחיל, וודא שיש לך:

• חשבון Cloud ב-DigitalOcean עם גישה ל- Managed OpenSearch.
• ידע בסיסי של OpenSearch ו- Fluent Bit.
• גישה ל- לוח הבקרה של OpenSearch.

התקנת Fluent Bit

יש מספר פלטפורמות של Fluent Bit שניתן להתקין עליהן. אתה תשתמש בפלטפורמת Ubuntu כאן. הרץ את הפקודה הבאה בטרמינל של ה-Droplet שלך.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

אתה יכול לגשת ל- תיעוד הרשמי למידע נוסף.

הגדרת FluentBit

קובץ התכונות של Fluent Bit נמצא במיקום /etc/fluent-bit/fluent-bit.conf באופן ברירת המחדל. תשנה את fluent-bit.conf כדי לשלוח את הלוגים ל-OpenSearch.

כניסות FluentBit

Fluent Bit מציע מגוון תוספים כניסה שמאפשרים לו לאסוף מידע משיקולי לוגים ואירועים ממקורות שונים. מאחר ותשלח לוגים מקבצי לוגים, תשתמש בתוסף כניסה 'tail'.

עדכן את קובץ fluent-bit.conf כך:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

אתה יכול לקרוא עוד על תוספים כניסה ב- המדריך הרשמי של Fluent Bit.

יציאות FluentBit

בדומה לתוספים כניסה, Fluent Bit מספק תוסף יציאה ששולח את הלוגים האסופים והמעובדים ליעדים שונים. מאחר ואנחנו שולחים לוגים ל-Opensearch, בוא נשתמש בתוסף יציאה Opensearch.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #שם משתמש של OpenSeach מנוהל
   HTTP_Passwd XXXX #סיסמה של OpenSeach מנוהל
   Index mongodb
   tls On
   Suppress_Type_Name On

אתה יכול לקרוא יותר על תוספי יצוא ב-Fluent Bit במדריך הרשמי.

ברגע שההגדרות מוגדרות, תתחיל את שירות ה-Fluent Bit.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

גישה ללוגים של MongoDB בלוח הבקרה של OpenSearch

• נווט ללוח הבקרה של OpenSearch בחשבון מערכת הענן של DigitalOcean.
• בשימוש באייקון ההמבורגר, תקליק על ניהול לוחות תחת הקטגוריה ניהול.
• תקליק על תבניות אינדקס ותקליק על צור תבנית אינדקס.
• תתן לתבנית האינדקס את אותו שם שהוקצה בקובץ fluent-bit.conf.
• ברגע שתבנית האינדקס מוכנה, אתה יכול לגשת ללוגים של MongoDB מהלשון 'גילוי'.

מסקנה

תיאבריך! הצלחת ללמוד להשתמש ב-Fluent Bit כדי לאסוף ולהעביר לוגים של MongoDB שמאוכסנים באופן עצמאי למסד נתונים DigitalOcean Managed OpenSearch. כיסינו את הגדרת Fluent Bit ויצירת תבנית מדינה ב-OpenSearch כדי לנטר ולנתח ביעילות את לוגים של MongoDB.