כיצד לשלוח יומני Python ל-OpenSearch באמצעות Fluent Bit

הקדמה

ניהול מערכת מעניינת מאד בשביל השגת הנטישה והשמרה על היישומים בעולם הדati של היום. OpenSearch, מנוע חיפוש ואנליציה פתוח, מספק יכולות מאובטחות של הצטברת והניתוח של מערכת הלוגים. על ידי שילוב אותו עם Fluent Bit, מעביר לוגים קל ומהיר, נוכל באופן יעיל לשלוח את הלוגים של הפיתוח של הפיתוח ל OpenSearch עבור מעקבה בזמן אמת וניתוח. הדרכה הזו תדרדר אתכם דרך הגדרת השילוב החזק הזה.

מקרה שימוש

ההגדרה הזו מועילה לפיתוחנים ומנהלי מערכות המצרכים להשגת מעקב בזמן אמת ביישומים הפיתוח של Python. על ידי שליחת לוגים מיישומים הפיתוח ל OpenSearch, נוכל לנתח לוגים, ליצור מדף בדיקות, להגיע להתרעעות, ולקבל הבנה ערך על הביצועים וההתנהגויות של היישומך. הגישה הזו סקלאבית ומותאמת לפרוייקטים קטנים ולסביבות ייצור מוניטיניות גדולות.

דרישות קדמיות

לפני שיתחילו, ודאו שיש לכם את הדרישות הבאות במקום:

1. Python מותקן: ודאו שPython מותקן על השרת או המכונה המקומית שלך.
2. קבוצת OpenSearch: עליך להיות קיים גישה לקבוצת OpenSearch. אתה יכול ליצור קבוצה חדשה או להשתמש בקבוצה קיימת.
3. Fluent Bit מותקן: Fluent Bit צריך להיות מותקן על השרת או המכונה בה היא מופעלת.

שלב 1 – התקנת Python

ראשית, עדכון את הארכיון שלך והתקנה Python. בוא על מנת לבצע את ההוראות הבאות:

sudo apt update
sudo apt install python3

כדי לבדוק את ההתקנה של Python, בוא על מנת לבצע:

python3 --version

שלב 2 – הגדרת הרשת של Python

תסדר את היישומך Python כך שהוא ירשם מסרים לקובץ. הנה הגדרה בסיסית:

import logging

# הגדרת הרשת הלוגים
logging.basicConfig(
    filename='app.log',
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s'
)

# מסר הלוג נסיוני
logging.info('This is a test log message.')

ההגדרה הזו מקלידה מסרים לעיתון app.log עם תווידעת, רמה המערך ופורmat המסר.

שלב 3 – יצירת קבוצת OpenSearch

אם אין לך קבוצת OpenSearch, אתה יכול ליצור אחת בעזרת הכלי השורתי של DigitalOcean, doctl. הריץ את הפקודה הבאה:

doctl databases create opensearch-doks --engine opensearch --region your-region --size db-s-1vcpu-2gb --num-nodes 1

החלף your-region עם אזור המעדף שלך. באלטרנטיבה, אתה יכול להשתמש בלוח בקר של DigitalOcean כדי ליצור קבוצה באופן ידני. עבור פרטים על איך לעשות זאת, הגיע למדריך הזה על יצירת קבוצות OpenSearch דרך לוח בקר.

שלב 4 – התקנת Fluent Bit

כדי להתקנת Fluent Bit, השתמש בפקודה הבאה:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

שלב 5 – הגדרת Fluent Bit

יצירת קובץ הגדרות בשם fluent-bit.conf על מנת להגדיר איך פלואנט ביט צריך לקרוא ולהעביר לופנד חשבונות ל OpenSearch. הנה דוגמה להגדרה:

[SERVICE]
    Flush         1
    Daemon        Off
    Log_Level     info

[INPUT]
    Name          tail
    Path          /path/to/your/log/file.log
    Tag           python_logs
    Refresh_Interval 5

[OUTPUT]
    Name          opensearch
    Match         python_logs
    Host          your-opensearch-host
    Port          25060
    HTTP_User     your-username
    HTTP_Passwd   your-password
    Index         your-index-name
    tls           On
    Suppress_Type_Name On

• Path: ספק את הנתיב ל app.log שלך.
• Host: שינה את המארח של ה OpenSearch.
• HTTP_User: שם המשתמש של ה OpenSearch שלך.
• HTTP_Passwd: הסיסמא של ה OpenSearch שלך.
• Index: שם הרשימה בה הם יישמרו את החשבונות.

Step 6 – הרצת Fluent Bit

הרץ Fluent Bit עם קובץ הגדרות הזה:

/opt/fluent-bit/bin/fluent-bit -c fluent-bit.conf

Step 7 – בדיקת החשבונות ב OpenSearch

כדי להבדיק שהחשבונות נובעים בצורה נכונה, בדוגמא ללוף את לופנד המשקפיט של OpenSearch. אתה צריך לראות שהחשבונות מועברים מפלואנט ביט.

Step 8 – יצירת תבנית רשימה בלוף המשקפים של OpenSearch

1. התחברות ללוגין של OpenSearch Dashboards באמצעות המידע שלך.
2. הרחב את התפריט השמאלי ולחץ על ניהול רשימות תחת ניהול.
3. לחץ על צור רשימה חדשה מתפריט רשימות.
4. הקיש את שמת הרשימה, תכנן את ההגדרות האחרות הנחוצות, ולחץ על צור.

סיכום

על ידי עיצוב השלבים האלה, התבצעת את המערכת לשליחת מחשבות Python אל OpenSearch בעזרת Fluent Bit. ההגדרה הזו מאפשרת לך לנהל ולנתח מחשבות באופן יעיל, עזרתך לשמירה ולנטרה באופן יעיל על היישומים שלך. עם OpenSearch וFluent Bit, יש לך פתרון חזק לנתח מחשבות בזמן אמת ולנטרה, מותאם לצרכי כל יישום Python-בסיסי.