Hoe sturen Python logs naar OpenSearch met behulp van Fluent Bit

Inleiding

Efficiënt logbestandbeheer is essentieel voor het monitoren en onderhouden van applicaties in het hedendaagse data-gebaseerde wereld. OpenSearch, een opensource zoek- en analytics engine, biedt een robuuste mogelijkheid voor logaggregatie en analyse. door dit samen te voegen met Fluent Bit, een lichtgewicht logforwarder, kunnen we efficiënte manier Python-logbestanden naar OpenSearch versturen voor realtime monitoren en analyse. Deze handleiding zal u doorsteken hoe u deze krachtige combinatie kunt instellen.

Geval

Deze setup is nuttig voor ontwikkelaars en systeembeheerders die realtime Python-toepassingen moeten monitoren. door logbestanden van Python-toepassingen naar OpenSearch te verzenden, kunt u logbestanden analyseren, dashboards aanmaken, waarschuwingen instellen en waardevolle inzichten krijgen in de prestaties en gedrag van uw toepassing. Deze aanpak is scalabel en geschikt voor zowel kleine projecten als grote productieomgevingen.

Vereisten

Voordat u begint, zorg er voor dat u de volgende vereisten hebt:

1. Python geïnstalleerd: Zorg ervoor dat Python is geïnstalleerd op uw server of lokale machine.
2. OpenSearch Cluster: U moet toegang hebben tot een OpenSearch cluster. U kunt kiezen om een nieuw cluster te maken of een bestaand cluster te gebruiken.
3. Fluent Bit geïnstalleerd: Fluent Bit moet zijn geïnstalleerd op de server of machine waar uw Python-toepassing draait.

Stap 1 – Installeer Python

Update eerst uw voorraad en installeer Python. Voer de volgende commando’s uit:

sudo apt update
sudo apt install python3

Om de Python-installatie te verifiëren, voer uit:

python3 --version

Stap 2 – Configureer Python logging

Configureer uw Python-toepassing om berichten te loggen naar een bestand. Hier is een basisconfiguratie:

import logging

# Configureer logging
logging.basicConfig(
    filename='app.log',
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s'
)

# Voorbeeld van logbericht
logging.info('This is a test log message.')

Deze configuratie schrijft logboekberichten naar app.log met een tijdsaanduiding, loggeniveau en berichtformaat.

Stap 3 – Maak een OpenSearch-cluster

Als u geen OpenSearch-cluster heeft, kunt u er een maken met de commandoregelhulp van DigitalOcean, doctl. Voer de volgende opdracht uit:

doctl databases create opensearch-doks --engine opensearch --region your-region --size db-s-1vcpu-2gb --num-nodes 1

Vervang your-region door uw gewenste regio. U kunt ook handmatig een cluster maken met behulp van het DigitalOcean-beheerpaneel. Voor details over hoe u dat moet, raadpleeg dit handleiding over maak OpenSearch-clusters via het beheerpaneel.

Stap 5 – Installeer Fluent Bit

Om Fluent Bit te installeren, gebruikt u de volgende opdracht:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Stap 6 – Configureer Fluent Bit

Maak een configuratiebestand aan met de naam fluent-bit.conf om te definiëren hoe Fluent Bit logs moet lezen en doorsturen naar OpenSearch. Hier is een voorbeeldconfiguratie:

[SERVICE]
    Flush         1
    Daemon        Off
    Log_Level     info

[INPUT]
    Name          tail
    Path          /path/to/your/log/file.log
    Tag           python_logs
    Refresh_Interval 5

[OUTPUT]
    Name          opensearch
    Match         python_logs
    Host          your-opensearch-host
    Port          25060
    HTTP_User     your-username
    HTTP_Passwd   your-password
    Index         your-index-name
    tls           On
    Suppress_Type_Name On

• Path: Geef de padnaam van uw app.log op.
• Host: Vervang door uw OpenSearch host.
• HTTP_User: Uw OpenSearch gebruikersnaam.
• HTTP_Passwd: Uw OpenSearch wachtwoord.
• Index: De naam van het index waar de logs worden opgeslagen.

Stap 6 – Fluent Bit uitvoeren

Uitvoeren van Fluent Bit met het configuratiebestand:

/opt/fluent-bit/bin/fluent-bit -c fluent-bit.conf

Stap 7 – Controleer logs in OpenSearch

Om te controleren of de logs correct worden ingelezen, bekijk uw OpenSearch dashboard. U zou de logs moeten zien die van Fluent Bit zijn doorgestuurd.

Stap 8 – Maak een Index Pattern aan in OpenSearch Dashboards

1. Meld u aan bij OpenSearch Dashboards met uw inloggegevens.
2. Vergroten uw linker menubalk en klik op Indexbeheer onder Beheer.
3. Klik op Index maken uit het Indexen menu.
4. Voer de indexnaam in, configureer andere instellingen zo nodig en klik op Aanmaken.

Conclusie

Door deze stappen te volgen, heeft u een systeem ingesteld om Python logboeken naar OpenSearch te verzenden met behulp van Fluent Bit. Deze setup maakt het mogelijk om logboeken efficiënt te beheren en te analyseren, wat u helpt bij het behoud en het monitoren van uw toepassingen. Met OpenSearch en Fluent Bit heeft u een krachtige oplossing voor real-time logboekanalyse en monitering, aangepast om de behoeften van elke Python-gebaseerde toepassing te meeten.