Wie man Kafka sichert und überwacht

Tutorials

Kafka Monitoring

Apache Kafka unterstützt verschiedene Sicherheitsprotokolle und Authentifizierungsworkflows, um sicherzustellen, dass nur autorisierte Mitarbeiter und Anwendungen eine Verbindung zum Cluster herstellen können. In der Standardkonfiguration ermöglicht Kafka den Zugriff für alle, hat jedoch keine Sicherheitsprüfungen aktiviert. Während das für das Erkunden und Entwickeln nützlich ist, müssen Produktionsumgebungen vor der Exposition an die Außenwelt ordnungsgemäß gesichert werden. Auch müssen solche Umgebungen überwacht werden, um einen reibungslosen Betrieb zu gewährleisten und mögliche Ausfälle zu verhindern.

In diesem Tutorial werden Sie Ihre Kafka-Installation durch die Konfiguration von TLS-Trafikverschlüsselung und SASL-Authentifizierung stärken, um einen Standard- Benutzername-und-Passwort-Login-Fluss bereitzustellen. Sie werden sehen, wie Sie die bereitgestellten Producer- und Consumer-Skripte konfigurieren, um eine Verbindung zu einem gesicherten Cluster herzustellen. Dann werden Sie erfahren, wie Sie Kafka-Metriken exportieren und in Grafana visualisieren. Sie lernen auch, wie Sie auf die Knoten und Themen Ihres Clusters über eine benutzerfreundliche, webbasierte Oberfläche zugreifen können, die von AKHQ bereitgestellt wird.

Um dieses Tutorial abzuschließen, benötigen Sie:

Ein Droplet mit mindestens 4GB RAM und 2 CPUs. Bei einem Ubuntu-Server folgen Sie den Ersten Server-Einrichtungsschritten für die Einrichtungsanweisungen.
Apache Kafka ist auf Ihrem Droplet installiert und konfiguriert. Für die Einrichtungsanweisungen folgen Sie dem Tutorial Einführung in Kafka. Sie müssen nur Schritt 1 und Schritt 2 ausführen.
Ein Verständnis davon, wie Java Schlüssel und Zertifikate verarbeitet. Weitere Informationen finden Sie im Tutorial Java Keytool Essentials: Arbeiten mit Java-Schlüssel dépots.
Grafana auf Ihrem Server oder lokalen Rechner installiert. Bitte besuchen Sie das Tutorial So installieren und sichern Sie Grafana auf Ubuntu für die Anweisungen. Sie müssen nur die ersten vier Schritte ausführen.
Ein vollständig registrierter Domänencode wird auf Ihr Droplet verwiesen. Dieses Tutorial verwendet Ihre_Domain durchgängig und bezieht sich auf die gleiche Domäne wie die Grafana-Voraussetzung. Sie können einen Domänennamen bei Namecheap kaufen, einen kostenlos bei Freenom erhalten oder Ihren bevorzugten Domain-Registrar verwenden.

Schritt 1 – Konfigurieren der Kafka-Sicherheitsprotokolle

In seiner Standardeinstellung erlaubt Kafka allen, sich ohne Prüfung der Herkunft der Anfrage mit ihm zu verbinden. Dies bedeutet, dass Ihr Cluster standardmäßig für jeden zugänglich ist. Während das für die Testung in Frage steht, da es die Wartungsarbeit auf lokalen Maschinen und privaten Installationen reduziert, müssen Produktions- und öffentlich zugängliche Kafka-Installationen Sicherheitseigenschaften aktivieren, um unautorisierte Zugriffe zu vermeiden.

In diesem Schritt werden Sie Ihren Kafka-Broker so einstellen, dass er TLS-Verschlüsselung für den Datenverkehr zwischen dem Broker und den Konsumenten verwendet. Sie werden auch SASL als Authentifizierungsframework einrichten, um Zugangsdaten beim Verbinden mit dem Cluster zu prüfen.

Generierung von TLS-Zertifikaten und -Speichern

Um die für die Einrichtung von TLS erforderlichen Zertifikate und Schlüssel zu generieren, werden Sie das Skript aus dem Confluent Platform Security Tools-Repository verwenden. Erstellen Sie zunächst einen Klon in Ihrem Home-Verzeichnis, indem Sie den folgenden Befehl ausführen:

git clone https://github.com/confluentinc/confluent-platform-security-tools.git ~/kafka-ssl

Navigieren Sie zu ihm:

cd ~/kafka-ssl

Die Skript, das du verwenden wirst, heißt kafka-generate-ssl-automatic.sh, und es erfordert, dass du dein Land, dein Staat, deine Organisation und deine Stadt als Umgebungsvariablen bereitstellen. Diese Parameter werden verwendet, um Zertifikate zu erzeugen, aber ihre Inhalte sind unimportiert. Du musst auch ein Passwort bereitstellen, das zum Schutz des Java-Vertrauens- und Schlüsselgeschäfts genutzt wird, das erstellt wird.

Führe die folgenden Befehle aus, um die erforderlichen Umgebungsvariablen einzurichten, und ersetze your_tls_password mit deinem gewünschten Wert:

export COUNTRY=US
export STATE=NY
export ORGANIZATION_UNIT=SE
export CITY=New York
export PASSWORD=your_tls_password

Beachte, dass das PASSWORD mindestens sechs Zeichen lang sein muss.

Gib dem Skript ausführbare Berechtigungen durch Ausführung:

chmod +x kafka-generate-ssl-automatic.sh

Dann führe es aus, um die erforderlichen Dateien zu generieren:

./kafka-generate-ssl-automatic.sh

Es wird viel Ausgabe geben. Wenn es fertig ist, liste die Dateien im Verzeichnis auf:

ls -l

Die Ausgabe sollte etwa wie folgt aussehen:

Output
rw-rw-r-- 1 kafka kafka    964 May 13 09:33 README.md
-rw-rw-r-- 1 kafka kafka   1063 May 13 09:34 cert-file
-rw-rw-r-- 1 kafka kafka   1159 May 13 09:34 cert-signed
-rwxrw-r-- 1 kafka kafka   6016 May 13 09:33 kafka-generate-ssl-automatic.sh
-rwxrwxr-x 1 kafka kafka   7382 May 13 09:33 kafka-generate-ssl.sh
drwxrwxr-x 2 kafka kafka   4096 May 13 09:34 keystore
-rw-rw-r-- 1 kafka kafka 184929 May 13 09:33 single-trust-store-diagram.pages
-rw-rw-r-- 1 kafka kafka  36980 May 13 09:33 single-trust-store-diagram.pdf
drwxrwxr-x 2 kafka kafka   4096 May 13 09:34 truststore

Du erkennst, dass das Zertifikat, das Vertrauens- und Schlüsselgeschäft erfolgreich erstellt wurden.

Kafka für TLS- und SASL-Authentifizierung einrichten

Nun, da du die notwendigen Dateien zum Aktivieren der TLS-Verschlüsselung hast, konfiguriere Kafka, um sie zu verwenden und Benutzer mittels SASL zu authentifizieren.

Sie bearbeiten die Datei server.properties im Verzeichnis config/kraft im Installationsverzeichnis. Sie haben sie als Teil der Vorbedingungen im Ihren Home-Verzeichnis unter kafka installiert. Navigieren Sie zu ihr mit dem Befehl:

cd ~/kafka

Öffnen Sie die Hauptkonfigurationsdatei für die Bearbeitung:

nano config/kraft/server.properties

Suchen Sie nach den folgenden Zeilen: