Как защитить и наблюдать за Kafka

Kafka Monitoring

Введение

Apache Kafka поддерживает различные протоколы безопасности и процессы аутентификации, чтобы обеспечить, что только авторизованные сотрудники и приложения могут подключиться к кластеру. В стандартной конфигурации Kafka разрешает доступ всем, но не включает проверки безопасности. Хотя это полезно для изучения и разработки, в production развертываниях необходимо должным образом обеспечить безопасность перед экспонированием в внешний мир. Кроме того, такие среды должны мониториться для обеспечения гладкой работы и предотвращения возможных сбоев.

В этом руководстве вы усилите безопасность вашей установки Kafka, настроив шифрование трафика TLS и аутентификацию SASL для обеспечения стандартного процесса входа с именем пользователя и паролем. Вы узнаете, как настроить предоставленные скрипты производителя и потребителя для подключения к защищенному кластеру. Затем вы узнаете, как экспортировать метрики Kafka и визуализировать их в Grafana. Вы также узнаете, как доступиться к узлам и темам вашего кластера через удобный веб-интерфейс, предоставляемый AKHQ.

Требования

Для завершения этого руководства вам потребуется:

Капля с минимумом 4 ГБ оперативной памяти и 2 процессорами. В случае с сервером Ubuntu следуйте инструкциям Начальная настройка сервера для настройки.
Apache Kafka установлен и настроен на вашей капле. Для получения инструкций по настройке следуйте руководству Введение в Kafka. Вам нужно выполнить только Шаг 1 и Шаг 2.
Понимание того, как Java обрабатывает ключи и сертификаты. Для получения дополнительной информации посетите руководство Основы Java Keytool: Работа с хранилищами ключей Java.
Grafana установлен на вашем сервере или локальном компьютере. Пожалуйста, посетите руководство Как установить и защитить Grafana на Ubuntu для получения инструкций. Вам нужно выполнить только первые четыре шага.
Полностью зарегистрированное доменное имя направлено на вашу каплю. В этом руководстве будет использоваться ваш_домен и будет ссылаться на тот же доменное имя, что и требование для Grafana. Вы можете купить доменное имя на Namecheap, получить его бесплатно на Freenom или использовать регистратора доменных имен по вашему выбору.

Шаг 1 – Конфигурация безопасных протоколов Kafka

В стандартной конфигурации Kafka всем разрешено соединяться с ней без проверки происхождения запроса. Это意味着 ваш кластер доступен для всех по умолчанию.尽管这对于测试来说是好的，因为它减少了本地计算机和私人安装的维护负担，但是生产环境和面向公众的 Kafka 安装必须启用安全特性，以防止未授权的访问。

В этом шаге вы настроите ваш Kafka-broker, чтобы использовать шифрование TLS для трафика между брокером и потребителями. Также вы настроите SASL как фреймворк аутентификации для проверки данных учетных записей при подключении к кластеру.

Генерация сертификата TLS и хранений

Чтобы создать сертификаты и ключи, необходимые для установки TLS, вы будете использовать скрипт из репозитория Confluent Platform Security Tools. Сначала клонируйте его в ваш домашний каталог, выполнив следующую команду:

git clone https://github.com/confluentinc/confluent-platform-security-tools.git ~/kafka-ssl

Перейдите к нему:

cd ~/kafka-ssl

Скрипт, который вы будете использовать, называется kafka-generate-ssl-automatic.sh, и требует, чтобы вы предоставили свою страну, штат, организацию и город в виде переменных окружения. Эти параметры используются для создания сертификатов, но их содержимое не имеет значения. Вам также потребуется предоставить пароль, который будет использован для защиты созданного Java хранилища доверия и ключей.

Выполните следующие команды для настройки требуемых переменных окружения, заменив ваш_пароль_tls на желаемое значение:

export COUNTRY=US
export STATE=NY
export ORGANIZATION_UNIT=SE
export CITY=New York
export PASSWORD=your_tls_password

Обратите внимание, что PASSWORD должен быть не короче шести символов.

Дайте скрипту права на выполнение, выполнив:

chmod +x kafka-generate-ssl-automatic.sh

Затем выполните его для создания необходимых файлов:

./kafka-generate-ssl-automatic.sh

Появится много вывода. После завершения перечислите файлы в каталоге:

ls -l

Вывод должен быть похожим на это:

Output
rw-rw-r-- 1 kafka kafka    964 May 13 09:33 README.md
-rw-rw-r-- 1 kafka kafka   1063 May 13 09:34 cert-file
-rw-rw-r-- 1 kafka kafka   1159 May 13 09:34 cert-signed
-rwxrw-r-- 1 kafka kafka   6016 May 13 09:33 kafka-generate-ssl-automatic.sh
-rwxrwxr-x 1 kafka kafka   7382 May 13 09:33 kafka-generate-ssl.sh
drwxrwxr-x 2 kafka kafka   4096 May 13 09:34 keystore
-rw-rw-r-- 1 kafka kafka 184929 May 13 09:33 single-trust-store-diagram.pages
-rw-rw-r-- 1 kafka kafka  36980 May 13 09:33 single-trust-store-diagram.pdf
drwxrwxr-x 2 kafka kafka   4096 May 13 09:34 truststore

Вы увидите, что сертификат, хранилище доверия и хранилище ключей были успешно созданы.

Конфигурация Kafka для TLS и SASL

Теперь, когда у вас есть необходимые файлы для включения шифрования TLS, вы настроите Kafka для их использования и аутентификации пользователей с помощью SASL.

Вы будете изменять файл server.properties в каталоге config/kraft в установленном каталоге. Вы установили его в каталоге kafka в вашем домашнем каталоге как часть предварительных требований. Перейдите к нему, выполнив:

cd ~/kafka

Откройте основной конфигурационный файл для редактирования:

nano config/kraft/server.properties

Найдите следующие строки: