介紹
在這系列教程中之前的教程引導您安裝、配置和運行 Suricata 作為入侵檢測 (IDS) 和入侵防護 (IPS) 系統。您還學會了有關 Suricata 規則以及如何創建您自己的規則。
在本教程中，您將探索如何將 Suricata 集成到 Elasticsearch、Kibana 和 Filebeat 中，開始使用 Elastic Stack 和 Rocky Linux 8 創建您自己的安全信息和事件管理 (SIEM) 工具。SIEM 工具用於收集、匯總、存儲和分析事件數據，以搜索您的網絡和服務器上的安全威脅和可疑活動。
構建自己的 SIEM 的組件包括：
- Elasticsearch用於存儲、索引、相關和搜索來自您的 Suricata 服務器的安全事件。
- Kibana用於顯示並在 Elasticsearch 中存儲的安全事件日誌中進行導航。
- Filebeat用於解析 Suricata 的
eve.json日誌文件，並將每個事件發送到 Elasticsearch 進行處理。 - Suricata用於掃描您的網絡流量以尋找可疑事件，並記錄或丟棄無效封包。
首先，您將安裝並配置 Elasticsearch 和 Kibana，並設置一些特定的身份驗證設置。然後，您將將 Filebeat 添加到您的 Suricata 系統中，以將其 eve.json 日誌發送到 Elasticsearch。
最後，您將學習如何使用 SSH 和網頁瀏覽器連接到 Kibana，然後加載並與顯示 Suricata 事件和警報的 Kibana 儀表板進行交互。
先決條件
如果您一直在關注本教程系列，那麼您應該已經在 Rocky Linux 伺服器上運行了 Suricata。這台伺服器將被稱為您的Suricata 伺服器。
- 如果您仍需要安裝 Suricata，那麼您可以遵循這篇教程，該教程解釋了如何在 Rocky Linux 8 上安裝 Suricata。
您還需要第二台伺服器來托管 Elasticsearch 和 Kibana。這台伺服器將被稱為您的Elasticsearch 伺服器。它應該是一台具有：
- 4GB RAM 和 2 個 CPU 的 Rocky Linux 8 伺服器，設置了一個非 root sudo 使用者。您可以通過遵循使用 Rocky Linux 8 進行初始伺服器設置來實現這一點。
為了本教程的目的，兩台伺服器應該能夠使用私有 IP 地址進行通信。您可以使用 VPN 像 WireGuard 來連接您的伺服器，或者使用具有主機之間私有網路連接的雲提供商。您也可以選擇在同一台伺服器上運行 Elasticsearch、Kibana、Filebeat 和 Suricata 以進行實驗。
步驟 1 — 安裝 Elasticsearch 和 Kibana
本教程的第一步是在您的 Elasticsearch 伺服器上安裝 Elasticsearch 和 Kibana。要開始，請使用以下命令將 Elastic GPG 金鑰添加到您的伺服器：
接下來，在您的 /etc/yum/yum.repos.d 目錄中使用 vi 或您偏好的編輯器創建一個 elasticsearch.repo 文件，其內容如下。這確保在通過 yum 安裝新套件時將使用上游 Elasticsearch 存儲庫：
[elasticsearch]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md
如果您使用 vi，在完成更改後，請按 ESC 然後輸入 :x 以將更改寫入文件並退出。
現在使用 dnf 命令安裝 Elasticsearch 和 Kibana。按 Y 接受有關 GPG 金鑰指紋的任何提示：
--enablerepo 選項用於覆蓋 /etc/yum.repos.d/elasticsearch.repo 檔案中的預設停用設定。這個方法確保在安裝其他套件更新到您的伺服器時，Elasticsearch 和 Kibana 套件不會意外升級。
安裝完套件後，使用 ip address show 命令找到並記錄您伺服器的私有 IP 地址：
您將收到以下類似的輸出：
Outputlo UNKNOWN 127.0.0.1/8 ::1/128
eth0 UP 159.89.122.115/20 10.20.0.8/16 2604:a880:cad:d0::e56:8001/64 fe80::b832:69ff:fe46:7e5d/64
eth1 UP 10.137.0.5/16 fe80::b883:5bff:fe19:43f3/64
此輸出中的私有網路介面是突顯的 eth1 設備，具有 IPv4 地址 10.137.0.5。您的設備名稱和 IP 地址將不同。無論您的設備名稱和私有 IP 地址為何，該地址將來自以下保留區塊：
10.0.0.0至10.255.255.255(10/8 前綴)172.16.0.0至172.31.255.255(172.16/12 前綴)192.168.0.0至192.168.255.255(192.168/16 前綴)
如果您想了解更多有關這些區塊如何分配的資訊，請訪問 RFC 1918 規範。
記錄您的Elasticsearch伺服器的私有IP地址（在本例中為10.137.0.5）。此地址將在本教程的其餘部分中稱為your_private_ip。還請注意網絡接口的名稱，在本例中為eth1。在本教程的下一部分中，您將配置Elasticsearch和Kibana以聆聽來自您的Suricata伺服器的私有IP地址的連接。
步驟2 — 配置Elasticsearch
預設情況下，Elasticsearch僅接受本地連接。此外，它沒有啟用任何身份驗證，因此像Filebeat這樣的工具將無法將日誌發送到它。在本教程的本節中，您將配置Elasticsearch的網絡設置，然後啟用Elasticsearch內置的xpack安全模塊。
配置Elasticsearch網絡
由於您的Elasticsearch和Suricata伺服器是分開的，因此您需要配置Elasticsearch以在其私有網絡接口上聆聽連接。
使用vi或您喜歡的編輯器打開/etc/elasticsearch/elasticsearch.yml文件：
在第50至60行之间找到已注释的#network.host: 192.168.0.1行，并在其后添加一行配置network.bind_host设置，如下所示：
# 默认情况下，Elasticsearch仅在本地主机上可访问。在此设置一个不同的
# 地址以在网络上公开此节点：
#
#network.host: 192.168.0.1
network.bind_host: ["127.0.0.1", "your_private_ip"]
#
# 默认情况下，Elasticsearch监听第一个空闲端口上的HTTP流量，
# 从9200开始。在这里设置一个特定的HTTP端口：
请在your_private_ip地址的位置替换为您的私有IP地址。此行将确保Elasticsearch仍然可以通过其本地地址访问，以便Kibana可以访问它，并且可以通过服务器的私有IP地址访问。
接下来，使用vi的快捷键SHIFT+G到达文件末尾。
在文件末尾添加以下突出显示的行：
. . .
discovery.type: single-node
xpack.security.enabled: true
设置discovery.type允许Elasticsearch作为单个节点运行，而不是在其他Elasticsearch服务器的群集中。启用xpack.security.enabled设置会打开Elasticsearch附带的一些安全功能。
编辑完毕后保存并关闭文件。
最后，添加防火墙规则以确保您的Elasticsearch服务器可以通过其私有网络接口访问。如果您遵循了先决条件教程并且正在使用firewalld，请运行以下命令：
將第一個命令中的eth1替換為您的私有網路接口名稱，如果您的名稱不同。該命令將介面規則更改為使用internal Firewalld區域，該區域比默認的public區域更寬鬆。
接下來的命令添加規則以允許端口9200和9300上的Elasticsearch流量，以及端口5601上的Kibana流量。
最後一個命令重新加載Firewalld服務，其中包含新的永久規則。
接下來，您將啟動Elasticsearch守護程序，然後配置用於xpack安全模塊的密碼。
啟動Elasticsearch
現在您已經配置了Elasticsearch的網絡和xpack安全設置，您需要啟動它以使更改生效。
運行以下systemctl命令來啟動Elasticsearch：
一旦Elasticsearch啟動完成，您可以繼續本教程的下一部分，其中您將為Elasticsearch內置的默認用戶生成密碼。
配置Elasticsearch密碼
現在您已啟用xpack.security.enabled設置，您需要為默認的Elasticsearch用戶生成密碼。 Elasticsearch包括一個位於/usr/share/elasticsearch/bin目錄中的實用程序，可以自動為這些用戶生成隨機密碼。
執行以下命令以cd到該目錄，然後為所有默認用戶生成隨機密碼：
您將收到如下輸出。在提示繼續時，請按y然後按RETURN或ENTER：
Initiating the setup of passwords for reserved users elastic,apm_system,kibana,kibana_system,logstash_system,beats_system,remote_monitoring_user.
The passwords will be randomly generated and printed to the console.
Please confirm that you would like to continue [y/N]y
Changed password for user apm_system
PASSWORD apm_system = eWqzd0asAmxZ0gcJpOvn
Changed password for user kibana_system
PASSWORD kibana_system = 1HLVxfqZMd7aFQS6Uabl
Changed password for user kibana
PASSWORD kibana = 1HLVxfqZMd7aFQS6Uabl
Changed password for user logstash_system
PASSWORD logstash_system = wUjY59H91WGvGaN8uFLc
Changed password for user beats_system
PASSWORD beats_system = 2p81hIdAzWKknhzA992m
Changed password for user remote_monitoring_user
PASSWORD remote_monitoring_user = 85HF85Fl6cPslJlA8wPG
Changed password for user elastic
PASSWORD elastic = 6kNbsxQGYZ2EQJiqJpgl
您將無法再次運行該實用程序，因此請確保將這些密碼記錄在安全的地方。您需要在本教程的下一部分中使用kibana_system用戶的密碼，在本教程的配置Filebeat步驟中使用elastic用戶的密碼。
在本教程的這一部分，您已完成了Elasticsearch的配置。下一節將解釋如何配置Kibana的網絡設置及其xpack安全模塊。
第3步 — 配置Kibana
在本教程的上一節中，您已將Elasticsearch配置為在Elasticsearch服務器的私有IP地址上監聽連接。您需要對Kibana執行相同操作，以便您Suricata服務器上的Filebeats能夠到達它。
首先，您需要通过生成一些密钥来启用 Kibana 的 xpack 安全功能，Kibana 将使用这些密钥来将数据存储到 Elasticsearch 中。然后，您需要配置 Kibana 的网络设置和身份验证详细信息以连接到 Elasticsearch。
在 Kibana 中启用 xpack.security
要开始使用 Kibana 中的 xpack 安全设置，您需要生成一些加密密钥。Kibana 使用这些密钥来存储会话数据（如 cookies），以及 Elasticsearch 中各种保存的仪表板和数据视图。
您可以使用位于 /usr/share/kibana/bin 目录中的 kibana-encryption-keys 实用程序来生成所需的加密密钥。运行以下命令来 cd 到该目录，然后生成密钥：
使用 -q 标志抑制工具的说明，并使用 --force 标志确保您创建新密钥。您应该会收到如下输出：
Outputxpack.encryptedSavedObjects.encryptionKey: 66fbd85ceb3cba51c0e939fb2526f585
xpack.reporting.encryptionKey: 9358f4bc7189ae0ade1b8deeec7f38ef
xpack.security.encryptionKey: 8f847a594e4a813c4187fa93c884e92b
将这三个密钥复制到安全位置。现在，您需要将它们添加到 Kibana 的 /etc/kibana/kibana.yml 配置文件中。
使用 vi 或您喜欢的编辑器打开该文件：
使用 vi 快捷键 SHIFT+G 到达文件末尾。将您复制到文件末尾的三行 xpack 粘贴进去。
. . .
# 指定用於所有可本地化字符串、日期和數字格式的語言環境。
# 支持的語言如下：英語 - en，默認為中文 - zh-CN。
#i18n.locale: "en"
xpack.encryptedSavedObjects.encryptionKey: 66fbd85ceb3cba51c0e939fb2526f585
xpack.reporting.encryptionKey: 9358f4bc7189ae0ade1b8deeec7f38ef
xpack.security.encryptionKey: 8f847a594e4a813c4187fa93c884e92b
保持文件打開，並繼續進入下一部分，您將在該部分配置 Kibana 的網絡設置。
配置 Kibana 網絡
要配置 Kibana 的網絡，使其在您的 Elasticsearch 服務器的私有 IP 地址上可用，請在 /etc/kibana/kibana.yml 中找到已注釋的 #server.host: "localhost" 行。該行位於文件的開頭附近。在該行後新增一行，填入您服務器的私有 IP 地址，如下所示：
# Kibana 由後端服務器提供。此設置指定要使用的端口。
#server.port: 5601
# 指定 Kibana 服務器將綁定的地址。IP 地址和主機名都是有效值。
# 默認值為 'localhost'，這通常表示遠程機器將無法連接。
# 要允許遠程用戶連接，請將此參數設置為非回環地址。
#server.host: "localhost"
server.host: "your_private_ip"
將您的私有 IP 替換為 your_private_ip 地址。
完成編輯後，儲存並關閉檔案。接下來，您需要配置 Kibana 使用的用戶名和密碼以連接到 Elasticsearch。
配置 Kibana 憑證
設置 Kibana 用於驗證到 Elasticsearch 的用戶名和密碼有兩種方式。第一種是編輯 /etc/kibana/kibana.yml 配置檔案並在那裡添加值。第二種方法是將值存儲在 Kibana 的keystore中，這是一個 Kibana 可以用來存儲密碼的混淆文件。
在本教程中，我們將使用 keystore 方法，因為它避免直接編輯 Kibana 的配置文件。
如果您更喜歡直接編輯文件，則需要在其中配置的設置是 elasticsearch.username 和 elasticsearch.password。
如果您選擇編輯配置文件，請跳過本節中的其餘步驟。
使用 kibana-keystore 工具添加秘密到 keystore，首先 cd 到 /usr/share/kibana/bin 目錄。然後，執行以下命令設置 Kibana 的用戶名：
您將收到如下提示：
Enter value for elasticsearch.username: *************
輸入kibana_system時，可以複製和粘貼，或者仔細輸入用戶名。每輸入一個字符，都會使用*星號字符進行遮罩。完成輸入用戶名後，按ENTER或RETURN。
現在重複這個過程，這次保存密碼。請務必複製前一節教程中生成的kibana_system用戶的密碼。作為參考，在這個教程中，示例密碼是1HLVxfqZMd7aFQS6Uabl。
運行以下命令來設置密碼：
當提示時，粘貼密碼以避免任何轉錄錯誤：
Enter value for elasticsearch.password: ********************
啟動 Kibana
現在，您已經為 Kibana 配置了網絡和xpack安全設置，並將憑證添加到了 keystore 中，您需要啟動它才能使更改生效。
運行以下systemctl命令來重新啟動 Kibana：
一旦 Kibana 啟動，您可以繼續本教程的下一節，在該節中您將配置 Filebeat 在您的 Suricata 服務器上將其日誌發送到 Elasticsearch。
步驟 4 — 安裝 Filebeat
現在您的Elasticsearch和Kibana進程已配置正確的網路和身份驗證設置，下一步是在您的Suricata伺服器上安裝並設置Filebeat。
開始安裝Filebeat，使用以下命令在您的Suricata伺服器上添加Elastic GPG金鑰：
接下來，在您的/etc/yum/yum.repos.d目錄中創建一個elasticsearch.repo文件，內容如下，使用vi或您偏好的編輯器：
[elasticsearch]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md
當您完成更改後，保存並退出文件。現在使用dnf命令安裝Filebeat套件：
接下來，您需要配置Filebeat來連接到Elasticsearch和Kibana。使用vi或您偏好的編輯器打開/etc/filebeat/filebeat.yml配置文件：
在文件大約第100行附近找到Kibana部分。在被註釋掉的#host: "localhost:5601"行後添加一行，指向您的Kibana實例的私有IP地址和端口：
. . .
# 從Beats版本6.0.0開始，儀表板是通過Kibana API加載的。
# 這需要一個Kibana端點配置。
setup.kibana:
# Kibana主機
# 方案和端口可以省略，將設置為默認值（http和5601）
# 如果指定了附加路徑，則需要方案：http://localhost:5601/path
# IPv6地址應始終定義為：https://[2001:db8::1]:5601
#host: "localhost:5601"
host: "your_private_ip:5601"
. . .
這項更改將確保Filebeat能夠連接到Kibana，以便在Elasticsearch中創建各種SIEM索引、儀表板和處理管道，以處理您的Suricata日誌。
接下來，在文件中找到大約在第130行附近的Elasticsearch Output部分，並編輯hosts、username和password設置，使其與您的Elasticsearch伺服器的值匹配：
output.elasticsearch:
# 連接到的主機數組。
hosts: ["your_private_ip:9200"]
# 協議 - 可以是 `http`（默認）或 `https`。
#protocol: "https"
# 認證憑證 - 可以是API密鑰或用戶名/密碼。
#api_key: "id:api_key"
username: "elastic"
password: "6kNbsxQGYZ2EQJiqJpgl"
. . .
在hosts行上替換您的Elasticsearch伺服器的私有IP地址。取消註釋username字段並將其保留為elastic用戶。將password字段從changeme更改為您在本教程的配置Elasticsearch密碼部分生成的elastic用戶的密碼。
完成編輯後保存並關閉文件。接下來，使用以下命令啟用Filebeat的內置Suricata模塊：
現在，Filebeat已配置為連接到Elasticsearch和Kibana，並啟用了Suricata模塊，下一步是將SIEM儀表板和管道加載到Elasticsearch中。
運行filebeat setup命令。可能需要幾分鐘來加載所有內容：
一旦命令完成，您應該會收到以下輸出：
OutputOverwriting ILM policy is disabled. Set `setup.ilm.overwrite: true` for enabling.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
Setting up ML using setup --machine-learning is going to be removed in 8.0.0. Please use the ML app instead.
See more: https://www.elastic.co/guide/en/machine-learning/current/index.html
It is not possble to load ML jobs into an Elasticsearch 8.0.0 or newer using the Beat.
Loaded machine learning job configurations
Loaded Ingest pipelines
如果沒有錯誤，請使用 systemctl 命令來啟動 Filebeat。一旦運行，它將開始將 Suricata 的 eve.json 日誌中的事件發送到 Elasticsearch。
現在，您已經配置了 Filebeat、Kibana 和 Elasticsearch 來處理您的 Suricata 日誌，本教程的最後一步是連接到 Kibana 並探索 SIEM 儀表板。
步驟 5 — 導航 Kibana 的 SIEM 儀表板
Kibana 是 Elastic 堆棧的圖形組件。您將使用 Kibana 和您的瀏覽器來探索 Suricata 的事件和警報數據。由於您已將 Kibana 配置為僅通過您的 Elasticsearch 伺服器的私有 IP 地址可用，您將需要使用 SSH 隧道來連接到 Kibana。
使用 SSH 連接到 Kibana
SSH 具有一個選項 -L，它允許您將本地端口上的網絡流量轉發到伺服器上的遠程 IP 地址和端口。您將使用此選項將流量從瀏覽器轉發到您的 Kibana 實例。
在Linux、macOS和更新版本的Windows 10及更高版本上，您可以使用内置的SSH客户端来创建隧道。每次要连接到Kibana时，都会使用此命令。您可以随时关闭此连接，然后再次运行SSH命令以重新建立隧道。
在本地桌面或笔记本电脑的终端中运行以下命令，以创建到Kibana的SSH隧道：
SSH的各种参数是：
-
-L标志将流量转发到本地系统的端口5601到远程服务器。 - 命令中的
your_private_ip:5601部分指定了您的流量将要转发到的Elasticsearch服务器上的服务。在这种情况下，该服务是Kibana。请确保在your_private_ip处替换您的Elasticsearch服务器的私有IP地址。 - 地址
203.0.113.5是您用于连接和管理服务器的公共IP地址。请用您的Elasticsearch服务器的公共IP地址替换它。 -
-N标志指示SSH不要像交互式/bin/bashshell一样运行命令，而是只是保持连接打开。在像这个例子中转发端口时通常使用它。
如果您想随时关闭隧道，请按 CTRL+C。
在Windows上，您的终端应该类似于以下截图：
注意：如果您没有使用SSH密钥，可能会提示您输入密码。在提示符中输入或粘贴密码，然后按ENTER或RETURN键。
在 macOS 和 Linux 上，您的终端将类似于以下截图：
一旦您通过SSH连接到Elasticsearch服务器并设置了端口转发，请打开浏览器访问http://127.0.0.1:5601。您将被重定向到Kibana的登录页面：
如果您的浏览器无法连接到Kibana，则会在终端中收到以下消息：
Outputchannel 3: open failed: connect failed: No route to host
此错误表示您的SSH隧道无法到达服务器上的Kibana服务。确保您已经为Elasticsearch服务器指定了正确的私有IP地址，并在浏览器中重新加载页面。
使用elastic作为用户名登录到您的Kibana服务器，并使用本教程中您先前复制的密码登录用户。
浏览Kibana SIEM仪表板
登录到Kibana后，您可以探索Filebeat为您配置的Suricata仪表板。
在Kibana欢迎页面顶部的搜索字段中，输入搜索词type:dashboard suricata。此搜索将返回两个结果：Suricata事件和Suricata警报仪表板，如下截图所示：
點擊[Filebeat Suricata] 事件概覽的結果，訪問顯示所有已記錄的Suricata事件概覽的Kibana儀表板：
要訪問Suricata警報儀表板，請重複搜索或點擊事件儀表板中包含的Alerts鏈接。您的頁面應該類似於以下屏幕截圖：
如果您想檢查每個儀表板顯示的事件和警報，請滾動到頁面底部，您將找到一個表格，列出了每個事件和警報。您可以展開每個條目，查看來自Suricata的原始日誌條目，並詳細檢查各種字段，如警報的源IP和目的地IP、攻擊類型、Suricata簽名ID等。
Kibana還具有一組內置的安全儀表板，您可以使用瀏覽器窗口左側的菜單進行訪問。導航到網絡儀表板以查看顯示在地圖上的事件概述，以及關於您的網絡上事件的聚合數據。您的儀表板應該類似於以下屏幕截圖：
您可以滾動到網絡儀表板的底部，查看匹配指定搜索時間範圍的所有事件的表格。您還可以詳細檢查每個事件，或選擇一個事件生成一個Kibana時間軸，然後您可以使用該時間軸調查特定的流量流、警報或社區ID。
結論
在這個教程中，您已經在獨立伺服器上安裝並配置了Elasticsearch和Kibana。您配置了這兩個工具以在私有IP地址上提供服務。您還使用了xpack安全模組來配置Elasticsearch和Kibana的身份驗證設置，該模組已包含在每個工具中。
完成了Elasticsearch和Kibana配置步驟後，您還在您的Suricata伺服器上安裝並配置了Filebeat。您使用Filebeat來填充Kibana的儀表板並開始將Suricata日誌發送到Elasticsearch。
最後，您建立了一個SSH隧道到您的Elasticsearch伺服器並登錄到Kibana。您找到了新的Suricata事件和警報儀表板，以及網絡儀表板。
這個系列中的最後一個教程將引導您使用Kibana的SIEM功能來處理您的Suricata警報。在其中，您將探索如何創建案例以跟踪特定的警報，時間軸以相關聯網絡流量，以及規則以匹配您想要跟踪或詳細分析的特定Suricata事件。