ELK 搭建完全指南

ELK是指Elasticsearch、Logstash和Kibana。它們是一組流行的開源數據分析工具，用於實時搜索，可視化分析和日誌分析。此外，ELK還支持警報、監控和安全分析。本篇文章將提供一個完整的ELK搭建指南，包括ELK組件、設置、配置、使用方法、優化和調試等方面。

一、ELK組件介紹

ELK由三種主要組件組成：Elasticsearch、Logstash和Kibana。這三種組件都是使用Java編寫，因此可以在任何安裝了Java的操作系統上運行。下面是對每個組件的簡要介紹。

1、Elasticsearch

是一個分佈式的、實時搜索和分析引擎。它可以處理大量數據，並能夠快速地搜索和分析這些數據。 Elasticsearch旨在存儲搜索數據，快速查詢數據，並且靈活且易於使用。它支持API，可以使用多種數據源進行搜索。

2、Logstash

是一個開源數據處理工具，主要用於將不同的日誌、度量數據從多個網絡源匯聚到一個通用的數據存儲庫中。它能夠對數據進行規範化、過濾和轉換，以便於後續的索引和分析。

3、Kibana

是一個開源的數據可視化平台，主要用於展示 Elasticsearch 的文檔數據。Kibana提供了一個可視化的接口，用於快速構建各種數據圖表、信息面板和定製的儀錶盤等。

二、ELK搭建設置

1、系統環境設置

在開始安裝之前，需要對運行ELK的系統進行一些環境設置。這些操作可能會因操作系統而異，這裡以CentOS進行說明。在CentOS上，要進行以下設置：

# 安裝必要的依賴包
sudo yum install -y java-1.8.0-openjdk

# 升級系統
sudo yum update -y

# 關閉防火牆
sudo systemctl stop firewalld
sudo systemctl disable firewalld

# 關閉SELinux
sudo setenforce 0
sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux

# 打開內網訪問
sudo echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
sudo echo 'vm.max_map_count=262144' >> /etc/sysctl.conf
sudo echo 'vm.swappiness = 1' >> /etc/sysctl.conf
sudo sysctl -p

2、安裝Elasticsearch

如果系統已經進行了環境設置，那麼就可以開始安裝Elasticsearch了。下面演示在CentOS上的安裝過程：

# 下載Elasticsearch的RPM安裝包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.2-x86_64.rpm
sudo rpm -ivh elasticsearch-7.5.2-x86_64.rpm

# 啟動Elasticsearch並設置自啟動
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch

3、安裝Logstash

安裝Logstash的操作和安裝Elasticsearch的方法相似，也是先下載RPM包，然後進行安裝。下面是在CentOS上的安裝過程示例：

# 下載Logstash的RPM安裝包
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.5.2.rpm
sudo rpm -ivh logstash-7.5.2.rpm

# 啟動Logstash並設置自啟動
sudo systemctl start logstash
sudo systemctl enable logstash

4、安裝Kibana

Kibana也是採用類似於Elasticsearch和Logstash的安裝方法。下面是在CentOS上的安裝過程演示：

# 下載Kibana的RPM安裝包
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.5.2-x86_64.rpm
sudo rpm -ivh kibana-7.5.2-x86_64.rpm

# 啟動Kibana並設置自啟動
sudo systemctl start kibana
sudo systemctl enable kibana

三、ELK配置

1、配置Elasticsearch

在剛剛安裝完成之後，需要對Elasticsearch進行一些基本的配置，以適應所需要的使用場景。以下是一些基本的設置：

# 修改Elasticsearch配置文件
sudo nano /etc/elasticsearch/elasticsearch.yml

# 將以下配置信息添加進去
cluster.name: elk-test
node.name: "node-1"
network.host: 0.0.0.0
http.port: 9200

上述配置文件中，cluster.name設置了Elasticsearch集群的名稱；node.name設置了節點的名稱；network.host設置集群的IP地址；http.port則設置了Elasticsearch API的端口。

2、配置Logstash

對於Logstash，需要進行一些輸入、過濾和輸出的配置，以確保地收集正確的數據並轉換它。以下是一個針對Apache Web服務器訪問日誌的Logstash配置文件示例：

input {
  file {
    path => "/var/log/apache2/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => [ "message", "%{COMBINEDAPACHELOG}" ]
  }
}

output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
    index => "apache_log-%{+YYYY.MM.dd}"
  }
}

此配置文件設置了File Input插件，以監聽並收集Apache日誌數據。Grok Filter插件用於識別日誌中的模式，並將它們映射到可搜索的字段。最後，elasticsearch Output插件將數據發送到Elasticsearch集群。

3、配置Kibana

如果要使用Kibana，需要在Elasticsearch和Kibana之間建立一個連接，並設置一些基本的配置，以便於使用Kibana保存和可視化已經收集和索引的數據。以下是一些示例配置：

# 修改Kibana配置文件
sudo nano /etc/kibana/kibana.yml

# 將以下配置信息添加進去
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

上述配置文件指定了Kibana使用的端口、地址和ELasticsearch集群的地址。

四、ELK使用方法

1、使用Elasticsearch

Elasticsearch通過REST API提供了許多數據操作功能。以下是一些基本的命令示例：

# 創建一個Elasticsearch索引
curl -XPUT http://localhost:9200/myindex

# 將數據插入到索引中
curl -XPOST http://localhost:9200/myindex/mytype -d '{"name": "John", "age": "25"}'

# 搜索並檢索數據
curl "http://localhost:9200/myindex/mytype/_search?q=name:John"

# 刪除索引
curl -XDELETE http://localhost:9200/myindex

2、使用Kibana

Kibana提供了一個可視化的界面，用於對數據進行檢索、過濾和展示。以下是一些基本使用方法：

在主頁上創建一個搜索索引模式，指定要查詢的索引名稱和日期字段。
使用可視化工具（如條形圖、餅圖、時鐘等）對數據進行可視化。
創建儀錶盤，將可視化工具和搜索查詢一起進行組合。
編輯搜索查詢，添加聚合、過濾等操作。

五、ELK優化和調試

1、Elasticsearch的優化和調試方法

以下是一些優化Elasticsearch集群性能和調試ELasticsearch問題的方法：

通過PUT/_cluster/settings API更改Elasticsearch的默認設置，以改善性能。例如，可以通過增加副本或分片來平衡負載。
使用cat APIs查詢節點和分片信息以幫助調試。
使用Explain API以查看查詢日誌並了解查詢是如何工作的。

2、Logstash的優化和調試方法

以下是一些優化Logstash性能和調試Logstash問題的方法：

使用Logstash監控插件查看內存和負載情況。
使用Logstash的debug選項詳細查看Logstash的操作步驟
在Logstash配置文件中僅選擇要解析的字段，以減少資源的消耗。

3、Kibana的優化和調試方法

以下是一些優化Kibana性能和調試Kibana問題的方法：

啟用Kibana的緩存功能可以提高查詢性能。這個功能在Kibana設置中進行配置。
執行一個顯式更新操作，以確保Elasticsearch的索引已傳遞到並在Kibana中使用。
避免使用大型的分頁查詢，因為它們會影響搜索速度。

六、總結

在本篇文章中，我們詳細介紹了基於ELK的數據處理和可視化方法，並深入探討了每個組件如何設置、配置和進行優化和調試。這種流行的開源技術組合可支持實時搜索、日誌分析、警報和安全分析等需求。希望讀者可以通過本文獲得足夠的技能和知識，使自己能夠更好地利用ELK。

原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hk/n/298085.html