logstash怎麼讀

一、基礎概念

Logstash是一種用來收集、處理和轉發日誌的工具。它可以輕鬆地收集各種來源的日誌，並將其發送至指定位置。Logstash可以從多種數據源獲取數據，如文件、網絡、MQ、編碼器等，並將數據轉換為統一的格式。

在Logstash中，數據流程由三個部分組成：輸入(Input)、過濾(Filter)和輸出(Output)。 輸入通常定義了從哪裡獲取數據，如文件、TCP、UDP等。過濾器提供了處理和轉換收集到的數據的工具，如對數據進行解析、分類、過濾和重構等。輸出定義了Logstash將處理後的數據發送到哪個位置，如Elasticsearch、Hadoop等。

二、輸入的配置

在Logstash中，可以通過配置文件為輸入數據源進行配置。下面是一個從指定目錄讀取.log文件的示例代碼：

input {
  file {
    path => "/path/to/log/*.log"
    type => "log_type"
    sincedb_path => "/dev/null"
  }
}

其中，`file`表示使用文件輸入插件，`path`表示文件路徑模式，`type`是附加到event的type字段的值，`sincedb_path`則表示是否從上次讀取的位置繼續讀取。

三、過濾器的配置

在輸入的基礎上，可以使用過濾器對數據進行處理和轉換。下面是使用grok插件來解析收集到的日誌數據的示例代碼：

filter {
  if [type] == "log_type" {
    grok {
      match => {
        "message" => "%{TIMESTAMP_ISO8601:timestamp}%{SPACE}%{LOGLEVEL:loglevel} %{DATA:class} - %{GREEDYDATA:log_message}"
      }
    }
  }
}

這裡使用了條件語句`if`來選擇匹配指定類型的事件。`grok`表示使用grok插件，`match`則表示使用指定的匹配方式解析`message`字段的值，並將解析後的字段存儲在不同的字段中。

四、輸出的配置

在輸入和過濾器處理後，數據需要被輸出到指定位置。這裡以輸出到Elasticsearch為例：

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
    document_type => "log_type"
  }
}

`elasticsearch`表示使用Elasticsearch輸出插件，`hosts`表示Elasticsearch的地址和端口，`index`則表示輸出的索引名稱，`document_type`表示插件將匹配的events映射到指定的type。

五、常用插件

Logstash提供了豐富的插件來滿足不同數據源和處理場景的需求，如：

• Grok插件：用於從非結構化日誌中提取結構化數據。
• CSV插件：用於從CSV文件中解析數據。
• Aggregate插件：用於按照指定條件對事件進行聚合。
• Throttle插件：用於減速處理速率。
• Metrics插件：用於收集、計算並報告各種指標。
• 等

在實際應用中，根據需求選擇合適的插件可以有效地提升數據處理效率和效果。