使用Nginx Log分析優化網站訪問

如果您是在運行一個高流量的網站，那麼web伺服器的性能因素一定是您優化的重點。Nginx是一款高性能的web伺服器和反向代理伺服器，雖然Nginx本身已經很快，但是通過分析Nginx Log日誌文件，我們可以進一步優化和提高性能。在本教程中，我們將討論如何分析Nginx日誌以及如何改進性能來降低載入時間並提高網站性能。

一、安裝和啟用日誌模塊

默認情況下，Nginx並不會記錄任何日誌。要啟用Nginx日誌，您需要在編譯Nginx時啟用access_log模塊。通過編輯Nginx的「config」文件，您可以找到如下的配置：

http {
  server {
      listen       80;
      server_name  your_website.com;

      access_log  /var/log/nginx/access.log;
      ...
  }
}

在上面的Nginx配置中，您可以看到access_log設置為/var/log/nginx/access.log。這意味著Nginx將記錄每次請求的詳細信息。您可以按照您的需要將日誌記錄到其他文件或通過UDP，TCP等以流的形式導出到別的系統。然後，您需要重新啟動Nginx才能使新的配置生效。

二、日誌格式

Nginx有許多預定義的日誌格式，您可以根據需要選擇或創建自定義格式。通過修改access_log的格式選項，您可以指定Nginx記錄每個請求時使用哪些信息和順序保存。以下是一些常見的日誌格式選項：

$remote_addr – 客戶端IP地址
$remote_user – 客戶端用戶名
$time_local – 本地時間
$request – 請求URL
$status – 請求狀態
$body_bytes_sent – 發送的數據量（位元組數）
$http_referer – 請求來源
$http_user_agent – 用戶代理

以以下日誌格式為例：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

在上面的Nginx配置中，我們定義了一個名為”main”的日誌格式。例如，如果我們的Web伺服器有16核CPU和32GB內存，可以使用以下格式：

log_format custom '[$remote_addr] - $remote_user [$time_local] ' 
        '"$request" $status $body_bytes_sent ' 
        '"$http_referer" "$http_user_agent" ' 
        '"$gzip_ratio" "$upstream_response_time" ' 
        '(cache: $upstream_cache_status) ' 
        'run_time:$request_time ' 
        'consume_mem:$upstream_http_x_consumed_memory';

對於每個請求，我們將記錄客戶端IP地址，用戶名，時間，請求URL，狀態碼，發送位元組數，來源地址，用戶代理，Gzip比率和上游響應時間。我們還添加了一些自定義日誌格式，如每個請求的所帶的緩存狀態、運行時間和消耗的內存。

三、分析Nginx日誌

1. 記錄數據

在打開的日誌文件中，您可以看到通過訪問URL，IP地址，HTTP狀態和響應時間的各種數據被記錄下來。它應該長這樣:

127.0.0.1 - - [17/Oct/2018:04:34:12 +0000] "GET /static/kitten.jpg HTTP/1.1" 200 9828 "https://www.example.com/blog/latest" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
127.0.0.1 - - [17/Oct/2018:04:34:12 +0000] "GET /favicon.ico HTTP/1.1" 200 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"

在上面的記錄中，可以看到請求來源，URL，HTTP狀態和響應時間等信息。這對於進行系統性能調整非常有用。

2. 使用Nginx分析工具

Nginx本身提供了許多分析Nginx日誌的工具。要使用Nginx分析工具，請執行以下步驟：

安裝Nginx分析工具。

您可以使用Nginx官方工具或第三方開源工具來分析日誌文件。您可以使用以下命令下載和安裝Nginx分析工具：

  sudo apt-get install nginx-extras

安裝完成後，您將獲得許多有用的Nginx分析工具，例如Logrotate、Syslog-ng和GeoIP等。

配置Nginx分析工具。

安裝nginx-extras後，您需要配置Nginx以使用一些工具。例如，如果您要使用GeoIP，您需要將以下配置添加到Nginx配置文件：

  http {
      ...
      geoip_country /usr/share/GeoIP/GeoIP.dat;
      geoip_city /usr/share/GeoIP/GeoLiteCity.dat;
  }

請注意，這將使用/usr/share文件夾下的GeoIP目錄中的文件。

使用Nginx分析工具。

在配置完成後，您可以使用Nginx分析工具，例如：access_log解析、Nginx Log 拆分和Nginx性能監控。

四、分析流量和性能

1. 流量分析

要分析流量，您可以按不同的標準對日誌進行排序。例如，您可以按IP地址、HTTP狀態代碼和URL進行篩選。在以下示例中，我們可以查找最活躍的IP地址和URL：

 awk '{print $1}' /var/log/nginx/access.log | 
     sort | uniq -c | sort -nr | head -n 10

這將顯示前10個IP地址的訪問次數。

awk '{print $7}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 10

這將顯示前10個訪問最頻繁的URL。

2. 性能分析

要分析網站性能，您可以使用Nginx日誌中的一些響應時間指標，例如總體響應時間，請求處理時間和內容發送時間。以下是一個示例：

awk '{if ($7 ~ /\/static\//) 
    {if($NF ~ /s$/)
        {print $1"\t"$6"\t"$7"\t"$(NF-1)}}
      else 
    {if($NF ~ /s$/)
        {print $1"\t"$6"\t"$7"\t"$(NF-1)}}
}' /var/log/nginx/access.log | awk '{print $1"\t"$2"\t"$3"\t"$4}' | sort | uniq -c | sort -nr | head -n 10

這將顯示前10個最昂貴的static資源（以時間為單位）。

五、結論

日誌分析是優化Nginx伺服器性能的重要步驟。通過分析Nginx日誌，您可以了解每個請求的詳細信息以及每個請求的響應時間等信息，從而大大提高網站性能。此外，Nginx本身提供了一些強大的工具，例如Logrotate等。在實際的生產環境中，您可以根據需要使用各種工具來分析和調整您的Nginx伺服器。

原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/151226.html