LinuxBuff/Cache過高的原因分析

一、喚起對緩存和緩衝區的理解

首先我們需要理解什麼是緩存和緩衝區。

緩存（cache）是一種臨時存儲技術，用於提高數據訪問時的速度。緩存通常是一個小而快的存儲器，可存儲經常訪問的數據。如果需要訪問特定數據，則可以在較慢的存儲器或存儲設備中搜索數據，讀取後將其存儲在緩存中。後續的訪問會從緩存中讀取數據，而不是從較慢的存儲器或設備中讀取。

緩衝區（buffer）是為了解決兩個不同速度的設備之間進行數據傳輸時的問題而設立的一段內存空間。緩衝區的作用就是為了提高數據處理的效率，將要處理的數據傳入緩衝區後，根據緩衝區的大小再以一定速率將數據輸入。這樣就可以使快設備和慢設備之間進行數據傳輸時達到平衡，實現平衡調度。

而對於LinuxBuff/Cache過高，則是指Linux的Buffer和Cache佔用了大量的內存，導致該機器的可用內存很小，從而導致機器變得很慢或者僵死。

二、Linux Cache和Buffer的區別

Linux中的Cache和Buffer都是用於緩存磁碟I/O的，它們可以極大地加速系統的磁碟I/O。但它們的實現機制有所不同。

Linux的Buffer Cache是用於磁碟I/O的，其中數據塊是以文件的形式存儲的。當系統把數據寫到磁碟的時候，它先把這些數據放到Buffer Cache中，然後慢慢地寫到磁碟上。因此，Buffer Cache是用於重複讀寫數據塊的，這樣可以避免頻繁地進行磁碟I/O。Buffer Cache內的數據不是由應用程序頻繁訪問而產生的，而是由系統對磁碟進行訪問而產生的。

Linux的Page Cache是用於文件I/O的，它把文件中的數據緩存到內存中。當應用程序需要訪問數據塊時，系統會先檢查Page Cache中是否有該數據塊的緩存，如果有的話，直接返回緩存的數據塊，否則向磁碟發出讀請求。當訪問頻繁的時候，Page Cache中的數據塊緩存滿了，此時就會把一些數據塊從緩存中移除。

三、LinuxBuff/Cache過高的可能原因

當我們發現Linux機器出現了Buff/Cache過高的情況，我們需要找出可能的原因，針對性地進行解決。

1. 內存不足導致

當機器的內存不足時，Linux系統會把一些經常使用的信息存儲到Cache中，以優化讀寫速度。

$ free -m
              total        used        free      shared  buff/cache   available
Mem:           2000         644         989           4         366        1294
Swap:          2047           0        2047

上圖中的buff/cache欄位為使用的Buffer Cache和Page Cache的總和。這裡Buff/Cache佔用了366MB，它們和已使用內存佔用的644MB加起來，就是系統總共已佔用的內存。所以，系統剩餘可用內存就是free欄位的989MB。

當空閑內存變得很少時，Linux系統會嘗試釋放Cache和Buffer，然後回收內存。但是當內存不足時，系統無法適應Cache大小的變化，以至於Buff/Cache佔用的內存變得過大，這個時候就會導致內存不足而出現Buff/Cache過高的情況。

2. 文件系統寫入緩存太大

當應用程序需要同時讀取大量的數據（例如，使用cat，grep等命令查看大文件），系統會將這些數據緩存到Page Cache中。但是，當寫入Cache的數據量太大時，所佔內存就會變得過大而導致Buff/Cache過高。

3. 文件系統頁回收效果差

當文件系統的頁回收效果差時，頁緩存中的數據不會及時地被釋放出來，導致Buff/Cache過高。

可以通過合理地配置內存和swap分區，來優化頁回收效果。

4. 系統對Swap分區使用過多

Linux系統會將內存中的數據寫入Swap分區，來釋放內存。但是，當機器中的可用內存不足時，系統會逐漸將數據從Swap分區中讀出到內存中，而這個過程可能會導致Buff/Cache過高。

四、解決LinuxBuff/Cache過高的方法

1.升級內核

在較早版本的Linux系統中，內核對Cache機制的處理較為低效，導致Buff/Cache過高。通過升級內核版本，可以解決這個問題。

2.調整Sync和Dirty參數

通過修改Sync和Dirty參數的值，可以控制Linux緩存空間的大小。

Sync參數：它控制著在多久時間內，系統必須把部分Buffer Cache中數據寫入磁碟。默認值是5秒。可以通過修改Sync參數將其調整到較小的值。

Dirty參數：它控制著一個內存頁面被標記為臟頁面時的閾值。默認值是20%，這意味著當緩存大小超過物理內存的20%時，系統會嘗試回收緩存。可以通過修改Dirty參數將其調整到較小的值。

# 查看系統的Sync參數和Dirty參數值
$ cat /proc/sys/vm/dirty_ratio 
20
$ cat /proc/sys/vm/dirty_background_ratio 
10

# 修改系統的Sync參數和Dirty參數值
$ sudo sysctl -w vm.dirty_ratio=10
$ sudo sysctl -w vm.dirty_background_ratio=5

3.手動清理緩存

用戶可以手動清理緩存來釋放緩存空間，從而降低Buff/Cache。

# 清理Page Cache
$ sudo echo 1 > /proc/sys/vm/drop_caches

# 清理Buffer Cache，以及Page Cache
$ sudo echo 3 > /proc/sys/vm/drop_caches

4.修改內存和Swap分區的大小

如果機器的物理內存不夠大，可以通過增加Swap分區的大小來擴充內存。但是，過多地使用Swap分區也會導致Buff/Cache過高，因此需要根據機器配置和應用程序需求來做出合理的決策。

總結

通過以上分析，我們可以知道發現LinuxBuff/Cache過高並不是一個麻煩的事情，我們可以通過多種方式優化Linux系統的緩存機制，來使系統運行更加穩定和高效。