網格搜索調參

一、網格搜索調參原理

網格搜索調參是一種基於網格的參數搜索方法，它通過窮舉遍歷給定的參數組合，以找到最優參數。

網格搜索演算法通過將多個參數組合構成網格，然後對該網格進行遍歷，以獲取不同參數組合下的模型性能評估值。最優參數值是指模型評價指標最優的超參組合的值。

在機器學習中，選取恰當的模型和模型的超參數（例如神經元的數量、學習率等）對提高模型預測性能至關重要。因此，網格搜索調參成為優化機器學習超參數的一種有效方法。

二、網格搜索是什麼

網格搜索是一種超參數優化方法。對於每個超參數，將其設定成一組值，窮舉所有可能的超參數組合，從中選取最佳性能的超參數。

三、網格搜索原理

假設我們有k個超參數需要優化，每個超參數有n個候選值。如果使用窮舉搜索，需要進行 k^n 次超參數組合實驗。如果超參數的範圍較大，計算成本隨之增加，使得窮舉搜索的成本非常高昂。因此，可以使用網格搜索，以優化超參數。具體步驟如下:

1. 對於每個超參數，確定一組可能的值集合。

2. 構建超參數的網格，即通過對每個超參數的可能值進行組合得到不同組合的超參數集合。

3. 對於每個超參數組合，使用交叉驗證、留出樣本等評估方法，得到該組合的模型性能。

4. 根據模型評價指標的結果，選擇在訓練集上最好的超參數組合。

四、網格搜索法原理

網格搜索方法是最基本、最簡單的超參數搜索演算法之一。它的優點是易於理解和實施，但缺點是其計算成本隨著超參數數量和範圍的增大而指數增長。

例如，使用SVM分類器有兩個要調整的超參數C和gamma。如果對C和gamma都取10個值，則總共需要訓練10 x 10 = 100 個模型並選擇最優的超參數。

當有多個超參數需要調整時，網格搜索法是可行的，但隨著超參數的數量的增加，其計算成本也會呈指數級的增長。為了避免這種情況，我們可以使用更高級的優化方法，例如隨機搜索和貝葉斯優化方法。

五、網格搜索調參能用於回歸器嗎

網格搜索調參的方法也可用於回歸器，它基本上與分類器類似。最重要的區別是，我們度量預測模型的質量的方法發生了變化。我們使用平均絕對誤差和均方誤差等度量回歸模型的性能，而不是分類問題中常用的精度和召回率。換句話說，我們可以使用r2_score和mean_squared_error等回歸敏感的評估指標。

六、網格搜索調參每次結果都不一樣

網格搜索調參演算法的結果是確定性的，也就是說，每次具有相同超參數和數據的模型構建將得到相同的結果。但是，相同超參數可以在不同的隨機狀態下進行訓練，並且其訓練數據的劃分是隨機的。這種隨機變化可能會影響模型的性能評估，導致結果有所不同。

七、SVM網格搜索調參

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC

parameters = {'kernel': ('linear', 'rbf'), 'C': [1, 10]}
svc = SVC()
clf = GridSearchCV(svc, parameters)
clf.fit(X_train, y_train)

在SVM的情況下，網格搜索調參需要考慮到核函數（例如線性或徑向基函數）和C（懲罰參數）這兩個參數。上述代碼構建了一個SVM分類器，並定義了兩個超參數 kernel 和 C。 具體實現中，在SVC函數的參數中傳遞了線性核和徑向基內核的元組以及1和10這兩個懲罰參數。 然後，傳遞到GridSearchCV中進行網格搜索，以找到最佳超參數組合。

八、網格搜索和模型調參

網格搜索是模型調參的一種方法，通過確定超參數的值集並使用交叉驗證的方法為模型尋找最佳參數。除了網格搜索外，還有貝葉斯優化、隨機搜索等其他調參方法。

GridSearchCV自動採用交叉驗證策略為所有參數組合選擇最佳參數，並使用給定的評價指標(通常是誤差、精度、召回率、ROC曲線等)。

九、網格搜索參數優化

網格搜索法是最基本、最簡單的超參數搜索演算法之一，其優勢在於易於理解和實施，可可優化機器學習超參數，提高模型預測性能。

優化超參數的重點在於執行兩件非常重要的任務：確定超參數的範圍和選擇尋優方法。超參數的範圍決定了哪些範圍內的超參數會被檢查，而定向或隨機方法則決定了從那種策略中選取超參數組合。成功的網格搜索需要合理地選擇超參數的範圍和尋優方法，以確保最高的性能和準確度。

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestRegressor

data = load_boston()
x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

param_rf = {
    'n_estimators': [10, 20, 50, 100],
    'max_depth': [3, 6, 9, 12, None],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4],
}

regressor_rf = RandomForestRegressor(random_state=1)
grid_search_rf = GridSearchCV(estimator=regressor_rf, param_grid=param_rf, cv=5, n_jobs=-1)
grid_search_rf.fit(x_train, y_train)