一、GridSearchCV介绍
GridSearchCV是sklearn提供的一种自动化调参工具，能够遍历给定的参数组合，使用交叉验证的方式找出最优的参数组合。此外，GridSearchCV还可以并行处理多组参数，加快搜索速度。GridSearchCV包含以下几个重要参数：
class sklearn.model_selection.GridSearchCV
param_grid：要优化的参数组合，一个字典或列表，其中字典的键为想要调整的模型参数名（字符串），值为对应的想要调整的参数值的列表。
scoring：模型评估标准。
cv：cross-validation，交叉验证生成器或可迭代的迭代器，例如KFold。
n_jobs：并行运行的作业数。
二、使用GridSearchCV优化模型参数选择的示例
在下面的示例中，我们将介绍如何使用GridSearchCV优化逻辑回归模型的参数选择。
首先，我们加载需要的库和数据集：
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data
y = iris.target
接下来，我们将定义一个逻辑回归模型，并将其参数放在param_grid字典中。
lr = LogisticRegression()
param_grid = {"penalty": ['l1', 'l2'], "C": [0.01, 0.1, 1, 10]}
这里需要注意的是，penalty参数表示正则化的方式，‘l1’表示L1正则化，‘l2’表示L2正则化，而C参数表示正则化的强度。
接下来，我们将使用GridSearchCV来寻找最佳参数组合，并对模型进行拟合和预测：
grid_search = GridSearchCV(lr, param_grid=param_grid, cv=5, scoring='accuracy', n_jobs=-1)
grid_search.fit(X, y)
print("Best parameters: ", grid_search.best_params_)
print("Best cross-validation score: {:.2f}".format(grid_search.best_score_))
print("Best estimator:\n{}".format(grid_search.best_estimator_))
最终，我们将得到最佳参数组合、在最佳参数下的交叉验证得分和最佳模型的信息。
三、如何使用GridSearchCV针对多个模型进行参数选择
在实际应用中，我们可能需要针对多个模型进行参数选择。在此情况下，我们可以使用for循环来遍历多个模型并进行参数选择。
下面的示例介绍了如何遍历多个模型并使用GridSearchCV进行参数选择。我们将使用逻辑回归和支持向量机两种模型，对于每个模型，我们将定义不同的参数组合。
from sklearn.svm import SVC
# 定义逻辑回归和支持向量机的参数组合
lr_param_grid = {"penalty": ['l1', 'l2'], "C": [0.01, 0.1, 1, 10]}
svm_param_grid = {"kernel": ['linear', 'rbf', 'poly'], "C": [0.1, 1, 10], "gamma": [0.1, 1, 10]}
# 定义模型列表和对应的参数组合字典列表
models = [
{
'name': 'LogisticRegression',
'model': LogisticRegression(),
'params': lr_param_grid
},
{
'name': 'SVC',
'model': SVC(),
'params': svm_param_grid
}
]
# 遍历每个模型并进行参数选择
for model in models:
print(model['name'])
grid_search = GridSearchCV(model['model'], model['params'], cv=5, scoring="accuracy", n_jobs=-1)
grid_search.fit(X, y)
print("Best parameters: ", grid_search.best_params_)
print("Best cross-validation score: {:.2f}".format(grid_search.best_score_))
print("Best estimator:\n{}".format(grid_search.best_estimator_))
print("\n")
最终，我们将对每个模型得到最佳参数组合、在最佳参数下的交叉验证得分和最佳模型的信息。
原创文章，作者：RGUB，如若转载，请注明出处：https://www.506064.com/n/134212.html
微信扫一扫 
支付宝扫一扫 