一、调参概述
决策树是一种基本的机器学习算法，常用于分类和回归任务。在实际应用中，为了得到更优的模型性能，需要对决策树的参数进行调整，以达到更好的泛化能力。调参可以通过手动调整一些超参数的数值，也可以通过算法优化方法来自动调参。具体包括以下方面：
1、决策树的结构、节点划分标准。
2、剪枝策略的选择。
3、正则化参数的调整。
二、决策树结构参数调整
决策树的结构参数包括树的深度、节点最少样本数、节点最少样本比例等。当树的深度不够，可能会漏掉一些重要的特征；当深度太大，可能会过拟合。采用交叉验证法，选一个适合数据集的深度。节点最少样本数是指每个节点最少必须包含的样本数，即便增加这个值，可能导致某些分支特别少，结构变得简单。节点最少样本比例是相对于整个数据集而言，一般比直接设置节点最小样本数更优。
#调整树的深度、节点最小样本数 tree.DecisionTreeClassifier(max_depth=5, min_samples_split=10) #调整节点最小样本比例 tree.DecisionTreeClassifier(min_samples_split=0.5)
三、节点划分准则
节点划分准则包括信息增益、信息增益率、基尼系数等。信息增益是指用属性划分前后的数据“不确定性”减少的程度，选取信息增益最大的属性作为划分属性；信息增益率是相对于划分前的数据不确定性而言的，偏向于取值较多的属性；基尼系数是衡量数据“不纯度”的指标，选取基尼系数最小的属性作为划分属性。
#设置节点划分准则 tree.DecisionTreeClassifier(criterion='entropy') #设置信息增益率为划分准则 tree.DecisionTreeClassifier(criterion='entropy', splitter='best')
四、剪枝策略调整
剪枝是指通过缩小决策树规模来提高预测性能的过程。剪枝分为预剪枝和后剪枝，前者是在决策树构建时预先剔除一部分分支，后者是在决策树建好之后若存在过拟合现象则删除一些结点或叶子。剪枝的几个重要参数有最大深度、最小叶节点数、叶节点最小样本数等。
tree.DecisionTreeClassifier(ccp_alpha=0.01)
五、正则化参数调整
正则化是为了防止过拟合。常见的正则化参数有最小权重阈值和最大叶节点数目。这里的正则化指的不是L1L2正则项，而是对树的深度和叶子节点数的限制。
tree.DecisionTreeClassifier(min_weight_fraction_leaf=0.01) tree.DecisionTreeClassifier(max_leaf_nodes=10)
六、总结
决策树的参数调整可以通过手动调整和自动调参两种方式来实现。通过调整结构参数、节点划分准则、剪枝策略和正则化参数，可以让决策树算法提高泛化能力和性能。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/182292.html
微信扫一扫 
支付宝扫一扫 