一、箱体何时出现问题
决策树分箱是将连续变量分段，把连续值转换为离散值。在大多数情况下，决策树分箱是加快流程并提高模型性能的有效方式之一。但是，当箱体过少或过多时，会导致过拟合或欠拟合的问题。
为了避免此类问题，我们需要确定方便调整粒度的分箱方法。基于等频分箱可实现更平滑的划分，而根据等距分箱可以很好地处理强烈偏斜的变量。此外，基于最大信息系数(MIC)的方法也适用于强烈偏斜的变量，是包括度量关联性和线性关系的一项有用技术。
下面是根据MIC技术分箱的代码:
def MIC_breakpoints(x, y, n_breaks=10):
# Function that takes in a feature x and a target y and outputs breakpoints derived
# by the MIC method
from minepy import MINE
m = MINE()
m.compute_score(x, y)
breaks = [np.percentile(x,[i*100/n_breaks]) for i in range(1,n_breaks)]
return breaks二、运用分箱提高模型性能
除了解决离群值或强烈偏斜变量的问题之外，决策树分箱还可将指标空间减少为稍微少于最大类别的平方根。当具有多个变量的数据集变得更小时，能够更容易地建立模型。
此外，通过降低过多过少的分箱的数量，可以减轻过拟合或欠拟合的情况，这也解释了为什么决策树模型通常使用的是分箱后的分界点。
下面是在梯度增强树(Gradient Boosted Trees)模型中运用分箱的示例:
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import train_test_split
from pyspark.ml.feature import Bucketizer
# Creating instance of Bucketizer
bucketizer = Bucketizer(splits=[-float("inf"), 0, 10, 20, 30, float("inf")], inputCol="someContinuousFeature", outputCol="bucketizedFeature")
# Transforming the dataset using bucketizer instance
df_bucketized = bucketizer.transform(df)
# Dividing the data into train and validation sets
train, test = df_bucketized.randomSplit([0.8, 0.2], seed=11)
# Initializing GBT regressor model
gbt = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, max_depth=6, random_state=11)
# Fitting the model
gbt.fit(train.features, train.target)
# Evaluating the model
gbt.score(test.features, test.target)三、最佳实践
在决策树分箱中，有几个最佳实践可供参考:
- 不用量化变量，因为二元分支本身已经为描述者和每个分段的数据集定义了大小
- 每个箱体中有足够的数据
- 每个箱体的大小足够平均
- 箱体数量根据样本数据的大小适当调整，通常取 5-20 个
- 避免使用限定和硬编码的分界点，因为它们毫无疑问都是不可维护的
此外，在最大化性能时，应谨慎使用交叉验证。由于分箱与特定的数据集有关，因此使用交叉验证针对不同的数据集可能会导致更低的性能。为避免过多拟合或欠拟合而使性能更稳定，建议使用正确的分箱方法。
四、结论
通过文章的分析，我们发现决策树分箱是提高模型性能的有效方式之一。但在使用之前，一定要注意分箱无效、过拟合和欠拟合等问题。在实践中，我们应该充分利用强大的机器学习库，如scikit-learn和pyspark.ml，来完成分箱的工作并据此提高机器学习模型的性能。
原创文章，作者：MIGJM，如若转载，请注明出处：https://www.506064.com/n/332916.html
微信扫一扫 
支付宝扫一扫 