一、基尼不纯度计算
基尼不纯度（Gini impurity）是一种衡量样本集合纯度的指标，通常用于决策树算法中。计算基尼不纯度的方法为，对于样本集合D来说，其基尼不纯度的计算方法为：
def gini(D):
N = len(D)
class_counts = {}
for data in D:
class_counts[data[-1]] = class_counts.get(data[-1], 0) + 1
imp = 1
for cnt in class_counts.values():
imp -= (cnt/N)**2
return imp
上述代码中，D是样本集合，每个样本的最后一个属性为其类别，class_counts是一个字典，记录每个类别出现的次数，imp为计算得出的基尼不纯度。
二、基尼不纯度作为自适应参数
在决策树算法中，基尼不纯度可以作为自适应参数来选择最优划分属性。通常情况下，选择基尼不纯度较小的属性作为划分属性，使得划分后的子集更加纯净。这种方式可以实现决策树对训练样本的识别能力，同时避免了过拟合的风险。
三、基尼不纯度计算公式
对于样本集合D来说，其基尼不纯度计算公式为：
$$Gini(D)=1-\sum_{k=1}^{K}(\frac{|C_k|}{|D|})^2$$
其中，K为类别数量，Ck为属于第k类的样本子集，|Ck|为样本子集的大小，|D|为样本集合的大小。
四、基尼不纯度的概念
基尼不纯度是衡量样本集合纯度的指标，基于统计学和信息论的思想，可以用于分类模型的训练和选择。基尼不纯度越小，表示样本集合越纯净，能够更好地用于分类任务。
五、基尼不纯度的图片
下图展示了两个二分类问题的决策边界，其中左边的决策边界是通过最小化基尼不纯度得出的，而右边的决策边界是通过最小化熵得出的。可以看出，基尼不纯度和熵在二分类问题上的效果差异并不明显，但在多分类问题中，熵的计算会更加耗时。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/256771.html
微信扫一扫 
支付宝扫一扫 