一、什么是精确率和召回率？
在对分类模型进行性能评估时，精确率（Precision）和召回率（Recall）是最为常用的衡量指标之一。精确率和召回率均是指在二分类问题中，模型预测为正例的样本的正确率和在所有真实为正例的样本中，模型正确预测的比例。
具体来说，对于一个二分类的问题，我们会将模型的预测结果划分为四个类别：真正例（True Positive）、假正例（False Positive）、真反例（True Negative）和假反例（False Negative）。其中，真正例指的是模型将正例预测为正例的样本，假正例指的是模型将反例预测为正例的样本，真反例指的是模型将反例预测为反例的样本，假反例指的是模型将正例预测为反例的样本。
精确率和召回率的含义如下：
精确率 = 真正例 / (真正例 + 假正例)
召回率 = 真正例 / (真正例 + 假反例)
二、为什么需要关注精确率和召回率？
当我们对一个二分类模型进行性能评估时，仅仅依靠准确率是不够的，并不能很好地体现模型的性能。因为对于一个存在类别不平衡问题的数据集（即正负样本数目相差较大），模型总是有可能选择预测结果更多的类别作为输出。这种情况下，模型虽然能够得到很高的准确率，但很可能会因为低召回率而失去实际价值。因此，我们需要关注精确率和召回率来全面评估模型效果。
三、精确率与召回率的权衡
在实际应用中，精确率和召回率是存在着一定权衡关系的。当我们希望尽可能地找出所有的真正例时，需要选择召回率较高的算法；而当我们关注的是预测结果的准确性时，需要选择精确率较高的算法。
通常来说，我们可以根据具体的业务需求来决定选择什么指标。在需要一定程度上保障分类结果完全正确的场景下，我们应该选择精确率较高的方法；而在需要尽量找出所有正例的情况下，选择召回率较高的方法。
四、如何提升精确率和召回率？
1、调整分类阈值
在分类问题中，分类阈值是一个重要的超参数。如果对于一个给定的数据集，我们将分类阈值调整为一个更高的值，则对于更多的样本，算法将预测输出为反例；反之，如果我们将分类阈值调整为一个较低的值，则算法将输出更多的正例。因此，通过调整分类阈值，我们可以精准地控制模型的精确率和召回率。
def predict_with_threshold(model, X_test, threshold): y_pred_proba = model.predict_proba(X_test) y_pred = (y_pred_proba[:, 1] >= threshold).astype(int) return y_pred2、改变模型的评判标准
对于某些应用场景可能更加关注模型的召回率或精确率，这时候就需要我们更换评判标准。比如我们可以将 AUC 替换在二分类问题的模型度量标准，因为 AUC 等价于对分类器的所有阈值进行综合性能评估，能够更加全面地衡量模型的性能，并且不受阈值选择的影响。
3、应对数据不平衡问题
当数据集中存在类别不平衡问题时，模型学习时通常会偏向于数量较多的类别。因此，我们需要考虑权重调整、上采样或下采样等方法来解决类别不平衡问题。
from imblearn.over_sampling import SMOTEsm = SMOTE(random_state=42)X_train_res, y_train_res = sm.fit_resample(X_train, y_train)五、小结
精确率和召回率是分类模型性能评估中重要的指标之一，应用广泛。虽然二者存在一定的权衡关系，但是我们可以通过一些手段来提高模型的精确率和召回率。具体来说，我们可以针对具体的业务需求，调整分类阈值、改变模型评判标准或者应对数据不平衡问题等方法来提升模型的性能。
原创文章，作者：PQRBN，如若转载，请注明出处：https://www.506064.com/n/361753.html
微信扫一扫 
支付宝扫一扫 