Python ROC曲線的詳細闡述

在分類問題中，判斷一個模型的好壞需要使用各種指標來評估，而ROC曲線是其中一個非常重要的評估指標。本文將從多個方面對Python中的ROC曲線進行詳細闡述。

一、ROC曲線概述

ROC曲線全稱為接收者操作特徵曲線(Receiver Operating Characteristic Curve)，是反映二元分類模型在不同閾值下的真正率(TRP)和假正率(FRP)之間的關係曲線。在橫坐標上繪製的是FRP，縱坐標上繪製的TRP，ROC曲線的斜率越大，表示該模型分類效果越好。

# 繪製ROC曲線方法1：
from sklearn.metrics import roc_curve, auc

fpr, tpr, thresholds  = roc_curve(y_test, y_score) # y_test 為真實值， y_score 為模型輸出的預測值
roc_auc = auc(fpr, tpr)

plt.plot(fpr, tpr, lw=1, label='ROC (area = %0.2f)' % (roc_auc))
plt.legend(loc='best')
plt.show()

上述代碼使用sklearn.metrics的roc_curve和auc函數計算出了真正率(TRP)和假正率(FRP)以及曲線下方的面積(AUC)，並使用matplotlib庫將ROC曲線可視化。

二、ROC曲線參數

對於一條ROC曲線，除了面積(AUC)以外，還有幾個參數需要了解。

1. 垂直距離(d)

垂直距離表示一組CR和FA的距離，即|CR-FA|。

2. 斜率(S)

斜率表示以各個點為切點的ROC曲線的切線斜率(K)，即S=K=TRP/FRP。

3. Youden指數(J)

Youden指數(J)是TRP和FRP之差的絕對值和的最大值，即J=max(TRP-FRP)。

# 繪製ROC曲線方法2：
fpr = dict()
tpr = dict()
roc_auc = dict()
for i in range(n_classes):
    fpr[i], tpr[i], _ = roc_curve(y_test[:, i], y_score[:, i])
    roc_auc[i] = auc(fpr[i], tpr[i])

fpr["micro"], tpr["micro"], _ = roc_curve(y_test.ravel(), y_score.ravel())
roc_auc["micro"] = auc(fpr["micro"], tpr["micro"])

plt.plot(fpr[2], tpr[2], color='darkorange', lw=1, label='ROC curve (area = %0.2f)' % roc_auc[2])
plt.plot([0, 1], [0, 1], color='navy', lw=1, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()

上述代碼是繪製ROC曲線的另一種方法，可以處理多類別問題，將每個類別之間的ROC曲線坐標可視化。

三、ROC曲線與閾值

閾值是二元分類問題中非常重要的概念，因為它是在判斷樣本類別時的決策邊界。當閾值越高時，模型的假正率(FRP)會越低，但同時也會導致真正率(TRP)下降，即假陰性率(FNR)增加，因此需要根據業務需求選擇合適的閾值。

ROC曲線能夠幫助我們判斷選用哪個閾值更好，具體方法是選擇ROC曲線上最靠近左上角的點，它對應着某個最佳的閾值。因為此時模型的FRP最低，TRP最高。

四、代碼示例

下面是一個完整的Python代碼示例，包含了ROC曲線的計算和可視化。

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve
from matplotlib import pyplot as plt
import numpy as np

# 生成數據集
X, y = make_classification(n_samples=1000, n_classes=2, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

# 訓練模型並預測
clf = LogisticRegression(random_state=42)
clf.fit(X_train, y_train)
y_score = clf.predict_proba(X_test)[:, 1]

# 繪製ROC曲線
fpr, tpr, thresholds = roc_curve(y_test, y_score)
roc_auc = np.trapz(tpr, fpr)

plt.figure()
lw = 2
plt.plot(fpr, tpr, color='darkorange',
         lw=lw, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()

五、總結

本文從ROC曲線概述、ROC曲線參數、ROC曲線與閾值、代碼示例四個方面對Python中的ROC曲線進行了詳細闡述。ROC曲線是分類模型評估的重要指標之一，能夠幫助我們評估模型在不同閾值下的表現，並選擇合適的閾值。