Python中的sklearn Logistic Regression模型

一、介紹

Logistic Regression是一種廣泛應用於分類問題的線性模型。它的思想是將線性模型的輸出值通過Sigmoid函數壓縮到[0,1]之間，以表示概率。在sklearn庫中，包含一個LogisticRegression類，可以用於二分類和多分類問題。

from sklearn.linear_model import LogisticRegression

# 構造LogisticRegression類的實例化對象
log_reg = LogisticRegression()

LogisticRegression包含很多可調參數，例如正則化參數，求解演算法和類權重等，這在後面會詳細介紹。

二、數據預處理

Logistic Regression模型對數據的要求比較嚴格，需要進行幾個預處理步驟：

1. 處理缺失值

通常我們需要對缺失值進行填充或刪除，以保證數據完整。sklearn中提供了imputer函數，可以快速實現數據處理。

from sklearn.preprocessing import Imputer

# 構造Imputer類的實例化對象
imputer = Imputer(strategy="mean")
imputer.fit(X_train)
X_train = imputer.transform(X_train)
X_test = imputer.transform(X_test)

2. 特徵縮放

特徵縮放可以幫助我們使得模型收斂更快，並且避免因為數據差異過大導致的權重過擬合。通常我們將特徵縮放到均值為0，方差為1的標準正態分布。

from sklearn.preprocessing import StandardScaler

# 構造StandardScaler類的實例化對象
standard_scaler = StandardScaler()
standard_scaler.fit(X_train)
X_train = standard_scaler.transform(X_train)
X_test = standard_scaler.transform(X_test)

三、訓練模型

調用Logistic Regression類實例化對象的fit方法，即可完成模型訓練。在fit方法中傳入訓練數據X_train和目標變數y_train。

log_reg.fit(X_train, y_train)

四、模型參數調整

Logistic Regression模型中有很多可調參數，這些參數可以調節模型複雜度，提升模型性能。這裡介紹幾個常用參數：

1. penalty

penalty參數用於指定正則化項，正則化可以避免過擬合，同時提升模型泛化性能。penalty參數有兩個取值：「l1」和「l2」，分別對應L1正則化和L2正則化。

log_reg_l1 = LogisticRegression(penalty="l1")
log_reg_l2 = LogisticRegression(penalty="l2")

2. C

C參數用於指定正則化的強度，在損失函數中有一個係數為C的項，可以控制正則化的強度。C越小，正則化強度越大；C越大，正則化強度越弱。

log_reg_c1 = LogisticRegression(C=0.1)
log_reg_c2 = LogisticRegression(C=1)
log_reg_c3 = LogisticRegression(C=10)

3. solver

solver參數用於指定求解演算法，sklearn中提供了多種求解方法，包括”newton-cg”、”lbfgs”、”liblinear”、”sag”和”saga”。不同演算法在不同數據集上具有不同的表現，需要根據情況進行選擇。

log_reg_newton = LogisticRegression(solver="newton-cg")
log_reg_lbfgs = LogisticRegression(solver="lbfgs")
log_reg_liblinear = LogisticRegression(solver="liblinear")
log_reg_sag = LogisticRegression(solver="sag")
log_reg_saga = LogisticRegression(solver="saga")

4. class_weight

class_weight參數用於對不平衡樣本進行處理。在某些情況下，目標變數的不同類別在數據量上存在很大差異，這會導致模型對數據分布偏移很敏感。通過設置class_weight參數，可以賦予不同類別不同的權重，加強少數類別的重要性。

log_reg_class_weight = LogisticRegression(class_weight={0: 1, 1: 5})

五、模型評估

完成模型訓練後，需要對模型進行評估，以了解其在測試集上的性能。下面介紹幾個常用的評估指標：

1. Accuracy

Accuracy指標是二分類問題中最常用的一種評估指標，表示分類正確的樣本佔總樣本數的比例：

from sklearn.metrics import accuracy_score
y_predict = log_reg.predict(X_test)
accuracy_score(y_test, y_predict)

2. Precision / Recall / F1-score

Precision、Recall和F1-score是另外三種常用的二分類評估指標。其中Precision表示預測為正例中真正為正例的比例，Recall表示真正為正例中預測為正例的比例，F1-score是Precision和Recall的調和平均。

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_test, y_predict)
recall_score(y_test, y_predict)
f1_score(y_test, y_predict)

3. ROC曲線 / AUC值

ROC曲線是二分類問題中廣泛使用的評估工具，直觀地呈現了模型的性能。ROC曲線的橫坐標為False Positive Rate(FPR)，縱坐標為True Positive Rate(TPR)。AUC值是ROC曲線下面積。

from sklearn.metrics import roc_curve, auc
fpr, tpr, thresholds = roc_curve(y_test, y_predict)
roc_auc = auc(fpr, tpr)

六、總結

Logistic Regression是一個簡單高效的分類演算法，適用於二分類和多分類問題。在sklearn庫中，可以方便地應用Logistic Regression模型，並通過調整模型參數獲得更好的性能。最後，要注意對數據進行預處理，以保證模型的精度和穩定性。