邏輯回歸公式詳解

一、什麼是邏輯回歸

邏輯回歸是一種二分類模型，用於預測某一事件發生或不發生的概率。它基於給定的輸入變量對目標變量的概率進行預測，並可作為分類器用於新數據的分類。

二、邏輯回歸的公式

邏輯回歸公式表達了目標變量取值為1的概率。它的數學形式如下：

P(y=1|x) = 1 / (1 + exp(-(wT*x+b)))

其中，x是輸入特徵向量，w和b是模型參數。wT表示w的轉置，exp表示自然指數函數。

三、邏輯回歸的模型訓練

邏輯回歸的模型訓練包括兩個步驟：參數初始化和梯度下降迭代。

1. 參數初始化

隨機初始化w和b的值，使其能夠收斂到最優解。

import numpy as np
w = np.random.rand(n_features, 1)
b = np.random.rand(1)

2. 梯度下降迭代

使用梯度下降算法迭代更新參數w和b的值，使其能夠最小化損失函數。

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def gradient_descent(X, y, w, b, alpha, num_iterations):
    m = X.shape[0]
    for i in range(num_iterations):
        z = np.dot(X, w) + b
        a = sigmoid(z)
        dw = np.dot(X.T, (a - y)) / m
        db = np.sum(a - y) / m
        w -= alpha * dw
        b -= alpha * db
    return w, b

四、邏輯回歸的預測

使用訓練好的參數w和b，根據邏輯回歸公式預測目標變量y的取值。當預測結果大於0.5時，將y的取值設為1，否則設為0。

def predict(X, w, b):
    z = np.dot(X, w) + b
    a = sigmoid(z)
    y_hat = (a >= 0.5).astype(int)
    return y_hat

五、邏輯回歸的優缺點

邏輯回歸的優點：

1. 訓練和預測速度快

2. 模型參數易於解釋和理解

3. 可以處理非線性特徵

邏輯回歸的缺點：

1. 只能處理二分類問題

2. 對數據的線性可分性有很強的假設

3. 對缺失值和噪聲數據敏感

六、總結

本文對邏輯回歸模型的公式、模型訓練和預測以及優缺點進行了詳細闡述。邏輯回歸模型是一種簡單而有用的二分類模型，常用於數據科學領域的預測和分類。