Python SVM學習筆記

一、SVM簡介

支持向量機（Support Vector Machine, 簡稱SVM）是一種二分類模型，它的基本模型定義在特徵空間上的間隔最大的線性分類器，間隔最大使它有別於感知機。SVM通過間隔最大化的訓練方法得到參數，從而優化整個線性分類器的泛化能力。

SVM將原始特徵空間映射到一個高維特徵空間，從而找到一個最優的超平面（一組更好的決策函數）區分不同類別的樣本點。具體而言，SVM通過在高維空間中找到最能區分兩類數據的超平面，並將該超平面作為分類的決策函數。

二、SVM分類的數學原理

SVM分類的升維是通過核函數實現的。客戶端將內核函數指定為參數，該參數可以是預定義的內核名稱，如「linear」（線性內核）、「poly」（多項式內核）或「rbf」（徑向基內核），也可以定義用戶定義的內核。這樣，SVM可以在更高的維度中發現到更好的決策面，然而也會導致產生許多參數，如定義內核的參數、SVM演算法自身的參數。

# python實現SVM
# 導入必要模塊
import sklearn
from sklearn import svm
from sklearn import datasets

# 導入數據
iris = datasets.load_iris()
X = iris.data[:, :2]  # 只使用前兩個feature，方便繪製圖像
y = iris.target

# 訓練SVM分類器
C = 1.0  # SVM正則化參數
svc = svm.SVC(kernel='linear', C=C).fit(X, y)

# 繪製分類器的決策邊界
import numpy as np
import matplotlib.pyplot as plt

# 首先畫出樣本點
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired, edgecolors='k')
# 得到x_min, x_max, y_min, y_max用於繪圖
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
# 生成網格點集
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.1), np.arange(y_min, y_max, 0.1))
# 用訓練好的svm分類器做預測
Z = svc.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
# 將分類結果繪製出來
plt.contourf(xx, yy, Z, cmap=plt.cm.Paired, alpha=0.2)
# 繪製出支持向量
sv = svc.support_vectors_
plt.scatter(sv[:, 0], sv[:, 1], color='k', marker='x', linewidths='1', s=200)
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')
plt.show()

三、SVM常用API

1. svm.SVC

使用支撐向量分類器（SVC）的方法進行分類。具有廣義線性核和支持向量分類。

import numpy as np
from sklearn import svm
X = np.array([[0, 0], [1, 1], [1, 0], [0, 1]])
y = np.array([0, 0, 1, 1])
clf = svm.SVC()
clf.fit(X, y)

2. svm.NuSVC

使用Nu支持向量分類器（NuSVC）的方法進行分類。NuSVC是SVM演算法的擴展，能處理不完全線性可分數據。適用於小樣本的非線性分類任務。

import numpy as np
from sklearn import svm
X = np.array([[0, 0], [1, 1], [1, 0], [0, 1]])
y = np.array([0, 0, 2, 3])
clf = svm.NuSVC()
clf.fit(X, y)

3. svm.LinearSVC

使用支撐向量機（SVM）的線性分類問題的線性SVM。 可用於高維甚至低維空間中的大量樣本。

import numpy as np
from sklearn.svm import LinearSVC
X = np.array([[0, 0], [1, 1], [1, 0]])
y = np.array([0, 1, 1])
clf = LinearSVC()
clf.fit(X, y)

4. svm.SVR

支持向量回歸（SVR），用於擬合一個非線性的函數。可以進行任意維度空間中的分類，包括輸入空間的非顯式的特徵空間。

import numpy as np
from sklearn.svm import SVR
n_samples, n_features = 10, 5
np.random.seed(0)
y = np.random.randn(n_samples)
X = np.random.randn(n_samples, n_features)
clf = SVR(C=1.0, epsilon=0.2)
clf.fit(X, y)

5. svm.NuSVR

Nu支持向量回歸（NuSVR）是支持向量回歸（SVR）的另一個實現。這是使用函數間隔而不是純粹間隔進行數據劃分的支持向量回歸器。

import numpy as np
from sklearn.svm import NuSVR
n_samples, n_features = 10, 5
np.random.seed(0)
y = np.random.randn(n_samples)
X = np.random.randn(n_samples, n_features)
clf = NuSVR(C=1.0, nu=0.1, kernel='linear')
clf.fit(X, y)

四、SVM演算法優缺點

1. 演算法優點：

（1）可以解決高維問題，適用於維度較高的數據；

（2）可以解決非線性問題；

（3）泛化能力比較強。

2. 演算法缺點：

（1）對於核函數的高維映射解釋力不強；

（2）訓練時間長；

（3）對於非線性問題，有時很難找到一個合適的核函數。

五、總結

本文對Python SVM演算法進行了詳細的介紹。SVM是一種有效的分類演算法，在解決高維和非線性問題方面具有良好的效果。Python為我們提供了豐富的SVM庫和API，能夠方便地應用和調用SVM演算法。