一、什麼是數值縮放
在數據分析中,數值縮放是指將數據的數值按照一定的比例縮小或者放大,以達到更好的數據分析效果。縮放的目的是消除數據之間的單位差異,使得各個屬性對結果的影響具有可比性和可解釋性。在機器學習中,進行數值縮放是很重要的一個步驟,因為不同特徵之間的量綱和取值範圍可能相差很大,縮放後有利於提升模型的性能。
二、數值縮放的方法
常見的數值縮放方法有兩種:min-max標準化和z-score標準化。
1. min-max標準化
min-max標準化,又稱極差標準化,是指對原始數據進行線性變換,將數據映射到[0, 1]的範圍內。這種方法適用於數據分佈沒有明顯邊界的情況,即數據的最大值和最小值不存在或有極大的離群值的情況,例如人口密度等。
import numpy as np
def min_max_scale(X):
return (X - np.min(X, axis=0)) / (np.max(X, axis=0) - np.min(X, axis=0))
2. z-score標準化
z-score標準化,也稱為標準差標準化,是指對原始數據進行線性變換,將數據映射到均值為0,標準差為1的正態分佈上。這種方法適用於數據分佈有明顯的邊界,可能存在離群值的情況,例如考試分數、股票收益率等。
def z_score_scale(X):
return (X - np.mean(X, axis=0)) / np.std(X, axis=0)
三、應用場景
數據縮放得到的新值範圍在0到1之間,使得數據不會受個別變量的極端取值的影響。建議在 SVM、KNN、線性回歸、Logistic回歸、神經網絡、K-means聚類等算法中使用數值縮放。
舉個例子,假設有一組數據,包含兩個特徵值,第一個特徵值的取值範圍在[1,10000]之間,第二個特徵值的取值範圍在[0,1]之間。如果不對這些數據進行縮放,第一個特徵值對結果的影響將會遠大於第二個特徵值,而縮放後兩者的重要性將會更加均衡。
X = np.array([[1, 0.5], [10000, 0], [5000, 1]])
# 原始數據
print(X)
# min-max縮放後數據
print(min_max_scale(X))
# z-score縮放後數據
print(z_score_scale(X))
以上代碼輸出的結果為:
[[1.0, 0.5]
[10000.0, 0.0]
[5000.0, 1.0]]
[[0.0, 0.5]
[1.0, 0.0]
[0.49975, 1.0]]
[[-0.7071, 0.0]
[1.4142, -1.2247]
[0.2928, 1.2247]]
四、總結
在數據分析和機器學習中進行數值縮放是一個很重要的步驟,可以消除數據之間的單位差異,使得數據更具有可比性和可解釋性,並且提升機器學習算法的性能。化繁為簡,使用Python中的numpy庫可以輕鬆實現min-max標準化和z-score標準化,方便且高效。
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hk/n/301758.html