归一化在机器学习中的作用

OTAGO • 2025-04-12 01:13 • 编程

一、归一化的定义

归一化是指将某个变量的取值范围缩放到0~1或者-1~1之间，以便于不同变量之间的比较和权重的划分。

它是数据的预处理方法之一，常用于机器学习中。机器学习算法通常基于样本之间的距离计算模型，而归一化可以有效地消除不同变量之间的量纲和范围差异，使得每个变量对距离计算的影响权重相等，从而提高模型的精度和稳定性。

二、归一化的方法

常用的归一化方法有最小-最大归一化、z-score标准化、小数定标标准化等。

1、最小-最大归一化

最小-最大归一化是指将数据中的每个元素按照下面的公式进行缩放：

X' = (X - Xmin) / (Xmax - Xmin)

其中，X’是归一化后的值，X是原始值，Xmin是所有样本中的最小值，Xmax是所有样本中的最大值。

2、z-score标准化

z-score标准化是一种简单的标准化方法，可以将数据均值为0，标准差为1。其公式如下：

X' = (X - μ) / σ

其中，X’是归一化后的值，X是原始值，μ是所有样本的均值，σ是所有样本的标准差。然而，这种方法有可能受到异常值的影响，导致数据的分布失真。

3、小数定标标准化

小数定标标准化是一种将数据缩小到[-1,1)的方法，其公式如下：

X' = X / 10^j

其中，X’是归一化后的值，X是原始值，j是使得所有样本都小于1，且精度满足要求的最小正整数。由于该方法会使得数据精度降低，因此在对精度要求较高的情况下不适用。

三、归一化在机器学习中的应用

在机器学习中，归一化的作用十分重要。

1、提高模型精度

当训练数据的不同特征之间的尺度差距过大时，会导致梯度下降的过程变慢，收敛速度变慢，模型容易陷入局部最优解。如果对数据进行归一化后，可以避免这种情况的发生，提高了模型的精度。

2、提高模型稳定性

当训练数据的不同特征之间的尺度差距过大时，模型容易受到某些特征的影响过大，导致泛化能力不足，可能出现过拟合的情况。归一化可以平衡各个特征之间的影响，提高模型的稳定性。

3、加速模型训练

当数据进行归一化后，可以使得模型训练的速度更快，迭代次数减少。因为归一化后的数据更容易收敛，而且每次迭代的步幅更精确，使得学习率的选择更加简单。

四、示例代码

1、最小-最大归一化代码示例

import numpy as np

def min_max_scaler(X):
    X = np.array(X)
    Xmin = np.min(X, axis=0)
    Xmax = np.max(X, axis=0)
    X_norm = (X - Xmin) / (Xmax - Xmin)
    return X_norm

2、z-score标准化代码示例

import numpy as np

def zero_mean_scaler(X):
    X = np.array(X)
    μ = np.mean(X, axis=0)
    σ = np.std(X, axis=0)
    X_norm = (X - μ) / σ
    return X_norm

3、小数定标标准化代码示例

import numpy as np

def decimal_scaler(X):
    X = np.array(X)
    j = np.ceil(np.log10(np.max(X)))
    X_norm = X / (10 ** j)
    return X_norm

以上代码示例仅供参考，具体实现方式因不同情况而异，可以根据具体需求进行调整。

原创文章，作者：OTAGO，如若转载，请注明出处：https://www.506064.com/n/368360.html