深度学习中的激活函数

HDMXZ • 2025-01-13 13:23 • 编程

深度学习中激活函数是至关重要的一环。它们能够在神经网络中引入非线性，从而使得网络能够模拟更加复杂的函数。本文将从多个方面，详细的阐述深度学习中常用的激活函数。

一、Sigmoid函数

Sigmoid函数是最早被广泛使用的激活函数之一，它可以将输入压缩到[0,1]之间。Sigmoid函数具有良好的平滑性，且可以通过简单的求导计算。Sigmoid函数的定义如下：

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

不过Sigmoid函数也存在一些缺点，一是当输入较大或者较小的时候，Sigmoid函数的梯度会变得非常小；二是Sigmoid函数的输出不是零中心的，这会导致神经元相互作用时出现偏移，影响到梯度的传播。因此在实际应用中，Sigmoid函数的使用越来越少。

ReLU函数是目前最为常用的激活函数之一，它能够快速计算，并且解决了Sigmoid函数存在的缺点。ReLU函数的定义如下：

def relu(x):
    return np.maximum(0, x)

可以看出，当输入$x$为正数时，输出为$x$，当输入为负数时，输出为0。这种“抑制”负数的特性使得ReLU函数在训练时具有很好的表现。

不过，ReLU函数的缺点也是显而易见的。当输入为负数时，ReLU函数输出为0，这使得神经元无法对负数敏感。此外，输入为负数时，ReLU函数的导数为0，这会使得在反向传播时，这些神经元的权重不会被优化。为了解决ReLU函数存在的这些问题，后来产生了其他类型的ReLU函数。

LeakyReLU函数是ReLU函数的改进版本，它在输入为负数时，输出不为0，而是一个较小的值。这意味着即使输入为负数，神经元依然可以被激活。LeakyReLU函数的定义如下：

def leaky_relu(x, alpha=0.01):
    return np.maximum(alpha*x, x)

其中$\alpha$是一个小于1的常数。一般而言，$\alpha$的取值为0.01。使用LeakyReLU函数时，需要格外注意$\alpha$的取值，因为它会对模型的性能产生影响。

ELU函数是一种适用于深层网络的激活函数，它不仅比LeakyReLU函数表现更好，还具有更好的数学性质。ELU函数的定义如下：

def elu(x, alpha=1.0):
    return np.where(x > 0, x, alpha * (np.exp(x) - 1))

ELU函数在输入为负数时，不仅能够有激活的值，而且其导数也不为0。这使得神经元在训练时即使遇到负数，也能够被优化。不过使用ELU函数时，需要注意$\alpha$的取值，因为它同样会对模型的性能产生影响。

Softmax函数是一种特殊的激活函数，主要用于处理多分类问题。它能够将多个输出转化为概率分布，并能够使得所有输出的和为1。Softmax函数的定义如下：

def softmax(x):
    e_x = np.exp(x - np.max(x))
    return e_x / e_x.sum()

其中$x$是一个向量，Softmax函数将其输出归一化。在使用Softmax函数时，需要格外注意其输出的含义：输出值越大，代表输入被分类为该类别的概率越大。

本文从多个方面对深度学习中常用的激活函数进行了详细的阐述，包括Sigmoid函数、ReLU函数、LeakyReLU函数、ELU函数和Softmax函数。每种激活函数都有其特殊的优缺点，对于特定的应用场景，需要根据实际需要进行选择。在实际应用中，我们可以通过尝试多种激活函数的组合，来优化模型的性能。

原创文章，作者：HDMXZ，如若转载，请注明出处：https://www.506064.com/n/324872.html