Selu激活函数：多方位阐述

小蓝 • 2024-12-22 16:07 • 编程

一、Selu激活函数torch

Selu激活函数是深度学习中常用的激活函数之一，常用于卷积神经网络中，可以使得梯度不会消失或爆炸。在Pytorch中，我们可以使用torch.nn.SELU来使用Selu激活函数。其定义如下：

import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(28 * 28, 256)
        self.fc2 = nn.Linear(256, 64)
        self.fc3 = nn.Linear(64, 10)

    def forward(self, x):
        x = F.selu(self.fc1(x))
        x = F.selu(self.fc2(x))
        x = self.fc3(x)
        return x

二、Selu激活函数的特点

Selu激活函数是一种自适应的激活函数，可以将网络的输出规范化为一个稳定值。在Selu激活函数中，输入为负值时激活函数表现为指数函数，而在正值时则表现为线性函数，这种特性可以保持梯度不会消失或爆炸。

Selu激活函数还可以通过自身的归一化来对输入数据进行处理，常数$\alpha$和$\lambda$的设定可以让数据的均值和方差保持为一个常数，这样可以有效地处理数据的偏态分布问题。

使用Selu激活函数的神经网络可以取得非常好的效果，在图像分类、语音识别等领域都有广泛的应用。

三、Selu激活函数torch代码

我们可以使用以下代码在pytorch中实现Selu激活函数：

import torch.nn.functional as F

def selu(x, alpha=1.67326, scale=1.0507):
    """
    Selu激活函数
    """
    return scale * (
        F.threshold(-alpha*x, -1) 
        + F.elu(x, 1)
    )

四、Relu激活函数

Relu激活函数是一种常用的激活函数，可以有效地解决梯度消失问题。其定义如下：

$$f(x)=\max(0,x)$$

当$x=0$时，输出为$x$。

五、Relu激活函数公式

Relu激活函数的公式为：

$$f(x)=\begin{cases}
x, & \text{if } x \geq 0 \\
0, & \text{otherwise}
\end{cases}$$

六、Silu激活函数

Silu激活函数是一种新的激活函数，可以简单地写作Sigmoid Linear Unit，其定义如下：

$$f(x)=x\cdot\sigma(x)$$

其中$\sigma(x)$为Sigmoid函数

七、Relu激活函数的作用

Relu激活函数可以解决深度神经网络中的梯度消失问题，使得网络的训练速度更快、效果更好。Relu激活函数公式简单，计算速度快，因此被广泛地应用于卷积神经网络中。

八、Relu激活函数是线性函数

当$x>=0$时，Relu激活函数输出为$x$，因此可以看作是一种线性函数。而当$x<0$时，Relu激活函数输出为0，因此在$x<0$时，它是一个非线性函数。

九、Swish激活函数

Swish激活函数是一种目前比较流行的激活函数，其定义如下：

$$f(x)=\frac{x}{1+e^{-\beta x}}$$

其中$\beta$是一个可调的超参数。

Swish激活函数是在Sigmoid激活函数的基础上发展而来的，可以同时具备Sigmoid和Relu的一些优点，如低频的平滑可微分性和高频的非线性性。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/286196.html