深入理解tf.nn.tanh

一、概述

tf.nn.tanh是TensorFlow中的一个常用激活函数之一，用于将输入的神经元输出转换为一个介于-1和1之间的值。

与Sigmoid函数类似，tanh函数也是一种S型函数，但是它的输出范围更广，并且函数在原点对称。

二、tanh函数的数学原理

tanh函数的数学表达式如下：

tf.nn.tanh(x, name=None)

# 其中x为输入张量，name为可选参数，是操作的命名空间。

该函数使用指数函数的形式将浮点数归一化到[-1,1]之间，如下所示：

tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))

可以看出，tanh函数可以将所有的输入x投射到[-1,1]范围内，并且在原点对称。当输入大于0时，函数的输出趋向于1；当输入小于0时，函数的输出趋向于-1；当输入为0时，函数的输出为0。

三、tanh函数的使用场景

tanh函数可以用作神经网络的激活函数，被广泛地应用于深度学习中的各种模型，包括循环神经网络（RNN）、卷积神经网络（CNN）等等。

在神经网络中，tanh函数的主要作用是：在神经元输出之前，将输入进行归一化，减少对下一层神经元的影响；在反向传播过程中，将梯度约束在(-1,1)范围内，从而避免梯度爆炸或梯度消失。

四、tanh函数的实现原理

TensorFlow通过相应的操作符来实现tanh函数。

在TensorFlow中，可以使用tf.nn.tanh函数来实现tanh激活函数，它会对输入张量的每一个元素都应用tanh函数，并返回一个具有相同形状的张量，如下所示：

def tanh(x, name=None):
    with ops.name_scope(name, "Tanh", [x]) as name:
        return gen_math_ops.tanh(x, name=name)

五、tanh函数的优缺点

5.1 优点

将输入数据归一化到[-1,1]之间，加速收敛速度，提高模型训练的稳定性。
原点对称的性质可以减少神经网络层数，改善模型的表现。
在RNN中，tanh函数可以增强模型的记忆能力，从而更好地处理时间序列数据。

5.2 缺点

在输入较大或较小的情况下，tanh函数的梯度会变得很小，从而导致梯度消失。
tanh函数计算复杂度较高，因此在较大的神经网络中，会增加计算时间。

六、实例演示

下面是一个使用tanh函数的神经网络实例：

import tensorflow as tf

# 导入MNIST数据集
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

# 创建占位符
x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])

# 定义神经网络结构
W1 = tf.Variable(tf.truncated_normal([784, 128], stddev=0.1))
b1 = tf.Variable(tf.zeros([128]))
W2 = tf.Variable(tf.truncated_normal([128, 10], stddev=0.1))
b2 = tf.Variable(tf.zeros([10]))

# 激活函数：tanh
hidden = tf.nn.tanh(tf.matmul(x, W1) + b1)
y_pred = tf.nn.softmax(tf.matmul(hidden, W2) + b2)

# 损失函数：交叉熵
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y * tf.log(y_pred), axis=[1]))

# 训练操作
train_op = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

# 准确率评估操作
correct_prediction = tf.equal(tf.argmax(y, axis=1), tf.argmax(y_pred, axis=1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# 训练网络
with tf.Session() as sess:
    # 初始化变量
    sess.run(tf.global_variables_initializer())

    # 训练2000批次
    for i in range(2000):
        batch_xs, batch_ys = mnist.train.next_batch(128)
        sess.run(train_op, feed_dict={x: batch_xs, y: batch_ys})

        # 计算训练集准确率
        if i % 100 == 0:
            train_acc = sess.run(accuracy, feed_dict={x: mnist.train.images, y: mnist.train.labels})
            print("step %d, training accuracy %g" % (i, train_acc))
    
    # 计算测试集准确率
    test_acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels})
    print("test accuracy %g" % test_acc)

原创文章，作者：BYTH，如若转载，请注明出处：https://www.506064.com/n/133165.html