深入理解tf.nn.tanh

一、概述

tf.nn.tanh是TensorFlow中的一個常用激活函數之一，用於將輸入的神經元輸出轉換為一個介於-1和1之間的值。

與Sigmoid函數類似，tanh函數也是一種S型函數，但是它的輸出範圍更廣，並且函數在原點對稱。

二、tanh函數的數學原理

tanh函數的數學表達式如下：

tf.nn.tanh(x, name=None)

# 其中x為輸入張量，name為可選參數，是操作的命名空間。

該函數使用指數函數的形式將浮點數歸一化到[-1,1]之間，如下所示：

tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))

可以看出，tanh函數可以將所有的輸入x投射到[-1,1]範圍內，並且在原點對稱。當輸入大於0時，函數的輸出趨向於1；當輸入小於0時，函數的輸出趨向於-1；當輸入為0時，函數的輸出為0。

三、tanh函數的使用場景

tanh函數可以用作神經網絡的激活函數，被廣泛地應用於深度學習中的各種模型，包括循環神經網絡（RNN）、卷積神經網絡（CNN）等等。

在神經網絡中，tanh函數的主要作用是：在神經元輸出之前，將輸入進行歸一化，減少對下一層神經元的影響；在反向傳播過程中，將梯度約束在(-1,1)範圍內，從而避免梯度爆炸或梯度消失。

四、tanh函數的實現原理

TensorFlow通過相應的操作符來實現tanh函數。

在TensorFlow中，可以使用tf.nn.tanh函數來實現tanh激活函數，它會對輸入張量的每一個元素都應用tanh函數，並返回一個具有相同形狀的張量，如下所示：

def tanh(x, name=None):
    with ops.name_scope(name, "Tanh", [x]) as name:
        return gen_math_ops.tanh(x, name=name)

五、tanh函數的優缺點

5.1 優點

• 將輸入數據歸一化到[-1,1]之間，加速收斂速度，提高模型訓練的穩定性。
• 原點對稱的性質可以減少神經網絡層數，改善模型的表現。
• 在RNN中，tanh函數可以增強模型的記憶能力，從而更好地處理時間序列數據。

5.2 缺點

• 在輸入較大或較小的情況下，tanh函數的梯度會變得很小，從而導致梯度消失。
• tanh函數計算複雜度較高，因此在較大的神經網絡中，會增加計算時間。

六、實例演示

下面是一個使用tanh函數的神經網絡實例：

import tensorflow as tf

# 導入MNIST數據集
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

# 創建佔位符
x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])

# 定義神經網絡結構
W1 = tf.Variable(tf.truncated_normal([784, 128], stddev=0.1))
b1 = tf.Variable(tf.zeros([128]))
W2 = tf.Variable(tf.truncated_normal([128, 10], stddev=0.1))
b2 = tf.Variable(tf.zeros([10]))

# 激活函數：tanh
hidden = tf.nn.tanh(tf.matmul(x, W1) + b1)
y_pred = tf.nn.softmax(tf.matmul(hidden, W2) + b2)

# 損失函數：交叉熵
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y * tf.log(y_pred), axis=[1]))

# 訓練操作
train_op = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

# 準確率評估操作
correct_prediction = tf.equal(tf.argmax(y, axis=1), tf.argmax(y_pred, axis=1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# 訓練網絡
with tf.Session() as sess:
    # 初始化變量
    sess.run(tf.global_variables_initializer())

    # 訓練2000批次
    for i in range(2000):
        batch_xs, batch_ys = mnist.train.next_batch(128)
        sess.run(train_op, feed_dict={x: batch_xs, y: batch_ys})

        # 計算訓練集準確率
        if i % 100 == 0:
            train_acc = sess.run(accuracy, feed_dict={x: mnist.train.images, y: mnist.train.labels})
            print("step %d, training accuracy %g" % (i, train_acc))
    
    # 計算測試集準確率
    test_acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels})
    print("test accuracy %g" % test_acc)