深度學習入門：LeNet-5詳解

一、網絡結構介紹

LeNet-5是深度學習領域的先驅，也是最早被廣泛使用的卷積神經網絡之一。它是由Yann LeCun等人於1998年提出的，用於手寫數字識別。LeNet-5的網絡結構如下：

<圖1 LeNet-5網絡結構>
輸入 —>卷積層 -> 最大池化層 ->卷積層 ->最大池化層 ->全連接層 ->輸出層

輸入：LeNet-5的輸入為32×32的圖像。這裡的輸入可以是手寫數字的圖像或其他分類問題的圖像，只需要根據需要調整輸入的圖像大小即可。原始的LeNet-5輸入為32×32的灰度圖像（通道數為1），但為了適應複雜的圖像分類問題，我們可以將其擴展為彩色圖像（通道數為3）。

二、卷積層和最大池化層

卷積層是LeNet-5的核心部分，它由6個卷積核組成，使用S型激活函數。每個卷積核可以生成一個卷積特徵圖，卷積核的大小是5×5。通過卷積運算，LeNet-5能夠從原始圖像中提取出一些關鍵的特徵，比如邊緣、輪廓、紋理等。卷積後的特徵圖像被傳入最大池化層中。

最大池化層用來縮小特徵圖的尺寸，同時也起到抑制過擬合的作用。最大池化層的輸入通常是卷積層的輸出，將其劃分為若干個不重疊的區域，對於每個區域，取其中最大的值作為輸出。這樣能夠減小輸出特徵圖的尺寸，同時還能夠保留重要的特徵。

三、全連接層和輸出層

全連接層對池化層輸出的特徵圖進行扁平化處理，將每個特徵圖轉化為一個向量，經過全連接層之後再輸出到輸出層進行分類。全連接層包含120個神經元，激活函數採用S型激活函數。全連接層能夠學習非線性關係，提高模型的準確率和泛化能力。

輸出層是LeNet-5的最後一層，它包含10個神經元，對應了手寫數字0-9的10個類別。輸出層採用了softmax函數作為激活函數，用於多分類問題的分類。

四、代碼實現

下面是使用Python和TensorFlow實現的LeNet-5代碼示例：

import tensorflow as tf

class LeNet5:
    def __init__(self, input_shape, num_classes):
        self.input_shape = input_shape
        self.num_classes = num_classes

    def build(self):
        model = tf.keras.models.Sequential([
            tf.keras.layers.Conv2D(6, (5, 5), activation='relu', input_shape=self.input_shape),
            tf.keras.layers.MaxPooling2D((2, 2)),
            tf.keras.layers.Conv2D(16, (5, 5), activation='relu'),
            tf.keras.layers.MaxPooling2D((2, 2)),
            tf.keras.layers.Flatten(),
            tf.keras.layers.Dense(120, activation='relu'),
            tf.keras.layers.Dense(84, activation='relu'),
            tf.keras.layers.Dense(self.num_classes, activation='softmax')
        ])
        return model

input_shape = (32,32,3)
num_classes = 10
model = LeNet5(input_shape, num_classes).build()

五、總結

LeNet-5是深度學習領域的里程碑之一，它為我們提供了一個理論框架，幫助我們理解深度學習是如何工作的。它的網絡結構簡單，但是卻非常有效，可以用於許多圖像分類問題。通過不斷的優化和改進，LeNet-5及其變種已經成為了深度學習中不可或缺的一部分。