卷積神經網絡的代碼實現，lenetas設備

編碼的實現環境是Python3.8.3、torch1.5、Anaconda3(64-bit)、PyCharm2020.1。是《動手學深度學習》（PyTorch版）的練習及作業，個別代碼有修改，僅供交流學習之用。

# 5.5 卷積神經網絡（LeNet），即含卷積層的網絡。

# （1）LeNet模型# LeNet分為卷積層塊和全連接層塊兩個部分。
# 卷積層塊里的基本單位是卷積層後接最大池化層：卷積層用來識別圖像里的空間模式，如線條和物體局部；最大池化層則用來降低卷積層對位置的敏感性。# 卷積層塊由兩個這樣的基本單位重複堆疊構成。在卷積層塊中，每個卷積層都使用5×5的窗口，並在輸出上使用sigmoid激活函數。# 第一個卷積層輸出通道數為6，第二個卷積層輸出通道數則增加到16。# 卷積層塊的兩個最大池化層的窗口形狀均為2×2，且步幅為2。由於池化窗口與步幅形狀相同，池化窗口在輸入上每次滑動所覆蓋的區域互不重疊。# 卷積層塊的輸出形狀為(批量大小, 通道, 高, 寬)。# 當卷積層塊的輸出傳入全連接層塊時，全連接層塊會將小批量中每個樣本變平（flatten）。也就是說，全連接層的輸入形狀將變成二維，# 其中第一維是小批量中的樣本，第二維是每個樣本變平後的向量表示，且向量長度為通道、高和寬的乘積。# 全連接層塊含3個全連接層。它們的輸出個數分別是120、84和10，其中10為輸出的類別個數。
import time
import torch
from torch import nn, optim
import sys
sys.path.append("..")
import d2lzh as d2l
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

# 通過Sequential類來實現LeNet模型。class LeNet(nn.Module):
    def __init__(self):
        super(LeNet, self).__init__()
         在卷積層塊中輸入的高和寬在逐層減小。卷積層由於使用高和寬均為5的卷積核，從而將高和寬分別減小4;        # 而池化層則將高和寬減半，但通道數則從1增加到16。        
        self.conv = nn.Sequential(
		            nn.Conv2d(1, 6, 5), # in_channels, out_channels, kernel_size            
		            nn.Sigmoid(),            
    		        nn.MaxPool2d(2, 2), # kernel_size, stride            
        		    nn.Conv2d(6, 16, 5),            
            		nn.Sigmoid(),            
            		nn.MaxPool2d(2, 2)
        		)
        		# 全連接層則逐層減少輸出個數，直到變成圖像的類別數10。        
            self.fc = nn.Sequential(
            nn.Linear(16*4*4, 120),            nn.Sigmoid(),            nn.Linear(120, 84),            nn.Sigmoid(),            nn.Linear(84, 10)
        )
    def forward(self, img):
        feature = self.conv(img)
        output = self.fc(feature.view(img.shape[0], -1))
        return output

net = LeNet()
print(net)


# （2）獲取數據和訓練模型# 下面我們來實驗LeNet模型。實驗中，使用Fashion-MNIST作為訓練數據集。batch_size = 256train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size=batch_size)

lr, num_epochs = 0.001, 5optimizer = torch.optim.Adam(net.parameters(), lr=lr)
d2l.train_ch5(net, train_iter, test_iter, batch_size, optimizer, device, num_epochs)