PyTorch打印網絡結構詳解

一、PyTorch打印網絡結構圖

在深度學習中，網絡結構對於我們理解模型、調試網絡、優化結構等方面非常重要。PyTorch提供了多種方法來輸出網絡結構圖。

我們首先使用PyTorch官方提供的可視化工具PyTorchViz，它能夠方便地展示神經網絡中層與層之間的數據傳遞流程，它基於GraphViz開發。

import torch
from torchviz import make_dot
import torch.nn as nn


class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(nn.functional.relu(self.conv1(x)))
        x = self.pool(nn.functional.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.relu(self.fc2(x))
        x = self.fc3(x)
        return x


# 創建模型並可視化網絡結構圖
net = Net()
x = torch.randn(1, 3, 32, 32)
y = net(x)
make_dot(y, params=dict(net.named_parameters()))

該代碼將會輸出一個網絡結構圖，其中每個方框代表一層神經節點，箭頭表示數據流向。在每個方框上方，都有該層的名稱、輸入形狀和輸出形狀等信息。可以使用以下命令保存圖像：

make_dot(y, params=dict(net.named_parameters())).render("net")

二、PyTorch怎麼打印網絡結構

對於一些小型的網絡，上面的方法可能有點繁瑣。PyTorch提供了一個簡單的方法來輸出神經網絡的結構。我們只需要在創建模型時，在最後增加一個print語句即可：

import torch
import torch.nn as nn


class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(10, 20)
        self.fc2 = nn.Linear(20, 30)
        self.fc3 = nn.Linear(30, 1)

    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.relu(self.fc2(x))
        x = self.fc3(x)
        return x


# 創建模型並打印網絡結構
net = Net()
print(net)

執行代碼後，會在控制台輸出一張網格圖，它展示了神經網絡的完整結構，包含網絡層、對應的輸入和輸出形狀等信息。

三、PyTorch網絡結構

在PyTorch中，可以通過繼承nn.Module來創建自定義的神經網絡結構。在初始化函數中，我們可以定義網絡中包含哪些層並保留它們的引用，然後在forward()函數中定義它們之間的關係。

下面是一個簡單的例子，展示了如何創建一個包含三個線性層的神經網絡：

import torch.nn as nn


class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(10, 20)
        self.fc2 = nn.Linear(20, 30)
        self.fc3 = nn.Linear(30, 1)

    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.relu(self.fc2(x))
        x = self.fc3(x)
        return x


# 創建模型
net = Net()
print(net)

這段代碼創建了一個包含三個線性層的神經網絡模型，第一層有10個輸入節點，第二層有20個節點，第三層有1個輸出節點。

四、PyTorch打印模型結構

使用PyTorch，我們可以很容易地輸出網絡模型的結構信息，包括各層神經元的個數、各層之間連接的方式等。我們只需要在建立模型後運行以下代碼即可輸出模型結構：

import torch
import torch.nn as nn


class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(10, 20)
        self.fc2 = nn.Linear(20, 30)
        self.fc3 = nn.Linear(30, 1)

    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.relu(self.fc2(x))
        x = self.fc3(x)
        return x


# 創建模型
net = Net()
print(net)

執行該代碼後，會打印出該神經網絡的結構信息，包括每一層的名稱、類型、輸出形狀和參數個數等。

五、PyTorch打印網絡參數

我們可以使用state_dict()函數輸出PyTorch神經網絡的所有參數。其中，state_dict()返回一個字典，它包含了網絡所有層的參數以及對應的權重數組。

import torch.nn as nn


class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(10, 20)
        self.fc2 = nn.Linear(20, 30)
        self.fc3 = nn.Linear(30, 1)

    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.relu(self.fc2(x))
        x = self.fc3(x)
        return x


# 創建模型
net = Net()

# 輸出網絡參數
for name, param in net.state_dict().items():
    print(name, param.shape)

執行該代碼，可以看到輸出了每一層神經元的名稱及對應的權重數組形狀。

六、PyTorch輸出網絡結構

PyTorch提供了多種方法來輸出神經網絡結構，有些方法是輸出文本格式描述，有些方法則輸出網絡結構圖像。我們可以根據任務需要採取不同的輸出方式。

在大多數情況下，打印模型結構和參數以及輸出網絡結構圖像能夠方便地幫助我們調試和修改神經網絡結構。

七、PyTorch查看網絡結構

我們可以使用PyTorch提供的方法，一次性輸出整個神經網絡結構，這可以幫助我們更清楚地了解神經元之間的聯繫。

import torchvison.models as models


# 創建預訓練模型resnet18
model = models.resnet18(pretrained=True)

# 輸出網絡結構
print(model)

執行代碼後，會輸出該預訓練模型的完整神經網絡結構。上述代碼假設我們已經安裝了torchvision包且預先訓練了一個resnet18模型。

八、PyTorch修改網絡結構

當我們需要修改神經網絡結構時，PyTorch提供了幾種方法。對於一些簡單的修改，我們可以採用以下兩個方法：

首先，我們可以直接對PyTorch神經網絡模型中的參數進行修改，例如添加、刪除或替換層等。例如，對於下面這個簡單的線性網絡，我們可以通過如下方式增加一層：

import torch
import torch.nn as nn


class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(10, 20)
        self.fc2 = nn.Linear(20, 1)

    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = self.fc2(x)
        return x


# 創建模型
net = Net()

# 添加新層
net.fc3 = nn.Linear(1, 1)
print(net)

上述代碼在模型中添加了一個輸出形狀為（1,1）的線性層，下面是完整的模型結構：

Net(
  (fc1): Linear(in_features=10, out_features=20, bias=True)
  (fc2): Linear(in_features=20, out_features=1, bias=True)
  (fc3): Linear(in_features=1, out_features=1, bias=True)
)

第二種方法是使用PyTorch提供的nn.Sequential()函數，該函數可以幫助我們按照給定的順序創建神經網絡層。

import torch
import torch.nn as nn


class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.net1 = nn.Sequential(
            nn.Linear(10, 20),
            nn.ReLU()
        )
        self.net2 = nn.Sequential(
            nn.Linear(20, 30),
            nn.ReLU()
        )
        self.fc = nn.Linear(30, 1)

    def forward(self, x):
        x = self.net1(x)
        x = self.net2(x)
        x = self.fc(x)
        return x


# 創建模型
net = Net()
print(net)

以上代碼展示了如何使用nn.Sequential()函數對線性網絡增加一個ReLU層。在實際應用中，我們可以使用這個方法對神經網絡進行各種修改操作。