Tensorboard的多方位解析

一、Tensorboard PyTorch教程

PyTorch是一種基於Python的深度學習框架，這個框架在構建計算圖和自動求導的方面非常靈活方便。Tensorboard是PyTorch的一個可視化工具，可以幫助用戶更好的分析和理解模型。

下面是一個簡單的PyTorch Tensorboard示例，展示了如何在PyTorch中實現一個簡單的神經網路，並且使用tensorboard插件來監控訓練過程中的各種指標。

import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.utils.tensorboard import SummaryWriter

# 定義神經網路模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 256)
        self.fc2 = nn.Linear(256, 10)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 載入MNIST數據集
train_set = torchvision.datasets.MNIST(root='mnist', train=True, download=True, transform=torchvision.transforms.ToTensor())
train_loader = torch.utils.data.DataLoader(train_set, batch_size=128, shuffle=True)

# 定義損失函數和優化器
net = Net()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.01, momentum=0.5)

# 設置tensorboard
writer = SummaryWriter('log')

# 開始訓練
for epoch in range(10):
    for batch_idx, (data, target) in enumerate(train_loader):
        optimizer.zero_grad()
        output = net(data.view(-1, 784))
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()
        
        # 使用tensorboard監控
        if batch_idx % 10 == 0:
            writer.add_scalar('Loss/train', loss.item(), epoch*len(train_loader)+batch_idx)
            writer.add_scalar('Accuracy/train', accuracy, epoch*len(train_loader)+batch_idx)

writer.close() # 記得關閉tensorboard

通過tensorboard，我們可以監控損失值和準確率，並且可視化地展示出來。這樣就方便我們對訓練過程進行分析和調試。

二、Tensorboard Loss曲線

Loss曲線是神經網路訓練中非常重要的一部分，因為它可以幫助我們判斷模型是否收斂。通過tensorboard，我們可以輕鬆地獲得訓練過程中的loss曲線。

# 以上面PyTorch示例為例

# 定義 tensorboard writer
writer = SummaryWriter('log')

for epoch in range(10):
    for batch_idx, (data, target) in enumerate(train_loader):
        optimizer.zero_grad()
        output = net(data.view(-1, 784))
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()
        
        writer.add_scalar('Loss/train', loss.item(), epoch*len(train_loader)+batch_idx)
        
        # 列印 loss
        if batch_idx % 100 == 0:
            print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
                epoch, batch_idx * len(data), len(train_loader.dataset),
                100. * batch_idx / len(train_loader), loss.item()))
writer.close()

以上代碼中，我們可以看到，在每個epoch訓練完成後，都會輸出一個batch的loss值。同時也將loss值添加到tensorboard中，這樣就可以觀察到訓練過程中的loss曲線。

三、Tensorboard M是什麼單位

在使用 tensorboard 監控訓練過程的時候，許多人會注意到一些參數的單位問題，比如說 learning rate 、batch size 等。而 M 是什麼單位也是一個問題。其實M是指mini-batch的簡稱。

因為數據集可能非常大，不能一次性將所有的數據載入到內存中。所以我們選擇使用mini-batch的方式，每次從數據集中隨機抽取一個小批量的數據進行訓練。使用Tensorboard監控訓練過程中的參數時，通常會將M這個參數添加到name中表示。

四、Tensorboard Tensorflow教程

TensorFlow是一個使用數據流圖進行數值計算的開源軟體庫，廣泛應用於深度學習等領域中。Tensorboard也是TensorFlow中重要的一個工具，可以幫助我們更好地理解和調試模型。

下面是一個簡單的TensorFlow Tensorboard示例，展示了如何在TensorFlow中實現一個簡單的神經網路，並且使用tensorboard插件來監控訓練過程中的各種指標。

import tensorflow as tf

# 載入MNIST數據集
(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()

# 數據預處理
train_images = train_images / 255.0
test_images = test_images / 255.0

# 定義神經網路模型
model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=(28, 28)),
    tf.keras.layers.Dense(128, activation=tf.nn.relu),
    tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])

# 定義優化器和損失函數
model.compile(optimizer='adam', 
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 設置tensorboard
tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir='logs')

# 開始訓練
model.fit(train_images, train_labels, epochs=5, callbacks=[tensorboard_callback])

通過tensorboard，我們可以監控各種指標，包括訓練數據的準確率、損失函數值、測試數據的準確率等等。

五、Tensorboard可視化模型

Tensorboard除了可以幫助我們監控訓練過程中的各種指標之外，還可以幫助我們理解和可視化模型。我們可以使用Tensorboard更好地理解模型的結構和組成部分。

import torch
import torch.nn as nn
from torch.utils.tensorboard import SummaryWriter

# 定義神經網路模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 256)
        self.fc2 = nn.Linear(256, 10)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 設置tensorboard
writer = SummaryWriter('log')

# 可視化模型
model = Net()
data = torch.rand(1, 784)
writer.add_graph(model, data)
writer.close()

上述代碼中，我們使用了 PyTorch 的 nn.Module 類來定義了一個包含兩個全連接層的神經網路模型。然後我們使用 tensorboard.add_graph 函數將模型可視化出來。

當然這些只是入門級的Tensorboard教程。當我們在研究一個更加複雜的神經網路模型的時候，還需要去學習和使用其他高級的Tensorboard函數。