深入剖析PyTorch中unsqueeze(1)

一、介紹unsqueeze(1)

在PyTorch中，unsqueeze()是一個經常被用到的函數，它可以在指定的位置增加一個維度，並且新的維度大小為1。具體來說，unsqueeze(1)的作用是在第二個維度（即索引為1的維度）上增加一維，且大小為1。舉個例子：假設原始張量為tensor([1, 2, 3])，則unsqueeze(1)的結果為tensor([[1], [2], [3]])。通過增加維度，unsqueeze(1)可以為視覺、自然語言處理等許多任務中提供便利，接下來我們將介紹使用unsqueeze(1)的幾種情況。

二、用unsqueeze(1)進行數據預處理

數據預處理是深度學習模型訓練的重要步驟之一。對於文本數據，我們通常需要將文本轉化為詞向量的形式，再送入模型進行處理。在這個過程中，我們可以使用PyTorch中的TextDataLoader等庫進行數據預處理。其中，在創建DataLoader對象時，我們可以使用unsqueeze(1)對數據進行變形，這樣可以直接為神經網絡構建正確的輸入形狀。例如：

from torch.utils.data import DataLoader
from torchtext.datasets import AG_NEWS
from torchtext.data.utils import get_tokenizer
from torchtext.vocab import build_vocab_from_iterator

train_iter = AG_NEWS(split='train')
tokenizer = get_tokenizer('basic_english')
vocab = build_vocab_from_iterator(map(tokenizer, train_iter), specials=[''])
tokenizer = get_tokenizer('basic_english')

def yield_tokens(data_iter):
    for _, text in data_iter:
        yield tokenizer(text)
        
train_iter, test_iter = AG_NEWS()
train_data = list(yield_tokens(train_iter))
test_data = list(yield_tokens(test_iter))

def collate_batch(batch):
    label_list, text_list = [], []
    for (_label, _text) in batch:
        label_list.append(_label)
        processed_text = torch.tensor([vocab[token] for token in _text], dtype=torch.long)
        text_list.append(processed_text.unsqueeze(1))
    label_list = torch.tensor(label_list, dtype=torch.long)
    text_list = torch.stack(text_list)
    return label_list, text_list

train_loader = DataLoader(train_data, batch_size=64, shuffle=True, collate_fn=collate_batch)

如上所示，對於AG_NEWS文本數據集，我們首先使用get_tokenizer()函數獲取tokenizer，並且構建vocab，再通過yield_tokens()函數將data_iter轉化成處理過的數據。在collate_batch()函數中，我們通過unsqueeze(1)將text_list數據從形狀為(batch_size, max_seq_length)變為(batch_size, 1, max_seq_length)，其中1表示字嵌入的維度，這樣便於神經網絡的合理處理。

三、使用unsqueeze(1)進行神經網絡編程

在搭建神經網絡時，使用unsqueeze(1)可以方便定義輸入的維度。例如，對於自然語言處理問題，通常使用LSTM或者CNN網絡進行建模。這時候，我們需要將文本數據轉化為三維的張量(batch_size, 1, max_seq_length)，才能夠輸入到神經網絡中。這時候，就可以使用unsqueeze(1)函數對數據進行增加維度處理。

首先，我們需要定義模型的類，用於後續的模型訓練。在這個類中，我們需要定義模型的初始化、前向傳播、以及一些其他的函數。其中需要注意的是，在前向傳播的時候，我們通常會對文本數據進行unsqueeze(1)的操作，這裡有一個示例：

import torch.nn as nn
import torch.nn.functional as F

class NLPModel(nn.Module):
    def __init__(self):
        super(NLPModel, self).__init__()
        self.embedding_size = 300
        self.hidden_size = 256
        self.lstm_size = 2
        self.dropout_rate = 0.1

        self.embedding = nn.Embedding(vocab_size, self.embedding_size)
        self.dropout = nn.Dropout(self.dropout_rate)
        self.lstm = nn.LSTM(input_size=self.embedding_size, hidden_size=self.hidden_size,
                            num_layers=self.lstm_size, batch_first=True, bidirectional=True)
        self.fc = nn.Linear(self.hidden_size * 2, num_classes)
    
    def forward(self, inputs):
        inputs = inputs.transpose(1, 0) # (seq_length, batch_size) -> (batch_size, seq_length)
        inputs = self.embedding(inputs)
        inputs = self.dropout(inputs)
        inputs = inputs.transpose(1, 2) # (batch_size, seq_length, embedding_size)
        lstm_out, _ = self.lstm(inputs)
        lstm_out = F.dropout(lstm_out, p=self.dropout_rate, training=self.training)
        encoding = torch.cat([lstm_out[:, -1, :self.hidden_size],
                             lstm_out[:, 0, self.hidden_size:]], dim=1)
        logits = self.fc(encoding)
        return logits

在這個示例中，我們定義了一個NLPModel的神經網絡類，其中輸入的張量shape為(batch_size, seq_length)，使用transpose()函數將其變為(seq_length, batch_size)。接着，我們進行embedding操作，然後對數據進行unsqueeze(1)，變成(batch_size, 1, max_seq_length)。這樣，我們就可以把文本數據輸入到LSTM網絡中，進行訓練了。

四、總結

通過本篇文章，我們學習了如何使用unsqueeze(1)擴展一維張量。在實際應用中，unsqueeze(1)是一項非常有用的工具，它為我們提供了便利和效率，使得在使用深度學習技術解決自然語言處理、視覺等問題時變得更加有效。