NN.Embedding詳解

NN.Embedding是PyTorch中的一個常用模塊，其主要作用是將輸入的整數序列轉換為密集向量表示。在自然語言處理（NLP）任務中，可以將每個單詞表示成一個向量，從而方便進行下一步的計算和處理。

一、創建一個Embedding層

我們可以使用下面的代碼創建一個Embedding層：

import torch.nn as nn

# 定義一個 Embedding 層，輸入大小為 10，輸出大小為 3
embedding = nn.Embedding(10, 3)

這裡定義了一個輸入大小為10，輸出大小為3的Embedding層。其中輸入大小10表示一共有10個單詞或者是10個離散的特徵，輸出大小3表示每個單詞/特徵會被嵌入到一個3維的向量中。

二、查看Embedding層的參數

我們可以通過打印出Embedding層的參數來更好地理解它的作用：

print(embedding.weight)

輸出結果如下：

tensor([[-0.4555,  2.0056,  0.3216],
        [-0.8817, -0.8111,  1.1015],
        [-1.0718,  0.6407, -0.2452],
        [-0.1458, -0.4591,  0.3504],
        [ 0.0302,  0.5518, -0.8721],
        [-0.1264, -1.5344,  0.6339],
        [-0.6904, -1.8824, -0.2472],
        [ 0.5966, -0.9738,  0.9559],
        [ 0.0134, -1.3174, -0.3511],
        [ 1.1453,  2.5714,  0.1814]], requires_grad=True)

從上面的輸出結果中，我們可以看到一個大小為10×3的矩陣。其中的每一行代表了一個單詞/特徵的嵌入向量，每個元素都是一個浮點數。這個矩陣的值是在模型訓練的過程中學習得到的。

三、輸入數據並獲取嵌入向量

我們可以使用下面的代碼輸入一個整數序列並獲取嵌入向量：

# 輸入一個大小為3的整數序列
input_sequence = torch.LongTensor([1, 5, 3])

# 獲取嵌入向量
embedded_sequence = embedding(input_sequence)

print(embedded_sequence)

輸出結果如下：

tensor([[-0.8817, -0.8111,  1.1015],
        [-0.1264, -1.5344,  0.6339],
        [-0.1458, -0.4591,  0.3504]], grad_fn=<EmbeddingBackward>)

從上面的輸出結果中，我們可以看到一個大小為3×3的矩陣。其中的每一行代表了輸入整數序列中對應的單詞/特徵嵌入向量，可以看到這個結果是和上面我們看到的參數是相一致的。

四、嵌入層在情感分析中的應用舉例

舉個例子，我們可以使用NN.Embedding來進行情感分析。下面的代碼演示了如何將一段文本中的單詞轉換成嵌入向量，並使用卷積神經網絡（CNN）進行情感分類：

import torch
import torch.nn as nn
import torch.nn.functional as F

class SentimentClassifier(nn.Module):
    def __init__(self, vocab_size, embedding_dim, num_filters, filter_sizes, output_dim, pretrained_embeddings):
        super().__init__()

        # 定義 Embedding 層
        self.embedding = nn.Embedding(vocab_size, embedding_dim)

        # 定義卷積層
        self.convs = nn.ModuleList([
            nn.Conv2d(in_channels=1, out_channels=num_filters, kernel_size=(fs, embedding_dim)) 
            for fs in filter_sizes
        ])

        # 定義全連接層
        self.fc = nn.Linear(len(filter_sizes) * num_filters, output_dim)

        # 加載預訓練的嵌入層權重
        self.embedding.weight.data.copy_(pretrained_embeddings)

    def forward(self, text):
        # text: [batch_size, sent_len]

        # 獲取文本中每個單詞對應的嵌入向量
        embedded = self.embedding(text) # embedded: [batch_size, sent_len, emb_dim]

        # 調整張量的維度使其適合卷積層的輸入
        embedded = embedded.unsqueeze(1) # embedded: [batch_size, 1, sent_len, emb_dim]

        # 運行卷積和池化層
        conved = [F.relu(conv(embedded)).squeeze(3) for conv in self.convs] # conved: [batch_size, num_filters, sent_len - filter_sizes[n] + 1]

        # 對每個卷積層的輸出進行最大池化
        pooled = [F.max_pool1d(conv, conv.shape[2]).squeeze(2) for conv in conved] # pooled: [batch_size, num_filters]

        # 把所有的池化層結果拼接到一起，作為全連接層的輸入
        cat = self.fc(torch.cat(pooled, dim=1))

        return cat

上面的代碼中，我們首先定義了一個SentimentClassifier類，該類繼承自nn.Module，實現了一個簡單的CNN分類器。其中，我們定義了一個Embedding層，它的參數包括詞彙表的大小、嵌入維度以及一個預先訓練好的嵌入向量。在前向傳遞過程中，我們使用了CNN對輸入的單詞進行特徵提取，並經過一個全連接層輸出情感分類的結果。

五、小結

NN.Embedding在自然語言處理任務中是一個非常常用的模塊，它能夠將離散的輸入特徵轉換成密集的向量表示，並被廣泛應用於文本分類、句向量生成、對話生成等任務中。