Skipgram 模型詳解

一、Skipgram 模型簡介

Skipgram 模型是自然語言處理中的一種模型，用於將單詞映射到高維空間中的向量表示。該模型旨在捕獲單詞之間的語義關係。Skipgram 模型使用神經網絡來學習單詞的向量表示，然後使用這些向量來計算單詞之間的相似度。

Skipgram 模型基於語言模型假設，即一段文本中的每個單詞都是根據其周圍的上下文單詞而產生的。因此，對於給定的單詞，Skipgram 模型會嘗試預測其周圍的上下文單詞。這樣，我們可以得到每個單詞的向量表示，該向量表示可以在文本分類、文本聚類和推薦系統等應用中使用。

二、Skipgram 模型的實現

下面是 Skipgram 模型的 Python 代碼示例：

import torch
import torch.nn as nn

class Skipgram(nn.Module):
    def __init__(self, vocab_size, emb_size):
        super(Skipgram, self).__init__()
        self.vocab_size = vocab_size
        self.emb_size = emb_size
        self.W = nn.Linear(self.vocab_size, self.emb_size, bias=False)
        self.WT = nn.Linear(self.emb_size, self.vocab_size, bias=False)

    def forward(self, x):
        y = self.W(x)
        z = self.WT(y)
        return z

上述代碼定義了一個基於 PyTorch 的 Skipgram 模型，其中 x 是輸入單詞的 one-hot 向量（長度為詞彙表大小的向量，僅有一個位置為 1，其餘位置為 0）。模型使用兩個線性層，分別表示了從 one-hot 向量到向量表示的映射和從向量表示到 one-hot 向量的逆映射。

三、訓練 Skipgram 模型

下面是 Skipgram 模型的訓練代碼示例：

import torch
from torch.utils.data import DataLoader

def train_skipgram(model, dataset, device='cpu', lr=0.01, batch_size=64, num_epochs=5):
    optimizer = torch.optim.Adam(model.parameters(), lr=lr)
    data_loader = DataLoader(dataset, batch_size=batch_size, shuffle=True)

    model.to(device)
    model.train()

    for epoch in range(num_epochs):
        loss_sum = 0.0
        for batch in data_loader:
            optimizer.zero_grad()
            x, y = batch
            x = x.to(device)
            y = y.to(device)
            y_pred = model(x)
            loss = nn.functional.cross_entropy(y_pred, y)
            loss.backward()
            optimizer.step()
            loss_sum += loss.item() * len(batch)
        loss_avg = loss_sum / len(dataset)
        print(f'Epoch {epoch}, loss={loss_avg}')

上述代碼使用 PyTorch 提供的 DataLoader 模塊來加載數據集，並使用交叉熵損失函數和 Adam 優化器來訓練模型。訓練時，模型會將數據移動到指定的設備上，並在每個 epoch 中計算損失並更新參數。訓練結束後，輸出每個 epoch 的平均損失。

四、Skipgram 模型的應用

Skipgram 模型的向量表示可以應用於各種自然語言處理任務，例如：

1.詞義相似度計算

根據向量空間中的距離來計算單詞之間的相似度，相似度越大表示語義上更接近。

import torch.nn.functional as F

def word_similarity(word1, word2, model, vocab):
    idx1 = vocab[word1]
    idx2 = vocab[word2]
    emb1 = model.W.weight[idx1]
    emb2 = model.W.weight[idx2]
    cosine_sim = F.cosine_similarity(emb1, emb2)
    return cosine_sim.item()

2.單詞聚類

根據單詞向量之間的相似度來對單詞進行聚類。

from sklearn.cluster import KMeans

def word_clustering(model, vocab, num_clusters):
    embeddings = model.W.weight.detach().cpu().numpy()
    kmeans = KMeans(n_clusters=num_clusters, random_state=0).fit(embeddings)
    clusters = [[] for _ in range(num_clusters)]
    for word, idx in vocab.items():
        clusters[kmeans.labels_[idx]].append(word)
    return clusters

3.詞向量可視化

使用 t-SNE 等降維算法將高維詞向量可視化到二維空間。

from sklearn.manifold import TSNE
import matplotlib.pyplot as plt

def visualize_embeddings(model, vocab, num_words=100):
    embeddings = model.W.weight.detach().cpu().numpy()[:num_words]
    words = list(vocab.keys())[:num_words]
    tsne = TSNE(n_components=2, random_state=0)
    embeddings_2d = tsne.fit_transform(embeddings)
    fig, ax = plt.subplots(figsize=(16, 16))
    for i, word in enumerate(words):
        ax.scatter(embeddings_2d[i, 0], embeddings_2d[i, 1])
        ax.annotate(word, xy=(embeddings_2d[i, 0], embeddings_2d[i, 1]), fontsize=12)
    plt.show()

五、總結

Skipgram 模型是自然語言處理中比較流行的一種模型，它將單詞映射到高維空間中的向量表示，並用於捕獲單詞之間的語義關係。本文簡單介紹了 Skipgram 模型的原理和實現，並給出了幾個應用場景的代碼示例。隨着自然語言處理技術的不斷發展，Skipgram 模型在實際應用中也將得到越來越廣泛的應用。