Glove模型：多维度语义转换的妙器

一、Glove模型与Word2Vec

Glove是一种词向量表示方法，它使用了全局向量表述（global matrix factorization）来将每个词映射到一个N维空间中，进而把词之间的相似性计算出来。相较于传统的Word2Vec词向量，Glove不但可以处理连续单词，也能处理歧义单词的复杂语义，能够更加准确地描述语义相似性。

在Glove模型中，词与词之间的相似性是通过共现矩阵（co-occurrence matrix）来衡量的，即统计每两个词在文本中共同出现的次数（共现次数）。然后，通过对这个矩阵进行奇异值分解（Singular Value Decomposition，SVD），得到了一组每个词的特征向量（word embeddings），将这些词向量作为该模型的输出。

二、Glove模型结构

在Glove模型中，输入是一个共现矩阵X（m×n），它包含m个单词和n个单词的共现次数；输出是一个词向量矩阵W（m×d），其中每个词的词向量维度为d。

Glove模型的目标函数是：$\sum_{i,j=1}^{m}f(X_{i,j})(w_i^T\tilde{w_j}+b_i+\tilde{b_j}-log(X_{i,j}))^2$，其中$w_i$和$\tilde{w_j}$是根据输入X得到的两个词向量，$b_i$和$\tilde{b_j}$是两个词的偏置项，$f(X_{i,j})$是一个加权函数，用以对频繁出现的共现单词与不常见的共现单词进行权衡，此外$log(X_{i,j})$的加入也是为了进行加强稀有单词与共现词的相关程度。通过最小化目标函数，我们可以学习到每个单词的词向量，进而求出词之间的相似性。

三、Glove模型缺点

尽管Glove模型在处理词义方面表现出色，但是它在一定程度上也存在一些缺点。比如，Glove模型无法很好地处理多义词（polysemy）情况。因为在共现矩阵中，同一个单词的不同意思常常被当作不同的单词处理。但是事实上，这些不同的意思在语义层面上是相关的，在词向量表示中应该保持相似性。

此外，Glove模型对于一些非常出现单词的处理也不太好，它们可能被忽略或者在训练过程中的欠采样造成了过拟合。这些问题都需要通过改进模型结构来进行解决。

四、Glove模型生词

Glove这个词来源于全称“Global Vector for Word Representation”，单词glove的读音为[gʌv]，可以简单地理解为“手套”。

五、glove怎么读

glove这个单词的发音为[gʌv]。

六、Glove模型词嵌入

import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim

class Glove(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super(Glove, self).__init__()
        self.embedding_i = nn.Embedding(vocab_size, embedding_dim)
        self.embedding_j = nn.Embedding(vocab_size, embedding_dim)
        self.biases_i = nn.Embedding(vocab_size, 1)
        self.biases_j = nn.Embedding(vocab_size, 1)

    def forward(self, center_words, target_words, coocs):
        center_embeds = self.embedding_i(center_words)
        target_embeds = self.embedding_j(target_words)
        center_biases = self.biases_i(center_words).squeeze(1)
        target_biases = self.biases_j(target_words).squeeze(1)
        inner_product = torch.sum(torch.mul(center_embeds, target_embeds), dim=1)
        log_coocs = torch.log(coocs)
        loss = torch.mean(torch.pow(inner_product + center_biases + target_biases - log_coocs, 2))
        return loss

vocab_size = 10000
embed_dim = 100
glove = Glove(vocab_size, embed_dim)
optimizer = optim.Adagrad(glove.parameters(), lr=0.05)
for epoch in range(10):
    for idx, (inputs, targets, cooccurrences) in enumerate(dataset):
        glove.zero_grad()
        loss = glove(inputs, targets, cooccurrences)
        loss.backward()
        optimizer.step()
    print("Epoch %d: %.4f" % (epoch+1, loss.item()))

七、Glove模型是干什么的

Glove模型的主要作用是用于将文本中的词转换成高维向量，使得这些词之间的关联关系更加具有语义性质。这些高维向量可以应用在各种自然语言处理任务中，比如情感分析、文本分类、问答系统等。

八、Glove模型学到了什么

Glove模型通过对大规模文本数据的统计分析，学习到了每个单词在文本语料库中的分布情况，也就是每个单词和其他单词之间的关系。通过将单词表示为高维向量，我们可以在向量空间中度量单词之间的相似性。例如，在一个由100维向量构成的空间中，我们可以认为“狗”和“猫”比“狗”和“树”更加相似。这种相似性可以被用于许多自然语言处理任务，例如聚类、分类、生成等。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/246964.html