文本向量化詳解

一、向量概述

在計算機領域中，向量是一種基本的數據結構。向量本質上可以被看作是由若干個實數組成的有序集合，通常用數字以及方向來表示，在數學中我們可以用一維向量來表示一個數。

除此之外，在NLP（自然語言處理）中我們可以通過計算文本之間的相似度來實現文本分類、情感分析等任務。而文本在計算機領域中有著不按順序而成的特性，對於文本的處理需要將其轉化為數值向量形式以便計算。

# 代碼示例1
import numpy as np

vector1 = np.array([1, 2, 3])
vector2 = np.array([4, 5, 6])

# 向量加法
vector3 = vector1 + vector2
print('向量加法結果：', vector3)

# 向量減法
vector4 = vector1 - vector2
print('向量減法結果：', vector4)

# 向量點積
dot_product = np.dot(vector1, vector2)
print('向量點積結果：', dot_product)

# 向量範數計算
norm = np.linalg.norm(vector1)
print('向量範數計算結果：', norm)

二、文本向量化常用方法

1. One-Hot Encoding

One-Hot Encoding 是一種常用的文本向量化方法。它通過將每個詞編碼為唯一的數字來實現文本向量化。在該方法中，我們用一個全 0 的向量來表示每個詞，而在該詞所對應的位置上用 1 來表示。在 NLP 領域中我們通常使用 scikit-learn 中的 CountVectorizer 和 TfidfVectorizer 來實現One-Hot Encoding。

# 代碼示例2
from sklearn.feature_extraction.text import CountVectorizer

# 文本數據
text_data = ["I love my dog", "My cat is the best", "She love my cat"]

# 初始化CountVectorizer
count_vectorizer = CountVectorizer()

# 對文本數據進行向量轉化
text_vector = count_vectorizer.fit_transform(text_data)

# 特徵名稱
print('特徵名稱：', count_vectorizer.get_feature_names())

# 輸出向量結果
print('向量結果：', text_vector.toarray())

2. TF-IDF

TF-IDF 是一種常用的文本向量化方法。它能夠通過計算詞頻和逆文檔頻率得到每個詞的權重，從而更好地捕捉文本的本質特徵。在 NLP 領域中我們通常使用 scikit-learn 中的 TfidfVectorizer 來實現 TF-IDF 演算法。

# 代碼示例3
from sklearn.feature_extraction.text import TfidfVectorizer

# 文本數據
text_data = ["I love my dog", "My cat is the best", "She love my cat"]

# 初始化TF-IDF
tfidf_vectorizer = TfidfVectorizer()

# 對文本數據進行向量轉化
text_vector = tfidf_vectorizer.fit_transform(text_data)

# 特徵名稱
print('特徵名稱：', tfidf_vectorizer.get_feature_names())

# 輸出向量結果
print('向量結果：', text_vector.toarray())

3. Word2Vec

Word2Vec 是一種常用的文本向量化方法。它通過訓練深度神經網路來學習單詞間的語義關係，進而將每個單詞轉化為高維向量表示。在 NLP 領域中我們通常使用 Gensim 庫來實現 Word2Vec 演算法。

# 代碼示例4
from gensim.models import Word2Vec

# 文本數據
text_data = [["I", "love", "my", "dog"], ["My", "cat", "is", "the", "best"], ["She", "love", "my", "cat"]]

# 初始化Word2Vec
model = Word2Vec(text_data, min_count=1)

# 輸出單詞向量結果
vectors = model.wv
print('單詞向量結果：', vectors)

三、文本向量化實踐

在 NLP 領域中，文本向量化是一項非常重要的任務。下面我們挑選一些通用的 NLP 任務，來演示如何進行文本向量化。

1. 文本分類

文本分類通常的處理方式是將原始的文本數據轉為數字形式的向量。例如，我們可以使用 CountVectorizer 和 TfidfVectorizer 對文本進行向量轉化。之後，我們將得到的向量作為特徵，放入分類模型中進行訓練和預測。

# 代碼示例5
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline

# 文本分類數據
data = [("I love my cat", "pos"), ("You are my good friend", "pos"), ("He hate my dog", "neg"), ("She like my dog", "pos")]

# 初始化TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer(use_idf=True)

# 構建文本分類模型
text_classifier = Pipeline([("tfidf", tfidf_vectorizer), ("nb", MultinomialNB())])

# 訓練文本分類模型
text_classifier.fit([x[0] for x in data], [x[1] for x in data])

# 輸出預測結果
print('預測結果：', text_classifier.predict(["He love my cat"]))

2. 情感分析

情感分析是指對一篇文本的情感傾向進行分析。常用的處理方式是先將文本進行預處理，去除停用詞、標點符號等，再將其轉換為數字形式的向量。最後，我們將得到的向量作為特徵，放入情感分類器中進行訓練和預測。

# 代碼示例6
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline
import jieba
import jieba.analyse

# 中文情感分析數據
data = [("這個電影簡直太棒了，值得一看！", "pos"), ("這個電影太難看了，不推薦", "neg"), ("演員的表演非常到位，很真實", "pos"), ("劇情太老套了，跟其他電影一樣", "neg")]

# 初始化TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer(use_idf=True)

# 初始化結巴分詞器
jieba.initialize()

# 自定義停用詞
stop_words = ["的", "了", "吧", "哈", "嘎"]

# 構建中文情感分析模型
text_classifier = Pipeline([("tfidf", tfidf_vectorizer), ("nb", MultinomialNB())])

# 文本預處理函數
def preprocess_text(text):
    tokens = jieba.lcut(text)
    tokens = [token for token in tokens if token not in stop_words]
    return ' '.join(tokens)

# 去停用詞並進行分詞
preprocessed_data = [(preprocess_text(x[0]), x[1]) for x in data]

# 訓練中文情感分析模型
text_classifier.fit([x[0] for x in preprocessed_data], [x[1] for x in preprocessed_data])

# 輸出預測結果
print('預測結果：', text_classifier.predict([preprocess_text("這個電影非常不錯，值得看！")]))

3. 相似度計算

在 NLP 領域中，我們通常使用餘弦相似度來計算兩個文本之間的相似度。餘弦相似度是一種將兩個向量進行比較的方法，通常用於比較兩篇文本的相似度。

# 代碼示例7
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer

# 文本數據
text_data = ["I love my dog", "My cat is the best", "She love my cat"]

# 初始化TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer(use_idf=True)

# 對文本數據進行向量轉化
text_vector = tfidf_vectorizer.fit_transform(text_data)

# 計算文本相似度
similarity_score = np.dot(text_vector[0], text_vector[1].T).toarray()[0][0]
print('文本相似度：', similarity_score)

四、總結

在本文中，我們詳細闡述了文本向量化的概念以及常用方法，包括 One-Hot Encoding、TF-IDF 和 Word2Vec 等方法。此外，我們還演示了如何使用這些方法來處理通用的 NLP 任務，例如文本分類、情感分析和相似度計算。文本向量化是 NLP 中比較基礎的任務，希望這篇文章能夠為廣大讀者學習 NLP 提供幫助。