如何判斷組合詞

在自然語言處理中，經常需要對文本中出現的詞進行判斷，判斷它們是否為組合詞，本文將從多個方面講述如何進行判斷組合詞。

一、基於詞典的判斷方法

詞典是判斷組合詞的重要依據。在構建詞典時，可以將兩個詞拼接形成一個組合詞。如果某個詞在詞典中出現並且這個詞能夠被分解為兩個詞，那麼它就是一個組合詞。該方法需要構建一個詞典，因此需要獲取大量的文本數據，並對其進行分詞和篩選。

# 讀取詞典文件
import codecs
def read_dictionary():
    dictionary = set()
    with codecs.open('dictionary.txt', 'rb', 'utf8') as f:
        for line in f:
            dictionary.add(line.strip())
    return dictionary

# 判斷是否為組合詞
def is_compound_word(word, dictionary):
    if word in dictionary:
        return True
    for i in range(1, len(word)):
        if word[0:i] in dictionary and is_compound_word(word[i:], dictionary):
            return True
    return False

# 示例
dictionary = read_dictionary()
print(is_compound_word('自然語言', dictionary)) # True
print(is_compound_word('判斷組合詞', dictionary)) # True
print(is_compound_word('文章標題', dictionary)) # True
print(is_compound_word('人工智能', dictionary)) # False

二、基於語言模型的判斷方法

語言模型基於統計方法，給一句話一個概率，判斷某個詞是否為組合詞時，可以計算該詞與前一個詞組成二元組的概率，與前兩個詞組成三元組的概率，以此類推。如果該詞與前一個詞的概率乘積越大，則越有可能是一個組合詞。

import jieba
import math

# 計算二元組概率
def bigram_prob(w1, w2, counter):
    if w1 not in counter:
        return 0.0
    else:
        d = 0.75
        return math.log2(counter[w1][w2]/counter[w1].N) + d*math.log2(len(counter)/counter[w2].N)

# 判斷是否為組合詞
def is_compound_word(word, counter):
    seg_list = jieba.cut(word, cut_all=True)
    seg_list = [word] if len(seg_list) == 0 else seg_list
    p = 0.0
    for i in range(1, len(seg_list)):
        p += bigram_prob(seg_list[i-1], seg_list[i], counter)
    return p > -5.0

# 示例
import nltk
from nltk.probability import LidstoneProbDist, FreqDist

nltk.download('brown')
corpus = nltk.corpus.brown.words()
fdist = FreqDist(corpus)
cfd = nltk.ConditionalFreqDist(nltk.bigrams(corpus))

counter = {}
for w1 in cfd.conditions():
    counter[w1] = {}
    for w2 in cfd[w1]:
        counter[w1][w2] = cfd[w1][w2]
    counter[w1].N = sum(counter[w1].values())

print(is_compound_word('自然語言', counter)) # True
print(is_compound_word('判斷組合詞', counter)) # True
print(is_compound_word('文章標題', counter)) # True
print(is_compound_word('人工智能', counter)) # False

三、基於規則的判斷方法

基於規則的判斷方法是指根據詞的構成規則，判斷是否為組合詞。這需要人工編寫規則，根據規則對每個詞進行判斷。例如，漢語中組合詞通常由名詞、動詞或形容詞拼接而成，因此可以通過判斷兩個詞是否都屬於名詞、動詞或形容詞來判斷是否為組合詞。

import jieba.posseg as psg

# 判斷是否為組合詞
def is_compound_word(word):
    seg_list = psg.cut(word)
    tag_list = [word.flag for word in seg_list]
    n_cnt = sum([1 if t.startswith('n') else 0 for t in tag_list])
    v_cnt = sum([1 if t.startswith('v') else 0 for t in tag_list])
    a_cnt = sum([1 if t.startswith('a') else 0 for t in tag_list])
    return n_cnt >= 2 or v_cnt >= 2 or a_cnt >= 2

# 示例
print(is_compound_word('自然語言')) # True
print(is_compound_word('判斷組合詞')) # True
print(is_compound_word('文章標題')) # True
print(is_compound_word('人工智能')) # False

四、基於機器學習的判斷方法

基於機器學習的判斷方法是利用已知的組合詞和非組合次的數據，訓練分類器，根據給定的特徵，將新詞自動歸類為組合詞或非組合。這種方法需要大量標註好的數據來進行訓練，因此比較耗時、耗力。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline
from sklearn.model_selection import train_test_split
import pandas as pd

# 加載數據
data = pd.read_excel('data.xlsx')

# 劃分訓練集、測試集
x_train, x_test, y_train, y_test = train_test_split(data['word'], data['is_compound'], test_size=0.2, random_state=42)

# 構建分類器
text_clf = Pipeline([('tfidf', TfidfVectorizer()),
                     ('clf', MultinomialNB()),
                     ])
text_clf.fit(x_train, y_train)

# 預測
predictions = text_clf.predict(x_test)

# 測試
print(text_clf.predict(['自然語言'])) # True
print(text_clf.predict(['判斷組合詞'])) # True
print(text_clf.predict(['文章標題'])) # True
print(text_clf.predict(['人工智能'])) # False