Python中文詞頻統計

介紹

在文本處理中，詞頻統計是一個重要而常見的任務，可以用於文本分類、數據挖掘等應用。而Python作為一門廣泛應用於文本處理的語言，其豐富的開源庫和工具使得中文文本處理變得更加簡單而高效。

Python中文詞頻統計

最常見的Python中文詞頻統計方法是使用Python自帶的collections模塊中的Counter類。這個類可以把一個可迭代對象的元素作為字典的鍵，出現次數作為值。所以，只需要把中文文本轉化為列表或迭代器，就可以使用Counter類進行詞頻統計了。

from collections import Counter

text = "今天天氣真好，適合出門散步。你出去玩了嗎？"
split_words = text.split(" ")  # 按空格分詞
counts = Counter(split_words)
print(counts)

運行結果：

Counter({'今天天氣真好，適合出門散步。你出去玩了嗎？': 1})

正如運行結果所示，因為沒有針對中文進行分詞處理，使得整個文本成為了列表中的一個元素。因此，需要進行分詞處理，而jieba是中文分詞的強大工具，可以將中文文本轉換成分好詞的列表。

import jieba

text = "今天天氣真好，適合出門散步。你出去玩了嗎？"
split_words = jieba.lcut(text)  # 使用jieba進行分詞
counts = Counter(split_words)
print(counts)

運行結果：

Counter({'，': 1, '你': 1, '適合': 1, '了': 1, '玩': 1, '今天天氣': 1, '出門': 1, '。': 1, '真好': 1, '出去': 1, '散步': 1, '嗎': 1})

這樣，就得到了一個將中文文本拆分成分好詞的列表，並使用Counter進行詞頻統計的方法。

中文詞頻統計的在線工具

除了在Python中進行編程，也可以使用在線的中文詞頻統計工具。

目前較為出名的在線中文文本詞頻統計工具是「中文詞頻統計器」，它不僅可以統計中文文本中每個詞的出現次數，還可以對詞性進行分析，提供簡易的雲圖展示等功能。輸入待分析的中文文本，點擊「開始分析」即可自動進行詞頻統計並分析各個詞的詞性以及平均出現頻率。

excel中文詞頻統計

在使用excel進行中文文本處理時，可以使用excel的內置函數COUNTIF和MATCH進行詞頻統計。

COUNTIF函數可用於計算出現次數。例如，對於單元格A1中的文字「理想」，我們可以使用以下公式計算「理想」在介紹中出現的次數：

=COUNTIF(A1,"*理想*")

而MATCH函數可以用於檢查一個值是否出現在一個數組或者範圍中，可以統計一個單詞在文本中出現的次數。例如，對於單元格A1中的文字「理想」，我們可以使用以下公式計算「理想」在介紹中出現的次數：

=SUM(IF(ISERROR(MATCH("理想",A1:A10)),0,1))

中文文本詞頻統計

中文文本的詞頻統計需要注意中英文混合的情況，可以使用jieba庫中的功能進行分詞，同時注意去除停用詞和標點符號。

在以下代碼示例中，我們使用jieba分詞器進行中文分詞，並去掉停用詞和符號後，對一篇小說進行詞頻統計：

import jieba
from collections import Counter

# 停用詞文件路徑
stopwords_path = "stopwords.txt"

def remove_stopwords(file_path):
    stopwords = set()
    with open(stopwords_path, "r", encoding="utf-8") as f:
        for line in f.readlines():
            stopwords.add(line.strip())
    with open(file_path, "r", encoding="utf-8") as f:
        content = f.read()
        words = jieba.lcut(content)
        new_words = []
        for word in words:
            if word not in stopwords and word != " " and len(word) > 1:
                new_words.append(word)
        return new_words
        
      
if __name__ == "__main__":
    file_path = "novel.txt"
    words = remove_stopwords(file_path)
    word_count = Counter(words)
    for word, count in word_count.most_common(10):
        print(word, count)

除了jieba之外，還有其他中文分詞工具，如THULAC、Stanford NLP等。

頭歌中文詞頻統計

頭歌中文詞頻統計工具是一個在線的中文分詞和詞頻統計工具，可以自動分詞並統計每個詞的出現次數。

使用頭歌中文詞頻統計工具非常簡單，只需要將待分析的中文文本黏貼到工具的文本框中，點擊「開始分析」即可。

小結

本文介紹了Python中文詞頻統計的基本方法，包括使用Python自帶的collections模塊、jieba中文分詞、excel中的COUNTIF和MATCH、在線中文文本詞頻統計工具、頭歌中文詞頻統計等。

使用這些方法，可以快速高效地進行中文文本的詞頻統計和分析。