Python統計詞頻

一、基本概念

Python是一種廣泛使用的高級編程語言，其自帶的counter模塊可以方便地進行詞頻統計。在自然語言處理和機器學習領域中，詞頻統計是一個基本的概念。它指的是對一段文本中各個單詞在文本中出現的頻率進行計數，以此統計不同單詞在該段文本中的重要性。

二、Python計數器模塊

Python計數器模塊collections.Counter()可以快速地將一個可迭代對象轉換成一個字典，其中每個元素是一個鍵，其出現的次數是對應的值，從而實現詞頻統計的目的。

from collections import Counter

text = "apple banana apple cherry cherry"
words = text.split()

word_count = Counter(words)
print(word_count)

上述代碼將字元串text按空格分割成一個列表words，然後用Counter()函數統計每個單詞出現的次數。

輸出結果為：

Counter({'apple': 2, 'cherry': 2, 'banana': 1})

三、詞頻統計應用

在實際應用中，詞頻統計廣泛運用於文本挖掘、信息檢索、社交媒體分析等領域。例如，我們可以對一篇文章進行詞頻統計，以此了解文章的主題、關鍵詞等信息。

下面是一個示常式序，用於從文件中讀取文章並進行詞頻統計：

from collections import Counter

with open("test.txt", "r", encoding="utf-8") as f:
    text = f.read()
    
words = text.split()

word_count = Counter(words)

for word, count in word_count.most_common(10):
    print(word, ":", count)

上述代碼讀取名為test.txt的文件，使用Counter()函數統計其中單詞的出現次數，並輸出出現頻率最高的前10個單詞。

輸出結果為：

the : 10
of : 4
and : 4
to : 4
in : 3
is : 3
that : 3
as : 3
on : 2
with : 2

四、應用擴展

除了簡單地對文本進行詞頻統計外，我們還可以結合其他技術進行應用擴展。例如，可以使用正則表達式來篩選關鍵詞，使用詞雲工具將詞頻統計結果可視化，並進行人工分析等。

下面是一個示常式序，使用jieba分詞庫對中文文本進行分詞，並使用wordcloud庫將分詞結果可視化：

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt
from collections import Counter

with open("test.txt", "r", encoding="utf-8") as f:
    text = f.read()
    
words = jieba.lcut(text)

word_count = Counter(words)

font_path = "SimHei.ttf"
wc = WordCloud(font_path=font_path, background_color="white", max_words=2000, width=1920, height=1080)

wc.generate_from_frequencies(word_count)

plt.imshow(wc, interpolation="bilinear")
plt.axis("off")
plt.show()

上述代碼使用jieba分詞庫對中文文本進行分詞，再使用wordcloud庫將分詞結果用詞雲的形式展示出來。

五、總結

Python的counter模塊提供了方便的詞頻統計功能，可以應用於自然語言處理、信息檢索等領域。除了基本的詞頻統計外，我們還可以結合其他技術進行應用擴展，如正則表達式、詞雲可視化等。