如何使用Python過濾敏感詞

一、什麼是敏感詞

敏感詞通常指一些不能在公共場合直接展示的詞彙，例如色情、政治、暴力等。在一些網站和社交媒體上，發布含有敏感詞的內容往往會受到限制和審查。

為了避免發布含有敏感詞的內容，或者過濾用戶輸入中含有敏感詞的文字，我們可以使用Python編寫敏感詞過濾程序。

二、Python如何進行敏感詞過濾

1. 敏感詞過濾的基本思路：

敏感詞過濾的基本思路是，將敏感詞庫中的詞彙存儲到一個列表或字典中，然後掃描待過濾的文本，對於匹配到的敏感詞，進行替換或刪除操作，以達到過濾的效果。

2. 構建敏感詞庫：

sensitive_words = ['色情', '政治', '暴力', '恐怖主義']

將敏感詞庫存儲在sensitive_words列表中。

3. 編寫敏感詞過濾函數：

def filter_sensitive_words(text, sensitive_words):
    for sensitive_word in sensitive_words:
        if sensitive_word in text:
            text = text.replace(sensitive_word, '*'*len(sensitive_word))
    return text

該函數接受兩個參數：text表示待過濾的文本，sensitive_words表示敏感詞庫。函數實現的功能是：掃描待過濾文本中是否有敏感詞，如果發現了敏感詞，則將其替換為等長度的星號。

4. 測試：

text = '這是一段包含色情、政治和暴力的文本。'
filtered_text = filter_sensitive_words(text, sensitive_words)
print(filtered_text)  # 輸出：這是一段包含****、****和***的文本。

將待過濾的文本和敏感詞庫傳遞給filter_sensitive_words()函數，得到過濾後的文本，輸出結果是：這是一段包含****、****和***的文本。

三、敏感詞過濾的進階應用

1. 敏感詞替換為URL：

import re

def filter_sensitive_words(text, sensitive_words):
    for sensitive_word in sensitive_words:
        sensitive_word_pattern = re.compile(sensitive_word, re.IGNORECASE)
        if sensitive_word_pattern.search(text):
            text = sensitive_word_pattern.sub('{:}'.format('*'*len(sensitive_word)), text)
    return text

該函數使用了正則表達式對敏感詞進行匹配。如果匹配到了敏感詞，則將其替換為一個帶有URL鏈接的文本。鏈接指向的地址可以是任意的，一般用於告知用戶該內容已經被涉嫌違規，需要進一步審核。

2. 敏感詞過濾的優化：

由於敏感詞庫一般都很大，每次都要對整個敏感詞庫進行匹配性能開銷較大。我們可以使用字典樹（Trie樹）來存儲敏感詞庫，提升敏感詞過濾的效率。同時，我們可以對過濾函數進行優化，使用生成器（yield）來實現，避免一次性生成大量的中間結果，節省內存開銷。

四、總結

本文介紹了如何使用Python編寫敏感詞過濾程序，包括敏感詞過濾的基本思路，構建敏感詞庫、編寫敏感詞過濾函數以及敏感詞過濾的進階應用。對於Python初學者而言，本文提供了一個較為簡單的入門級敏感詞過濾實現。