Python文本處理方法大全

一、文本清洗

在進行文本處理時，經常需要對原始文本進行清洗，以濾除無用信息或噪聲。在Python中，我們可以使用一些常見的方法清洗文本，如刪除標點符號、轉化為小寫字母等。

import string

text = "Hello, World!"
text = text.translate(str.maketrans("", "", string.punctuation)) #刪除標點符號
text = text.lower() #轉化為小寫字母
print(text)

對於包含HTML標籤的文本，我們可以使用Python中的第三方庫BeautifulSoup來處理。它可以解析HTML文本，並提供了一些便利的方法來清洗文本。

from bs4 import BeautifulSoup

html = "<p><b>Hello, <i>World</i>!</b></p>"
soup = BeautifulSoup(html, "html.parser")
text = soup.get_text()
print(text)

二、文本分詞

文本分詞是將文本切分成單詞或短語的過程，常見的分詞方法有基於規則的分詞、基於統計的分詞和基於神經網絡的分詞等。在Python中，我們可以使用第三方庫NLTK來進行文本分詞。

import nltk

text = "I love Python programming language!"
tokens = nltk.word_tokenize(text)
print(tokens)

除了使用現成的分詞工具，我們還可以訓練自己的分詞模型，以適應特定領域的文本處理。NLTK庫也提供了相應的API接口，可以訓練自己的分詞模型。

三、文本去重

在進行文本分析時，經常需要對文本進行去重，以消除重複的信息。Python中可以使用set()方法來實現去重操作。

texts = ["Hello, World!", "Hello, Python!", "Python is awesome!"]
unique_texts = set(texts)
print(unique_texts)

除了使用set()方法，我們還可以使用第三方庫Pandas來進行文本去重操作。它可以讀取文本數據，並提供了一些實用的去重方法。

import pandas as pd

df = pd.DataFrame({"text": ["Hello, World!", "Hello, Python!", "Python is awesome!"]})
unique_df = df.drop_duplicates()
print(unique_df)

四、文本分類

文本分類是將文本按照預先定義的類別進行分類的過程。在Python中，我們可以使用第三方庫scikit-learn來實現文本分類。

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

texts = ["Python is a great programming language.", 
         "I love to code in Python.", 
         "Java is an old programming language.", 
         "C++ is a difficult programming language."]

categories = ["Python", "Python", "Java", "C++"]

cv = CountVectorizer()
X = cv.fit_transform(texts)
y = categories

clf = MultinomialNB()
clf.fit(X, y)

new_texts = ["I am learning Python.", "I am a fan of Java."]
X_new = cv.transform(new_texts)
predicted = clf.predict(X_new)
print(predicted)

五、情感分析

情感分析是針對文本中所包含的情感進行分析的過程，常見的應用場景包括產品評論、社交媒體監控等。在Python中，我們可以使用第三方庫TextBlob來進行情感分析。

from textblob import TextBlob

text = "I love Python programming language!"
blob = TextBlob(text)
sentiment = blob.sentiment.polarity
if sentiment > 0:
    print("Positive")
elif sentiment < 0:
    print("Negative")
else:
    print("Neutral")

除了使用現成的情感分析工具，我們還可以訓練自己的情感分析模型，以適應特定領域的文本處理。針對中文文本，我們可以使用第三方庫THULAC進行分詞和情感分析。

六、關鍵詞提取

關鍵詞提取是從文本中提取出具有代表性的詞語的過程，常見的應用場景包括文本摘要、文本分類等。在Python中，我們可以使用第三方庫TextRank來進行關鍵詞提取。

from textrank4zh import TextRank4Keyword

text = "Python is a powerful programming language. It is easy to learn and widely used in various fields."
tr4w = TextRank4Keyword()
tr4w.analyze(text)
keywords = tr4w.get_keywords(5)
for keyword in keywords:
    print(keyword.word)

除了使用TextRank方法，我們還可以使用其他基於統計的關鍵詞提取方法，如TF-IDF（term frequency–inverse document frequency）等。

七、文本生成

文本生成是利用自然語言處理技術生成文本的過程。在Python中，我們可以使用第三方庫GPT-2來進行文本生成。

import torch
import gpt_2_simple as gpt2

model_name = "117M"
sess = gpt2.start_tf_sess()
gpt2.load_gpt2(sess, model_name=model_name)

text = gpt2.generate(sess, model_name=model_name, length=50, prefix="Hello", temperature=0.7, return_as_list=True)[0]
print(text)

除了使用GPT-2，我們還可以使用其他語言模型，如BERT（Bidirectional Encoder Representations from Transformers）等。