樸素貝葉斯算法詳解

樸素貝葉斯（Naive Bayes）是一種基於概率論和特徵條件獨立假設的簡單有監督學習算法，用於分類和回歸問題。

一、基本概念

1、貝葉斯定理（Bayes’ theorem）

貝葉斯定理是條件概率的一種計算方法，用於計算在一個已知條件（假設）下另一個條件（假設）的發生概率。

P(A|B) = P(B|A) * P(A) / P(B)

其中，P(A|B)表示在已知B發生的條件下A發生的概率，P(A)和P(B)分別為A和B獨立發生的概率，P(B|A)表示在A發生的條件下B發生的概率。

2、後驗概率（Posterior probability）

後驗概率是指在已知先驗概率和觀測數據的條件下，推出某個假設成立的概率。

3、先驗概率（Prior probability）

先驗概率是在沒有任何觀測數據的情況下，已經對某個假設的成立概率做出的估計。

二、算法原理

樸素貝葉斯算法基於貝葉斯定理，將先驗概率和後驗概率結合起來，通過觀測數據計算後驗概率。在分類問題中，樸素貝葉斯算法假設樣本特徵之間相互獨立，因此稱為“樸素”。

三、算法步驟

樸素貝葉斯算法步驟如下：

1、收集數據：收集一定量的數據，制定分類和特徵。

2、準備數據：將數據轉換為適合分類器使用的格式。

3、訓練模型：使用數據集進行訓練，估計樣本先驗概率和每個特徵條件概率。

4、測試模型：測試模型的分類效果，可以使用測試集或交叉驗證方法。

5、使用模型：使用訓練好的模型進行分類或回歸。

四、應用場景

樸素貝葉斯算法在現實生活中有着廣泛的應用場景，如輿情分析、垃圾郵件過濾、情感分析、文本分類等。

五、代碼示例

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score

# 讀取數據
train_df = pd.read_csv('train.csv')
test_df = pd.read_csv('test.csv')

# 特徵提取
vectorizer = CountVectorizer()
train_features = vectorizer.fit_transform(train_df['text'])
test_features = vectorizer.transform(test_df['text'])

# 訓練模型
clf = MultinomialNB(alpha=1.0)
clf.fit(train_features, train_df['label'])

# 測試模型
y_pred = clf.predict(test_features)
accuracy = accuracy_score(test_df['label'], y_pred)

# 輸出結果
print("Accuracy:", accuracy)

以上代碼示例是基於樸素貝葉斯算法進行文本分類的例子，通過讀取和處理數據，進行特徵提取，從而訓練出一個樸素貝葉斯分類器，最後進行測試，輸出分類的準確率。