朴素贝叶斯原理详解

GMEZR • 2025-04-25 15:26 • 编程

一、朴素贝叶斯基础

朴素贝叶斯是一种基于贝叶斯定理的算法，用于分类和预测。贝叶斯定理是一种计算条件概率的方法，即已知某些条件下，某事件发生的概率，求某条件下另一事件发生的概率。朴素贝叶斯假设条件之间相互独立，从而简化了计算。在分类问题中，朴素贝叶斯计算一个样本属于某个类别的概率，选择概率最大的类别作为该样本所属的类别。

二、朴素贝叶斯算法流程

朴素贝叶斯算法分为训练和预测两个阶段。

训练阶段：

def train(train_data):
    """
    训练函数
    :param train_data: 训练集
    """
    class_list = [i[-1] for i in train_data]  # 类别列表
    class_count = Counter(class_list)  # 统计每个类别的数量
    prior_prob_dict = {}  # 存储每个类别的先验概率

    for key in class_count:
        # 计算每个类别的先验概率
        prior_prob_dict[key] = class_count[key] / len(class_list)

    word_dict_list = []  # 存储每个类别中每个单词出现的次数

    for key in class_count:
        temp_data = [i for i in train_data if i[-1] == key]  # 提取当前类别的数据
        word_dict = Counter([j for i in temp_data for j in i[:-1]])  # 统计当前类别中每个单词的数量
        word_dict_list.append({key: word_dict})

    return prior_prob_dict, word_dict_list

预测阶段：

def classify(test_data, prior_prob_dict, word_dict_list):
    """
    分类函数
    :param test_data: 测试数据
    :param prior_prob_dict: 每个类别的先验概率
    :param word_dict_list: 每个类别中每个单词出现的次数
    """
    score_dict = {}  # 存储每个类别的得分

    for key in prior_prob_dict:
        # 计算当前类别的条件概率
        word_dict = word_dict_list[key][key]
        score = prior_prob_dict[key]
        for word, count in test_data.items():
            score *= (word_dict[word] + 1) / (sum(word_dict.values()) + len(test_data))
        score_dict[key] = score

    return max(score_dict, key=score_dict.get)

三、朴素贝叶斯的优缺点

优点：

1、朴素贝叶斯模型简单，算法快速。

2、朴素贝叶斯分类器对处理高维、数据量大的数据具有较好的效果。

3、对于缺失数据的情况，朴素贝叶斯算法可以有效处理。

缺点：

1、朴素贝叶斯算法假设特征之间相互独立，但实际应用中不一定成立。

2、如果某个特征在训练集中没有出现过，会导致条件概率为0的情况，需要进行平滑处理。

3、朴素贝叶斯算法适用于多分类问题，但对于二分类问题，其表现可能不如其他更为复杂的算法。

四、朴素贝叶斯的应用

朴素贝叶斯算法在文本分类、垃圾邮件过滤、情感分析等领域得到广泛应用。下面以文本分类为例，介绍朴素贝叶斯算法应用。

代码示例：

# 加载数据
data = []
with open('content.txt', 'r', encoding='utf-8') as f:
    for line in f:
        content, label = line.strip().split('\t')
        data.append((content, label))

# 划分训练集和测试集
train_data = data[:8000]
test_data = data[8000:]

# 训练模型
prior_prob_dict, word_dict_list = train(train_data)

# 测试模型
correct_num = 0
for content, label in test_data:
    test_dict = Counter(content.split())
    predict_label = classify(test_dict, prior_prob_dict, word_dict_list)
    if predict_label == label:
        correct_num += 1

print('Accuracy:', correct_num / len(test_data))

五、小结

本文从朴素贝叶斯基础入手，对其算法流程、优缺点进行了详细阐述，并以文本分类为例进行了代码实现。朴素贝叶斯算法简单、快速，适用于多分类、高维数据的问题。但其假设特征相互独立的前提不一定成立，需要具体问题具体分析。朴素贝叶斯算法在文本分类、垃圾邮件过滤、情感分析等领域应用广泛。

原创文章，作者：GMEZR，如若转载，请注明出处：https://www.506064.com/n/372737.html