机器学习 朴素贝叶斯之邮件分类

目录

一.贝叶斯算法：

        1.先验概率：

        2.后验概率：

        3.贝叶斯定理：

        4.概率模型：

二.朴素贝叶斯分类器：

        1.朴素贝叶斯分类：

        2.拉普拉斯修正：

         3.防溢出策略：

        4.垃圾邮件分类：

三.利用朴素贝叶斯分类对于电子邮件分类

        1.使用的数据集：

​

         2.相关代码：

        3.运行结果：

        贝叶斯方法是以贝叶斯原理为基础，使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础，贝叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率，即避免了只使用先验概率的主观偏见，也避免了单独使用样本信息的过拟合现象。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率，同时算法本身也比较简单。

        朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。也就是说没有哪个属性变量对于决策结果来说占有着较大的比重，也没有哪个属性变量对于决策结果占有着较小的比重。虽然这个简化方式在一定程度上降低了贝叶斯分类算法的分类效果，但是在实际的应用场景中，极大地简化了贝叶斯方法的复杂性。

需要了解贝叶斯算法，首先我们需要了解一下先验概率和后验概率；

​

​

那么我们如何应用贝叶斯定理到机器上，首先要在机器要建立一个概率模型；

在机器学习中，通常分为

判别式模型：

​

         判别模型之所以称为“判别”模型，是因为其根据X“判别”Y，由数据直接学习决策函数Y=f(X)或者条件概率分布作为预测的模型。

 生成式模型：

​

        生成模型之所以称为“生成”模型，是因为利用训练数据学习P(X|Y)和P(Y)的估计，得到联合概率分布，然后求得后验概率分布，再利用它进行分类。

在机器学习中任务是从属性X预测标记Y，判别模型求的是P(Y|X)，即后验概率；而生成模型最后求的是P(X,Y)，即联合概率。