机器学习算法基础 |
您所在的位置：网站首页 › 朴素贝叶斯三种模型分别是什么 › 机器学习算法基础 |
机器学习算法基础
|
机器学习算法基础——朴素贝叶斯、模型的评估、选择和调优
朴素贝叶斯概率知识朴素贝叶斯——贝叶斯公式拉普拉斯平滑sklearn朴素贝叶斯实现API朴素贝叶斯算法案例朴素贝叶斯分类优缺点
分类模型的评估混淆矩阵精确率(Precision)与召回率(Recall)分类模型评估API
模型的选择与调优交叉验证网格搜索超参数搜索-网格搜索API
朴素贝叶斯
朴素——特征独立 概率知识联合概率：包含多个条件，且所有条件同时成立。P(A,B)=P(A)P(B) 条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率，记作：P（A|B）。 特性：P（A1，A2|B）= P（A1|B）P（A2|B）（条件A1，A2相互独立）。 朴素贝叶斯——贝叶斯公式P ( C ∣ W ) = P ( W ∣ C ) P ( C ) P ( W ) P(C|W)=\frac{P(W|C)P(C)}{P(W)} P(C∣W)=P(W)P(W∣C)P(C) 注：文档分类为例，W为文档的特征值（频数统计、预测文档提供），C为文档类别，公式可以理解为： P ( C ∣ F 1 , F 2 , … ） = P ( F 1 , F 2 , … ∣ C ） P （ C ） P （ F 1 , F 2 , … ） P(C|F1,F2,…）=\frac{P(F1,F2,…|C）P（C）}{P（F1,F2,…）} P(C∣F1,F2,…）=P（F1,F2,…）P(F1,F2,…∣C）P（C） 其中，C可以是不同类别。 公式分为三部分： ●P( C )：每个文档类别的概率（某文档类别数/总文档数量） ●P(W|C)：给定类别下特征（被预测文档中出现的词）的概率 计算方法：P（F1|C）=Ni/N （在训练文档中计算） Ni 为该F1词在C类别所有文档中出现的次数 N 为所属类别下 ●P(F1,F2,…）预测文档中每个词的频率 拉普拉斯平滑在词频列表里，如果有很多词出现的次数为0，那么很可能计算结果很多都为0，这显然是不合理的。 解决方法：拉普拉斯平滑系数 P ( F 1 ∣ C ) = N i + α N + α m P(F1|C)=\frac{Ni+\alpha}{N+\alpha m} P(F1∣C)=N+αmNi+α α \alpha α为指定的系数一般为1，m为训练文档中统计出的特征词个数。 sklearn朴素贝叶斯实现API类：sklearn.naive_bayes.MultinomialNB sklearn.naive_bayes.MultinomialNB(alpha = 1.0) ●朴素贝叶斯分类 ●alpha：拉普拉斯平滑系数 朴素贝叶斯算法案例sklearn20类新闻分类 20个新闻组数据集包含20个主题的18000个新闻组帖子 流程： 1、加载20类新闻数据，并进行分割 2、生成文章特征词 3、朴素贝叶斯estimator流程进行预估 from sklearn.model_selection import train_test_split from sklearn.datasets import fetch_20newsgroups from sklearn.feature_extraction.text import TfidfVectorizer #特征抽取 from sklearn.naive_bayes import MultinomialNB def naviebayes(): ##朴素贝叶斯进行文本分类 news = fetch_20newsgroups(subset='all') ##进行数据分割 x_train,x_test,y_train,y_test = train_test_split(news.data,news.target,test_size=0.25) #对数据集进行特征抽取 tf = TfidfVectorizer() #统计训练集当中每篇文章 词的列表的重要性 x_train = tf.fit_transform(x_train) print(tf.get_feature_names()) #x_test和x_train应该使用同一个transform,否则会导致维度不同 x_test = tf.transform(x_test) #进行朴素贝叶斯算法的预测 mlt = MultinomialNB(alpha=1.0) mlt.fit(x_train,y_train) y_predict = mlt.predict(x_test) print('预测的文章类别为:',y_predict) #得出准确率 print('准确率为：',mlt.score(x_test,y_test)) return None if __name__ == '__main__': naviebayes() 朴素贝叶斯分类优缺点优点： （1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。 （2）对缺失数据不太敏感，算法也比较简单，不需要调参，常用于文本分类。 （3）分类准确度高，速度快。 缺点： （1）需要知道先验概率P(F1,F2,…|C)，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。训练集误差大，训练结果肯定不好。 （2）由于使用了样本属性独立性的假设，所有如果样本属性有关联时效果不好。 分类模型的评估estimator.score()：一般最常见使用的是准确率，即预测结果正确的百分比。 混淆矩阵在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)。 1.精确率：预测结果为正例样本中真实为正例的比例（查得准） 类：sklearn.metrics.classification_report sklearn.metrics.classification_report(y_true, y_pred, target_names=None) y_true：真实目标值 y_pred：估计器预测目标值 target_names：目标类别名称 return：每个类别精确率与召回率 模型的选择与调优 交叉验证1.交叉验证：为了让被评估的模型更加准确可信。 2.交叉验证过程： 将拿到的数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。 超参数搜索-网格搜索： 通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。 类：sklearn.model_selection.GridSearchCV sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None) 对估计器的指定参数值进行详尽搜索 estimator：估计器对象 param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]} cv：指定几折交叉验证 fit：输入训练数据 score：准确率 结果分析： best_score_:在交叉验证中测试的最好结果 best_estimator_：最好的参数模型 cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果 【K—近邻算法的网格搜索】 from sklearn.model_selection import GridSearchCV knn = KNeighborsClassifier(n_neighbors=) #构建一些参数的值进行搜索 param = {'n_neighbors':[3,5,10]} #进行网格搜索 gc = GridSearchCV(knn,param_grid=param,cv=10) gc.fit(x_train,y_train) #预测准确率 print('在测试集上的准确率：',gc.score(x_test,y_test)) print('在交叉验证中最好的结果：',gc.best_score_) print('选择最好的模型是：',gc.best_estimator_) print('每个超参数每次交叉验证的结果：',gc.cv_results_) |
2.召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）。 
3.其他分类标准，F1-score，反映了模型的稳健型 
【本文地址】
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |