机器学习算法 03

机器学习算法 01 —— K-近邻算法(数据集划分、归一化、标准化)

机器学习算法 02 —— 线性回归算法(正规方程、梯度下降、模型保存)

机器学习算法 03 —— 逻辑回归算法(精确率和召回率、ROC曲线和AUC指标、过采样和欠采样)

机器学习算法 04 —— 决策树(ID3、C4.5、CART，剪枝，特征提取，回归决策树)

机器学习算法 05 —— 集成学习(Bagging、随机森林、Boosting、AdaBost、GBDT)

机器学习算法 06 —— 聚类算法(k-means、算法优化、特征降维、主成分分析PCA)

机器学习算法 07 —— 朴素贝叶斯算法(拉普拉斯平滑系数、商品评论情感分析案例)

机器学习算法 08 —— 支持向量机SVM算法(核函数、手写数字识别案例)

机器学习算法 09 —— EM算法(马尔科夫算法HMM前置学习，EM用硬币案例进行说明)

机器学习算法 10 —— HMM模型(马尔科夫链、前向后向算法、维特比算法解码、hmmlearn)

学习目标：

逻辑回归（Logistic Regression）是机器学习中的⼀种分类模型，虽然名字中带有回归，但其实是⼀种分类算法。由于算法的简单和⾼效，在实际中应⽤⾮常⼴泛。

逻辑回归应用场景：

看到上⾯的这些场景，我们可以发现其中的特点，它们都是属于两个类别之间的判断，逻辑回归就是用来解决⼆分类问题的。

要掌握逻辑回归，关键是两点：

逻辑回归的输入其实是一个线性回归的输出，即线性回归计算的结果。

激活函数(sigmoid)计算公式： g ( w T , x ) = 1 1 + e − h ( w ) = 1 1 + e − w T x g(w^T,x)=\cfrac{1}{1+e^{-h(w)}}=\cfrac{1}{1+e^{-w^Tx}} g(wT,x)=1+e−h(w)1​=1+e−wTx1​

判断标准

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例)，另外的⼀个类别会标记为0(反例)。（⽅便损失计算）

输出结果解释：假设有两个类别A，B，并且假设我们的概率值为属于A(默认用1表示)这个类别的概率值。现在有⼀个样本的输⼊到逻辑回归，并输出结果0.55，这个概率值超过0.5，意味着我们训练或者预测的结果就是A类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(默认用0表示)类别。 当然，阀值是可以改变的。

线性回归中，我们用最小二乘法衡量线性回归的损失，那么在逻辑回归中预测结果不对时，怎么衡量损失呢？例如下面图片(阀值0.6)，预测结果和真实结果存在差异，错了三个。

那么如何去衡量逻辑回归的预测结果与真实结果的差异呢？

逻辑回归的损失称为对数释似然损失，公式如下：

其中 y y y是真实结果， h θ ( x ) h_\theta(x) hθ​(x)​是预测结果。根据 y y y的类别(A类 y = 1 y=1 y=1，B类 y = 0 y=0 y=0)，这个式子也分为两类。

怎么理解这个式子呢？我们根据 log ⁡ \log log​​的函数图像来看，由于两个式子前面都有负号，所以图像是 l o g log log​​翻转过来，假设现在 y = 1 y=1 y=1​，损失函数值图像如下。（注：图像的y轴是损失函数值）

首先要明白，无论什么情况，损失函数值都是越小越好，因此现在我们讨论 y y y：

所以，综合一下，完整的损失函数如下：其中， h θ ( x ) h_\theta(x) hθ​(x)是每次预测值，y_i$是每次预测对应的真实值

现在，我们将前面的例子带入这个公式中分析损失：

既然知道了损失函数，那么我们同样可以使用梯度下降优化算法来减少损失函数的值，通过不断更新逻辑回归前面对应算法的权重参数，进行优化。提示原本属于1类别的概率，降低原本属于0类别的概率。

简单解释下上面最后一句话，在计算损失那个式子里，我们需要提高0.4的概率，因为预测的是它属于类别0，但真实结果是类别1，把0.4提升到阀值0.6，那么预测就对了。同理，我们需要降低0.68概率，提升0.41的概率。

sklearn.linear_model.LogisticRegression(solver='liblinear', penalty=‘l2’, C = 1.0)

solver可选参数:{‘liblinear’, ‘sag’, ‘saga’,‘newton-cg’, ‘lbfgs’}，

penalty：正则化的种类

C：正则化⼒度

默认会将类别数量少的作为正例，同时LogisticRegression⽅法相当于 SGDClassifier(loss=“log”, penalty=" ")，SGDClassifier实现的是⼀个普通的随机梯度下降学习。⽽LogisticRegression(实现了随机平均梯度下降)

原始数据下载地址：https://archive.ics.uci.edu/ml/machine-learning-databases/

网络读取数据地址：https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data

数据描述：

步骤分析：

代码实现：

可以发现准确率很高，但在这种分类场景中我们并不只是关注准确率，而是需要关注在所有样本中是否有全部样本都被预测出结果！！就像这个肿瘤的例子，虽然高达98%，但最后有两位患者没被预测出来，那么就不完整！！

对于分类模型，除了准确率，我们还需要关注其他的评估，例如精确率、召回率、F1-score等，下面进行一一介绍。

在一个分类模型运行结果之下，会出现四种情况：预测为真，结果也为真，即真正例TP；预测为假，结果也为假，即真反例TN等等如下图所示。其中，TP是True Positive，FN是False Negative。

根据这四种情况，我们可以分别得出几个评估参数。

准确率：所有结果中，预测正确的结果所占的比例。即 T P + T N T P + F P + T N + F N \frac{TP+TN}{TP+FP+TN+FN} TP+FP+TN+FNTP+TN​​

意义：

精确率：预测结果的正例样本中，真正例所占的比例。即 T P T P + F P \frac{TP}{TP+FP} TP+FPTP​​​​。

意义：判断预测的准不准。

召回率：真实结果的正例样本中，真正例所占的比例。即 T P T P + F N \frac{TP}{TP+FN} TP+FNTP​​

意义：判断预测的全不全面

F1-score：即 F 1 = 2 T P 2 T P + F N + F P = 2 ⋅ 精 确 率 ⋅ 召 回 率 精 确 率 + 召 回 率 F_1=\frac{2TP}{2TP+FN+FP}=\frac{2\cdot精确率\cdot召回率}{精确率+召回率} F1​=2TP+FN+FP2TP​=精确率+召回率2⋅精确率⋅召回率​​​，公式来源于 2 F 1 = 1 精 确 率 + 1 召 回 率 \frac{2}{F_1}=\frac{1}{精确率}+\frac{1}{召回率} F1​2​=精确率1​+召回率1​

意义：反应模型的稳健性，越大，说明越稳定。

sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )

修改案例，在最后增加代码：

假设样本极其不均衡：有99个恶性肿瘤样本，1个良性肿瘤样本，现在我预测全部都是恶性肿瘤，根据公式计算，准确率是99%，精确率是99%，召回率是100%，F1-score则更离谱。显然这种样本不均衡的情况下，各项指标都不靠谱。此时就要用到ROC曲线和AUC指标。

样本不均衡通常是指正例和反例的占比达到1：5或者5：1这种比较夸张的情况。

这里TPR、FPR的R是指rate，"概率"的意思。

TPR：所有真实结果为正例的样本中，预测类别为1的样本比例。其实就是召回率，即 T P R = T P T P + F N TPR=\frac{TP}{TP+FN} TPR=TP+FNTP​​​​

FPR：所有真实结果为假例的样本中，预测类别为1的样本比例。即 F P R = F P F P + T N FPR=\frac{FP}{FP+TN} FPR=FP+TNFP​

ROC曲线是接收者操作特征曲线（receiver operating characteristic curve），是反映敏感性和特异性连续变量的综合指标。ROC曲线的横轴是FPR，纵轴是TPR。

AUC（Area Under Curve）是ROC曲线下的面积（对ROC曲线求积分就能得到AUC），显然这个面积的数值不会大于1。ROC曲线一般都处于 y = x y=x y=x​​这条直线上方，所以AUC的取值范围一般在0.5和1之间。

使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的直接说明哪个模型的效果更好，而AUC作为一个数值，可以更明了。

因此，通常来说，AUC越大的模型（分类器），正确率越高，预测效果越好！！

AUC的API如下：

导包：from sklearn.metrics import roc_auc_score

方法：sklearn.metrics.roc_auc_score(y_true, y_score)

下面在案例里增加如下代码：

注意：AUC只能用来评价二分类，不能是多分类。AUC非常适合用于样本不均衡的模型评估。

现在有数据(1:1, 2:0, 3:1, 4:0, 5:0, 6:0)，冒号前面是序号，冒号后面表示真实结果是正例(1)还是反例(0)。

假设这6个数据通过模型计算出了(1:0.9, 2:0.8, 3:0.7, 4:0.6, 5:0.5, 6:0.4)，冒号前面是序号，冒号后面是概率。(设阀值为0.65)

现在对其进行ROC曲线绘制。

对概率序列按概率大小进行排序，从大到小：

从概率最大的一点开始取点，逐一计算TPR和FPR。

点1：预测为正例，真实结果也为正例。

F P R = F P F P + T N = 0 4 = 0 FPR=\frac{FP}{FP+TN}=\frac{0}{4}=0 FPR=FP+TNFP​=40​=0， T P R 1 = T P T P + F N = 1 2 = 0.5 TPR_1=\frac{TP}{TP+FN}=\frac{1}{2}=0.5 TPR1​=TP+FNTP​=21​=0.5

点2：预测为正例，真实结果为假例。

F P R 2 = F P F P + T N = 1 4 = 0.25 FPR_2=\frac{FP}{FP+TN}=\frac{1}{4}=0.25 FPR2​=FP+TNFP​=41​=0.25， T P R 2 = T P T P + F N = 1 2 = 0.5 TPR_2=\frac{TP}{TP+FN}=\frac{1}{2}=0.5 TPR2​=TP+FNTP​=21​=0.5

点3：预测为假例，真实结果为正例。

F P R 3 = F P F P + T N = 1 4 = 0.25 FPR_3=\frac{FP}{FP+TN}=\frac{1}{4}=0.25 FPR3​=FP+TNFP​=41​=0.25， T P R 3 = T P T P + F N = 2 2 = 1 TPR_3=\frac{TP}{TP+FN}=\frac{2}{2}=1 TPR3​=TP+FNTP​=22​=1

后续步骤相同，最终得到结果为：(0,0.5),(0.25,0.5),(0.25,1),(0.5,1),(0.75,1),(1.0,1.0)

将其在二维坐标系中绘制出来，其中蓝色线就是ROC曲线，其面积就是AUC值。

前⾯我们已经初步认识了，什么是数据不均衡(就是类别不平衡)问题，但并没有给出一个较好的解决方案，只是换了评估方法。其实，在现实环境中，采集到的数据往往是⽐例失衡的。⽐如⽹贷数据，逾期还贷的⼈数⽐例是极低的(千分之⼏的⽐例)。

对于类别不平衡的问题，主要有两种解决方法：

要想解决数据不均衡问题，我们先得有一个不均衡的数据集。make_classification专门用于构建不均衡数据。

创造数据集

查看各个标签的样本

数据集可视化

需要安装imblearn包，这里用Anaconda安装下就行conda install -c glemaitre imbalanced-learn，需要注意的是目前imblearn只支持到Phthon3.6，所以有必要的话可能需要在Aanacond里创建一个新Python环境。

对训练集⾥的少数类进⾏“过采样”（oversampling），即增加⼀些少数类样本使得正、反例数⽬接近，然后再进⾏学习。

随机过采样

随机过采样是在少数类中随机选择⼀些样本，然后复制选择的样本⽣成样本集，将它们添加到中来扩⼤原始数据集从⽽得到新的少数类集合。

缺点：

对于随机过采样，由于需要对少数类样本进⾏复制来扩⼤数据集，造成模型训练复杂度加⼤。

另⼀⽅⾯也容易造成模型的过拟合问题，因为随机过采样是简单的对初始样本进⾏复制采样，这就使得学习器学得的规则过于具体化，不利于学习器的泛化性能，造成过拟合问题。

所以推荐使用后面的SMOTE算法

SMOTE

SMOTE(Synthetic Minority Oversampling)即合成少数类过采样技术，是随机过采样⽅法的⼀个改进算法。随机过采样⽅法是直接对少数类进⾏重采⽤，会使训练集中有很多重复的样本，容易造成产⽣的模型过拟合问题。

我们⽤图⽂表达的⽅式，来描述⼀下SMOTE算法：

SMOTE算法摒弃了随机过采样复制样本的做法，可以防⽌随机过采样中容易过拟合的问题，实践证明此⽅法可以提⾼分类器(模型)的性能。

对训练集中多数类样本进⾏“⽋采样”（undersampling），即去除⼀些多数类中的样本使得正例、反例数⽬接近，然后再进⾏学习。

随机欠采样

随机⽋采样顾名思义即从多数类中随机选择⼀些样样本组成样本集，然后将样本集从中移除，构成一个新的数据集。

缺点：