机器学习算法（一）：逻辑回归模型（Logistic Regression, LR）[通俗易懂]

大家好，又见面了，我是你们的朋友全栈君。

目录

1 LR

1.1 直观表述

1.2 决策边界（Decision Boundary）

2. 权值求解

2.1 代价函数（似然函数）

2.1.1 为什么损失函数不用最小二乘？即逻辑斯蒂回归损失函数为什么使用交叉熵而不是MSE？

2.1.2 代价函数

2.2 似然函数的求解-梯度下降

3 加入正则项

3.1 正则解释

3.2 L1和L2正则化的直观理解

3.2.1 L1正则化和特征选择

3.2.2 L2正则化和过拟合

4 如何用逻辑回归处理多标签问题

4.1 One vs One

4.2 One vs All

4.3 从sigmoid函数到softmax函数的推导

5 为什么逻辑斯蒂回归的输出值可以作为概率

6 逻辑斯蒂回归是否可以使用其他的函数替代 sigmoid 函数

​​​​​​​线性分类器：模型是参数的线性函数，分类平面是（超）平面； 非线性分类器：模型分界面可以是曲面或者超平面的组合。 典型的线性分类器有感知机，LDA，逻辑斯特回归，SVM（线性核）； 典型的非线性分类器有朴素贝叶斯（有文章说这个本质是线性的，http://dataunion.org/12344.html），kNN，决策树，SVM（非线性核）

逻辑回归模型(Logistic Regression, LR)基础 – 文墨 – 博客园

细品 – 逻辑回归（LR）* – ML小菜鸟 – 博客园

当你的目标变量是分类变量时，才会考虑逻辑回归，并且主要用于两分类问题。

LR模型可以被认为就是一个被Sigmoid函数（logistic方程）所归一化后的线性回归模型！

逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。

首先来解释一下

的表示的是啥？它表示的就是将因变量预测成1（阳性）的概率，具体来说它所要表达的是在给定x条件下事件y发生的条件概率，而

是该条件概率的参数。将它分解一下：

​​​​​​​

（1）式就是我们介绍的线性回归的假设函数，那（2）式就是我们的Sigmoid函数啦。

由于线性回归在整个实数域内敏感度一致，而分类范围，需要在[0,1]。逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，其回归方程与回归曲线如下图所示。逻辑曲线在z=0时，十分敏感，在z>>0或z