残差、方差、偏差、MSE均方误差、Bagging、Boosting、过拟合欠拟合和交叉验证

  残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。“残差”蕴含了有关模型基本假设的重要信息。如果回归模型正确的话， 我们可以将残差看作误差的观测值。

  在回归分析中，测定值与按回归方程预测的值之差，以δ表示。残差δ遵从正态分布N(0，σ2)。（δ-残差的均值）/残差的标准差，称为标准化残差，以δ表示。δ遵从标准正态分布N(0，1)。实验点的标准化残差落在(-2，2)区间以外的概率≤0.05。若某一实验点的标准化残差落在(-2，2)区间以外，可在95%置信度将其判为异常实验点，不参与回归直线拟合。

  显然，有多少对数据，就有多少个残差。残差分析就是通过残差所提供的信息，分析出数据的可靠性、周期性或其它干扰。残差计算即是残差的平方和除以(残差个数-1)的平方根。

  Variance反映的是模型每一次输出结果与模型输出期望（即均值） 之间的误差，即模型的稳定性。

  概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。

  描述模型对于给定值的输出稳定性。 度量同样大小的训练集的变动所导致的学习性能的变化，刻画数据扰动所产生的影响

  1）方差：方差是在概率论和统计方差衡量随机变量或一组数据的离散程度的度量方式，方差越大，离散度越大。求解方式为，各随机变量与平均值差值的平方和的平均数（先求差，再平方，再平均）

  2）标准差：标准差就是方差的算术平方根，它反映组内个体间的离散程度。因此它的过程是与平均值之间进行差值计算。

  首先error=bias+variance，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精确度。

  偏差又称为表观误差，是指个别测定值与测定的平均值之差，它可以用来衡量测定结果的精密度高低。在统计学中常用来判定测量值是否为坏值。精密度是指一样品多次平行测定结果之间的符合程度，用偏差表示。偏差越小，说明测定结果精密度越高。

  描述模型输出结果的期望与样本真实结果的偏离程度。

  RMSE

Root Mean Square Error,均方根误差

是观测值与真值偏差的平方和与观测次数m比值的平方根。

是用来衡量观测值同真值之间的偏差 MAE

Mean Absolute Error ，平均绝对误差

是绝对误差的平均值

能更好地反映预测值误差的实际情况. 标准差

Standard Deviation ，标准差

是方差的算数平方根

是用来衡量一组数自身的离散程度

  总的来说，均方差是数据序列与均值的关系，而均方误差是数据序列与真实值之间的关系，所以我们只需要搞清楚真实值和均值之间的关系就行了。

RMSE与标准差对比：标准差是用来衡量一组数自身的离散程度，而均方根误差是用来衡量观测值同真值之间的偏差，它们的研究对象和研究目的不同，但是计算过程类似。

RMSE与MAE对比：RMSE相当于L2范数，MAE相当于L1范数。次数越高，计算结果就越与较大的值有关，而忽略较小的值，所以这就是为什么RMSE针对异常值更敏感的原因（即有一个预测值与真实值相差很大，那么RMSE就会很大）。

  MSE均方误差 mean-square error作为机器学习中常常用于损失函数的方法，均方误差频繁的出现在机器学习的各种算法中，但是由于是舶来品，又和其他的几个概念特别像，所以常常在跟他人描述的时候说成其他方法的名字。通过计算每个预测值和实际值之间的差值的平方和再求平均，机器学习中它经常被用于表示预测值和实际值相差的程度。   均方误差的数学表达为：

  4）RMSE：公式

决策树Decision Tree 和随机森林RandomForest基本概念（一）https://blog.csdn.net/u010986753/article/details/100144214

  Baggging 和Boosting都是模型融合的方法，可以将弱分类器融合之后形成一个强分类器，而且融合之后的效果会比最好的弱分类器更好。

  Bagging即套袋法，其算法过程如下：

  从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）

  每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）

  对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，计算上述模型的均值作为最后的结果。（所有模型的重要性相同）

  AdaBoosting方式每次使用的是全部的样本，每轮训练改变样本的权重。下一轮训练的目标是找到一个函数f 来拟合上一轮的残差。当残差足够小或者达到设置的最大迭代次数则停止。Boosting会减小在上一轮训练正确的样本的权重，增大错误样本的权重。（对的残差小，错的残差大）

  梯度提升的Boosting方式是使用代价函数对上一轮训练出的模型函数f的偏导来拟合残差。AdaBoosting方式每次使用的是全部的样本，每轮训练改变样本的权重。下一轮训练的目标是找到一个函数f 来拟合上一轮的残差。当残差足够小或者达到设置的最大迭代次数则停止。Boosting会减小在上一轮训练正确的样本的权重，增大错误样本的权重。（对的残差小，错的残差大）

  梯度提升的Boosting方式是使用代价函数对上一轮训练出的模型函数f的偏导来拟合残差。

1）样本选择上：

  Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。

  Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。

2）样例权重：

  Bagging：使用均匀取样，每个样例的权重相等

  Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。

3）预测函数：

  Bagging：所有预测函数的权重相等。

  Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。

4）并行计算：

  Bagging：各个预测函数可以并行生成

  Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

5）bagging减少variance，而boosting是减少bias   Bagging对样本重采样，对每一重采样得到的子样本集训练一个模型，最后取平均。由于子样本集的相似性以及使用的是同种模型，因此各模型有近似相等的bias和variance（事实上，各模型的分布也近似相同，但不独立）。另一方面，若各子模型独立，则有，此时可以显著降低variance。若各子模型完全相同，则此时不会降低variance。bagging方法得到的各子模型是有一定相关性的，属于上面两个极端状况的中间态，因此可以一定程度降低variance。

  boosting是在sequential地最小化损失函数，其bias自然逐步下降。但由于是采取这种sequential、adaptive的策略，各子模型之间是强相关的，于是子模型之和并不能显著降低variance。所以说boosting主要还是靠降低bias来提升预测精度。

  模型拟合不够，在训练集（training set）上表现效果差，没有充分的利用数据，预测的准确度低。

  模型过度拟合，在训练集（training set）上表现好，但是在测试集上效果差，也就是说在已知的数据集合中非常好，但是在添加一些新的数据进来训练效果就会差很多，造成这样的原因是考虑影响因素太多，超出自变量的维度过于多了。

  如何防止过拟合（过拟合主要使有两个原因造成的：数据太少+模型太复杂。）：

  ❶ 获取更多数据，这是解决过拟合最有效的方法，只要给足够多的数据，让模型[训练到]尽可能多的[例外情况]，它就会不断修正自己，从而得到更好的结果。   ❷ 减少特征变量，减少网络的层数、神经元的个数等均可以限制网络的拟合能力；   ❸ 限制权值（正则化）   ❹ 贝叶斯方法   ❺ 结合多种模型

数据集划分train_test_split\交叉验证Cross-validationhttps://blog.csdn.net/u010986753/article/details/98069124

  交叉验证用在数据不是很充足的时候。比如在我日常项目里面，对于普通适中问题，如果数据样本量小于一万条，我们就会采用交叉验证来训练优化选择模型。如果样本大于一万条的话，我们一般随机的把数据分成三份，一份为训练集（Training Set），一份为验证集（Validation Set），最后一份为测试集（Test Set）。

欢迎关注小婷儿的博客   文章内容来源于小婷儿的学习笔记，部分整理自网络，若有侵权或不当之处还请谅解!!!

   小婷儿的python正在成长中，其中还有很多不足之处，随着学习和工作的深入，会对以往的博客内容逐步改进和完善哒。重要的事多说几遍。。。。。。