05：评价回归线拟合程度的好坏 · Machina learning(机器学习)

我们画出的拟合直线只是一个近似，因为肯定很多的点都没有落在直线上，那么我们的直线拟合程度到底怎么样呢？在统计学中有一个术语叫做R^2（coefficient ofdetermination，中文叫判定系数、拟合优度，决定系数，由于数学公式不好描述，这里是R^2是“R的平方”），用来判断回归方程的拟合程度。

总偏差平方和（又称总平方和，SST，Sum of Squaresfor Total）：

是每个因变量的实际值（给定点的所有Y）与因变量平均值（给定点的所有Y的平均）的差的平方和，即，反映了因变量取值的总体波动情况。如下：

回归平方和（SSR，Sum of Squares forRegression）：

因变量的回归值（直线上的Y值）与其均值（给定点的Y值平均）的差的平方和，即，它是由于自变量x的变化引起的y的变化，反映了y的总偏差中由于x与y之间的线性关系引起的y的变化部分，是可以由回归直线来解释的。

残差平方和（又称误差平方和，SSE，Sum of Squaresfor Error）:

因变量的各实际观测值(给定点的Y值)与回归值（回归直线上的Y值）的差的平方和，它是除了x对y的线性影响之外的其他因素对y变化的作用，是不能由回归直线来解释的。

也就是说影响总平方和的因素有两部分，一部分是线性回归所涉及到的因素影响导致的偏差，一部分是非线性回归因素影响导致的偏差。就拿广告费和销售额的例子来说，其实广告费只是影响销售额的其中一个比较重要的因素，可能还有经济水平、产品质量、客户服务水平等众多难以说清的因素在影响最终的销售额，那么实际的销售额就是众多因素相互作用最终的结果，由于销售额是波动的，所以用上文提到的每个月的销售额与平均销售额、的差的平方和（即总平方和）来表示整体的波动情况。

回归线只表示广告费一个变量的变化对于总销售额的影响，所以必然会造成偏差，所以才会有实际值和回归值是有差异的，因此回归线只能解释一部分影响

那么实际值与回归值的差异，就是除了广告费之外其他无数因素共同作用的结果，是不能用回归线来解释的。

因此：

SST（总偏差）=SSR（回归线可以解释的偏差）+SSE（回归线不能解释的偏差）

那么所画回归直线的拟合程度的好坏，其实就是看看这条直线（及X和Y的这个线性关系）能够多大程度上反映（或者说解释）Y值的变化，定义

R^2=SSR/SST 或 R^2=1-SSE/SST, R^2的取值在0，1之间，越接近1说明拟合程度越好

假如所有的点都在回归线上，说明SSE为0，则R^2=1，意味着Y的变化100%由X的变化引起，没有其他因素会影响Y，回归线能够完全解释Y的变化。如果R^2很低，说明X和Y之间可能不存在线性关系

判定系数来判断回归方程的拟合程度，表示拟合直线能多大程度上反映Y的波动。

在统计中还有一个类似的概念，叫做相关系数R（这个没有平方，学名是皮尔逊相关系数，因为这不是唯一的一个相关系数，而是最常见最常用的一个），用来表示X和Y作为两个随机变量的线性相关程度，取值范围为【-1，1】。

当R=1，说明X和Y完全正相关，即可以用一条直线，把所有样本点（x,y）都串起来，且斜率为正，当R=-1，说明完全负相关，及可以用一条斜率为负的直线把所有点串起来。如果在R=0，则说明X和Y没有线性关系，注意，是没有线性关系，说不定有其他关系。

就如同这两个概念的符号表示一样，在数学上可以证明，相关系数R的平方就是判定系数。

在实际使用中，判定系数使用较多，其它方面的知识就不再过多介绍，有兴趣的，可以详细下述链接地址，本文也是参照该文章：https://www.jianshu.com/p/fcd220697182#。同时关于该部分还可以参考文章：https://www.wenji8.com/p/3cbCi2d.html