线性回归之总离差平方和=回归平方和+残差平方和（TSS = ESS + RSS）及证明

1、TSS 

英文全称：Total Sum of Squares，

中文全称：总离差平方和，或者总平方和

数学公式表达：

含义解释：反映了观测真实值与真实平均值之间的偏差情况。这里没有使用误差，是因为和都是真实值，一个是观测到的，另一个是由真实值计算出来的。观测真实值与真实平均值之间当然是存在偏差的，可以这样假设，如果它们之间没有偏差，那么每个观测真实值都是相同的。

2、 ESS

英文全称：Explained Sum of Squares

中文全称：回归平方和，或者解释平方和

数学公式表达：

含义解释：表示模型估计值与真实平均值之差的平方和。度量了模型估计值与真实平均值之间的误差情况，而估计值是通过线性回归模型估计出来的，所以叫回归平方和，这个误差也是模型可以解释的，所以也叫解释平方和。

3、RSS

英文全称：Residual Sum of Squares；

中文全称：残差平方和，或者剩余平方和；

数学公式表达：

含义解释：表示观测真实值与模型估计值之差的平方和。实际情况中，通过模型预测的估计值与实际观测值之间是存在一定的误差的，这个误差值越小，说明模型对实际情况的估计或者预测越好，实际中是希望这个值越小越好，甚至为0。

这三个量之间有什么关系呢？

这个等式表明：如果我们使用观测到的真实值，通过线性回归模型对它们进行拟合计算，那么观测到的真实值与真实平均值之间的偏差会表现在模型的两个方面，第一个方面是模型估计值与真实平均值之间的偏差，另一个方面是观测真实值与模型估计值之间的偏差，而且正好是这两个方面的总和。也就是说，总离差平方和因为模型的引入而被分解了。

证明：

上述证明中使用到了最小二乘法求最小值问题。我们知道，在最小二乘法中，有下面这样一个线性回归模型：

我们需要找到线性回归中a和b的值，使得模型估计值与观测真实值误差最小，也就是下面的损失函数值最小：

注意到其实这个损失函数就是残差平方和。使损失函数最小，其实就是求最小值问题，通过求导和结合变量之间的关系，就能得到上述证明过程使用到的满足零点的三个关系式，这里不再累述。