从多个角度来理解协方差（covariance）

起源：协方差自然是由方差衍生而来的，方差反应的是一个变量（一维）的离散程度，到二维了，我们可以对每个维度求其离散程度，但我们还想知道更多。我们想知道两个维度（变量）之间的关系，直观的举例就是身高和体重（青少年），我们采集到的数据里面有一种固有的性质，那就是身高越高的样本似乎总有着更大的体重，那我们如何衡量这种关系呢，单独求两个方差是不行的。

因此协方差应运而生，它的公式也与方差极度同源，方差是每个样本减去均值的平方后去平均（n-1），协方差就把平方的2拆成1+1，就是x减去x的平均，乘以，y减去y的平均，最后对整体取平均。

这个公式似乎有点难以直观理解，先别管，先说结论。

该公式的另一种写法：

协方差的效果是：协方差的值如果为正值，则说明两者是正相关的 (数值越大，相关性越强)，结果为负值就说明负相关的，如果为0，也是就是统计上说的“相互独立”。

再来说原理，如何直观的理解这个协方差公式能达到这种效果呢？

网上有篇文章讲得十分好，以下转载：

终于明白协方差的意义了

如果正相关，这个计算公式，每个样本对（Xi, Yi）,　每个求和项大部分都是正数，即两个同方向偏离各自均值，而不同时偏离的也有，但是少，这样当样本多时，总和结果为正。下面这个图就很直观。下面转载自：http://blog.csdn.net/wuhzossibility/article/details/8087863

在概率论中，两个随机变量 X 与 Y 之间相互关系，大致有下列3种情况：

当 X, Y 的联合分布像上图那样时，我们可以看出，大致上有： X 越大  Y 也越大， X 越小  Y 也越小，这种情况，我们称为“正相关”。

当X, Y 的联合分布像上图那样时，我们可以看出，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大，这种情况，我们称为“负相关”。

当X, Y  的联合分布像上图那样时，我们可以看出：既不是X  越大Y 也越大，也不是 X 越大 Y 反而越小，这种情况我们称为“不相关”。

怎样将这3种相关情况，用一个简单的数字表达出来呢？

在图中的区域（1）中，有 X>EX ，Y-EY>0 ，所以(X-EX)(Y-EY)>0；

在图中的区域（2）中，有 X0 ，所以(X-EX)(Y-EY)