(史上最全总结)总体方差，样本方差，标准差，抽样方差，标准误差，均方误差，协方差 ...........

在概率论和统计学中，数学期望 (mean)（或 均值，亦简称期望）是试验中每次可能结果的 概率 乘以其结果的总和，是最基本的数学特征之一。它反映随机变量 平均取值 的大小。

需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。期望值是该变量输出值的 平均数 。期望值并不一定包含于变量的输出值集合里。

大数定律 规定，随着重复次数接近无穷大，数值的算术平均值几乎肯定地收敛于期望值

离散型随机变量的一切可能的取值 X i X_i Xi​ 与对应的概率 p ( X i ) p(X_i) p(Xi​) 乘积之和称为该离散型随机变量的数学期望(若该求和绝对收敛)，则记为 E ( X ) E(X) E(X)。

若离散型随机变量 X X X 的取值为 X 1 X_1 X1​ , X 2 X_2 X2​ , X 3 X_3 X3​ , … \ldots … , X i X_i Xi​ ， … \ldots … ； p ( X 1 ) p(X_1) p(X1​) , p ( X 2 ) p(X_2) p(X2​) , p ( X 3 ) p(X_3) p(X3​) , … \ldots … , p ( X i ) p(X_i) p(Xi​) , … \ldots … 则为 X X X 对应取值的概率。

E ( X ) = X 1 ∗ p ( X 1 ) + X 2 ∗ p ( X 2 ) + X 3 ∗ p ( X 3 ) + … + X i ∗ p ( X i ) E(X) = X_1*p(X_1)+X_2*p(X_2)+X_3*p(X_3)+\ldots+X_i*p(X_i) E(X)=X1​∗p(X1​)+X2​∗p(X2​)+X3​∗p(X3​)+…+Xi​∗p(Xi​)

E ( X ) = ∑ i = 1 ∞ X i ∗ p ( X i ) \color{red}{E(X) = \sum_{i=1}^\infty X_i*p(X_i)} E(X)=i=1∑∞​Xi​∗p(Xi​)

设连续性随机变量X的概率密度函数为 f ( x ) f(x) f(x)，若积分绝对收敛，则称积分的值 ∫ − ∞ ∞ x f ( x )   d x \int_{-\infty}^{\infty} {xf(x)} \,{\rm d}x ∫−∞∞​xf(x)dx 为随机变量的数学期望，记为 E ( X ) E(X) E(X)。

E ( X ) = ∫ − ∞ ∞ x f ( x )   d x \color{red}{E(X) = \int_{-\infty}^{\infty} {xf(x)} \,{\rm d}x} E(X)=∫−∞∞​xf(x)dx

若随机变量 X 的分布函数 F ( x ) F(x) F(x) 可表示成一个非负可积函数 f ( x ) f(x) f(x) 的积分，则称 X X X 为连续性随机变量， f ( x ) f(x) f(x) 称为 X X X 的概率密度函数。

参考百度百科：https://baike.baidu.com/item/%E6%95%B0%E5%AD%A6%E6%9C%9F%E6%9C%9B

这里介绍了下基本概念，过多的性质这里就不介绍了，大家感兴趣的话，可以自己去查资料或者看课本。

概率论中方差用来度量随机变量和其数学期望（均值）之间的偏离程度。 统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。

D ( X ) = E [ X − E ( X ) ] 2 = E [ X 2 − 2 X E ( X ) + ( E X ) 2 ] = E ( X 2 ) − 2 ( E X ) 2 + ( E X ) 2 = E ( X 2 ) − ( E X ) 2 (1) \color{red} \begin{aligned} D(X) &= E[X-E(X)]^2 \\ &= E[X^2-2XE(X)+(EX)^2] \\ &= E(X^2)-2(EX)^2+(EX)^2 \\ &= E(X^2)-(EX)^2\tag{1} \end{aligned} D(X)​=E[X−E(X)]2=E[X2−2XE(X)+(EX)2]=E(X2)−2(EX)2+(EX)2=E(X2)−(EX)2​(1)

σ 2 = ∑ i = 1 N ( X i − μ ) 2 N \color{red}\sigma^2 = \frac{\sum_{i=1}^N(X_i-\mu)^2}{N} σ2=N∑i=1N​(Xi​−μ)2​

σ 2 \sigma^2 σ2 为总体方差， N N N 为总体的个数， X i X_i Xi​为变量， μ \mu μ 为总体均值。

我们中学其实就已经学到了这个标准定义的方差，除数为总体样例的个数 n n n。

S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ‾ ) 2 \color{red}{S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2} S2=n−11​i=1∑n​(Xi​−X)2

S 2 S^2 S2 为样本方差， n （ n < < N ） n（n