三大抽样分布的定义、期望和方差：卡方分布、t分布、F分布

您所在的位置：网站首页 › 卡方分布定理 › 三大抽样分布的定义、期望和方差：卡方分布、t分布、F分布

三大抽样分布的定义、期望和方差：卡方分布、t分布、F分布

2023-09-22 00:28| 来源: 网络整理| 查看: 265

一、卡方分布

1. 卡方分布的定义

设随机变量 $X_1, \dots , X_n, iid, ～ N(0,1)$ ，则随机变量 $Y = \sum_{i=1}^n X_i^2 ～ \chi_n^2$ ，且 $Y$ 的概率密度函数为：

$k_n(y) = \Gamma( \frac{n}{2} )^{-1} 2^{ -\frac{n}{2} } y^{ \frac{n}{2} - 1 } e^{ -\frac{y}{2} }, y = 0$

证明：

$F_Y(y) = P( \sum_{i=1}^n X_i^2 \leq y)$

$= (2 \pi)^{- \frac{n}{2}} \int_B \dots \int e^{ - \frac{ \sum_{i=1}^n x_i^2 }{2} } dx_1 \dots dx_n$

积分区域 $B$ 是一个球形区域，切换到球坐标下，可得：

$F_Y(y) = C_n \int_0^{\sqrt{y}} e^{- \frac{r^2}{2}} r^{n-1} dr$ ， $C_n$ 是一个与 $y$ 无关的常数

根据归一化， $F_Y(\infty) = C_n \int_0^{\infty} e^{-\frac{r^2}{2}} r^{n-1} dr = 1$

$\implies C_n = \Gamma(\frac{n}{2})^{-1} 2^{1 - \frac{n}{2}}$

$\implies F_Y(y) = \Gamma( \frac{n}{2} )^{-1} 2^{1 - \frac{n}{2}} \int_0^{\sqrt{y}} e^{- \frac{r^2}{2}} r^{n-1} dr$

$\implies f_Y(y) = \frac{dF_Y(y)}{dy} = \Gamma ( \frac{n}{2} )^{-1} 2^{ -\frac{n}{2} } y^{ \frac{n}{2} - 1 } e^{ -\frac{y}{2} }$

这就证明了卡方分布的概率密度函数。

2. 卡方分布的可加性

设独立的随机变量 $X_1 ～ \chi_n^2, X_2 ～ \chi_m^2$ ，则 $X_1 + X_2 ～ \chi_{n+m}^2$

证明：

$f_{X_1+X_2}(y) = \int_0^y k_n(x) k_m(y - x) dx$

$= \Gamma( \frac{n}{2} )^{-1} \Gamma( \frac{m}{2} )^{-1} 2^{-\frac{n + m}{2}} e^{-\frac{y}{2}} \int_0^y x^{\frac{n}{2} - 1} (y-x)^{\frac{m}{2} - 1} dx$

$= \Gamma( \frac{n}{2} )^{-1} \Gamma( \frac{m}{2} )^{-1} 2^{-\frac{n + m}{2}} e^{-\frac{y}{2}} y^{\frac{n+m}{2} - 1} B(\frac{n}{2} , \frac{m}{2})$

$= \Gamma( \frac{n + m}{2} )^{-1} 2^{ -\frac{n + m}{2} } y^{ \frac{n + m}{2} - 1 } e^{ -\frac{y}{2} }$

这就证明了 $X_1 + X_2$ 符合自由度为 $n + m$ 的卡方分布。这可以推广到多个随机变量的情况：

若相互独立的随机变量 $X_i ～ \chi_{n_i}^2, i = 1, 2, \dots , n$ ，则 $\sum_{i=1}^n X_i ～ \chi_{ \sum_{j=1}^n n_j }^2$

3. 卡方分布的数字特征

设随机变量 $X ～ \chi_n^2$ ，则 $X$ 的矩母函数为 $M_X(s) = (1 - 2s)^{-\frac{n}{2}}, s \frac{1}{2}$

证明：

$M_X(s) = \int_0^{\infty} e^{sx} k_n(x)dx$

$= \Gamma( \frac{n}{2} )^{-1} 2^{ -\frac{n}{2} } \int_0^{\infty} x^{ \frac{n}{2} - 1 } e^{ -(\frac{1}{2} - s)x } dx$

$= \Gamma( \frac{n}{2} )^{-1} 2^{ -\frac{n}{2} } (\frac{1}{2} - s)^{-\frac{n}{2}} \int_0^{\infty} t^{\frac{n}{2} - 1} e^{-t} dt$

$= (1 - 2s)^{-\frac{n}{2}}$

由卡方分布的矩母函数，可得出 $X$ 的 $k$ 阶矩：

$\frac{d M_X(s)^k}{ds^k} = \Pi_{i=0}^{k-1} (n + 2i) (1-2s)^{-(\frac{n}{2} + k)}$

$\implies E(X^k) = \Pi_{i=0}^{k-1} (n + 2i)$

由此可得卡方分布得期望为 $n$ ，方差为 $2n$

设随机变量 $X ～ \chi_n^2$ ，则 $\frac{1}{X}$ 的期望为 $E(\frac{1}{X}) = \frac{1}{n-2}, n 2$

证明：

$E(\frac{1}{X}) = \int_0^{\infty} x^{-1} k_n(x) dx$

$= \Gamma(\frac{n}{2})^{-1} 2^{- \frac{n}{2}} \int_0^{\infty} x^{\frac{n}{2} - 2} e^{- \frac{x}{2}} dx$ ，做变量替换 $x = 2t$

$= \Gamma(\frac{n}{2})^{-1} 2^{-1} \int_0^{\infty} t^{\frac{n}{2} - 2} e^{-t} dt$

$= \Gamma(\frac{n}{2})^{-1} 2^{-1} \Gamma(\frac{n}{2} - 1)$ ，此式当 $n 2$ 时成立

$= \frac{1}{n-2}$

同理，可以证明 $E(\frac{1}{X^2}) = \frac{1}{(n-2)(n-4)}$ ，当 $n 4$ 时成立。

4. 卡方分布的分解

正态随机变量：设随机变量 $X_1, \dots , X_n, iid, ～ N(0,1)$ ，则 $\sum_{i=1}^n X_i^2 ～ \chi_n^2$

证明：

由于 $X_i^2$ 的概率密度函数为：

$f_{X_i^2}(y) = (2 \pi)^{-\frac{1}{2}} y{-\frac{1}{2}} e^{-\frac{y}{2}}$

即随机变量 $X_i^2 ～ \chi_1^2$ ，根据卡方分布的可加性可得 $\sum_{i=1}^n X_i^2 ～ \chi_n^2$

这就说明了自由度为 $n$ 的卡方分布可以分解为 $n$ 个独立的标准正态分布随机变量的平方和，这也是卡方分布的定义。

指数随机变量：设随机变量 $X_i, iid, ～ e( \lambda )$ ，则 $2 \lambda \sum_{i=1}^n X_i ～ \chi_{2n}^2$

证明：

由于 $2 \lambda X_i$ 的概率密度函数为：

$f_{2 \lambda X_i} (y) = 2 ^ {-1} e^{- \frac{y}{2}}$

即随机变量 $2 \lambda X_i ～ \chi_2^2$ ，根据卡方分布的可加性可得 $2 \lambda \sum_{i=1}^n X_i ～ \chi_{2n}^2$

这就说明了 $n$ 个独立的指数分布随机变量的和的 $2 \lambda$ 倍符合自由度为 $n$ 的卡方分布。

5. 正态分布的样本方差

设随机变量 $X_1, \dots , X_n, iid, ～ N(\mu, \sigma^2)$ ，样本均值 $\bar{X} = \frac{ \sum_{i=1}^n X_i }{n}$ ，样本方差 $S^2 = \frac{ \sum_{i=1}^n (X_i - \bar{X} ) ^ 2 }{n - 1}$ ，则有：

$\frac{ (n - 1) S^2 }{\sigma^2} ～ \chi_{n-1}^2$ ，且 $\bar{X}$ 与 $S^2$ 独立。

证明：

可以找到一个 $n$ 阶正交矩阵 $A_n$ ， $A_n$ 中第一行的元素都是 $\frac{1}{\sqrt{n}}$ ，对随机向量 $X = (X_1, \dots, X_n)^T$ 进行正交变换：

随机向量 $Y = A_n X$ ，则有逆变换 $X = A_n^{-1} Y = A_n^T Y$ ，此正交变换具有以下3个性质：

1. 向量的模不变，即： $\sum_{i=1}^n X_i^2 = \sum_{i=1}^n Y_i^2$ ；

2. 逆变换的雅可比行列式为 $1$ ，即： $\frac{\partial X}{\partial Y} = |A_n^T| = 1$ ；

3. $Y_1 = \frac{\sum_{i=1}^n X_i}{ \sqrt{n} } = \sqrt{n} \bar{X}$ ；

随机向量 $Y$ 的联合分布密度函数为：

$f_Y(Y_1, \dots, Y_n) = (2 \pi \sigma^2)^{- \frac{n}{2} } e^{ - \frac{ \sum_{i=1}^n (X_i - \mu)^2 }{2 \sigma^2} }$

$= (2 \pi \sigma^2)^{- \frac{n}{2} } e^{ - \frac{ \sum_{i=1}^n X_i^2 - 2n \mu \bar{X} + n \mu^2 }{2 \sigma^2} }$

$= (2 \pi \sigma^2)^{- \frac{n}{2} } e^{ - \frac{ \sum_{i=1}^n Y_i^2 - 2 \sqrt{n} \mu Y_1 + n \mu^2 }{2 \sigma^2} }$

$= (2 \pi \sigma^2)^{- \frac{1}{2} } e^{- \frac{ (Y_1 - \sqrt{n} \sigma)^2 }{2 \sigma^2} } * \Pi_{i=2}^n (2 \pi \sigma^2)^{- \frac{1}{2} } e^{- \frac{ Y_i^2 }{2 \sigma^2} }$

从随机向量 $Y$ 的联合分布密度函数可以得出以下结论：

1. $Y_1 ～ N( \sqrt{n} \mu, \sigma^2)$ ；

2. $Y_2, \dots, Y_n ～ N(0, \sigma^2)$ ；

3. $Y_1, \dots, Y_n$ 相互独立；

下面对命题中的结论进行证明：

$\bar{X} = \frac{Y_1}{ \sqrt{n} }$

$\frac{ (n - 1) S^2 } { \sigma^2 } = \frac{ \sum_{i=1}^n ( X_i - \bar{X} ) ^ 2 }{ \sigma^2 }$

$= \frac{ \sum_{i=1}^n Y_i^2 - Y_1^2 }{ \sigma^2 } = \sum_{i=2}^n ( \frac{ Y_i }{ \sigma } )^2$

可以看到：

1. $\bar{X}$ 是 $Y_1$ 的函数， $\frac{ (n - 1) S^2 }{\sigma^2}$ 是 $Y_2, \dots, Y_n$ 的函数，所以 $\bar{X}$ 与 $\frac{ (n - 1) S^2 }{\sigma^2}$ 相互独立；

2. $\frac{ (n - 1) S^2 }{\sigma^2}$ 是 $n - 1$ 个标准正态随机变量的平方和，所以服从自由度为 $n - 1$ 的卡方分布；

二、t分布

1. t 分布的定义

设随机变量 $X ～ N(0,1), Y ～ \chi_n^2$ ， $X,Y$ 相互独立，则随机变量 $Z = \frac{X}{\sqrt{Y/n}} ～ t_n$ ，且 $Z$ 的概率密度函数为：

$t_n(z) = (n\pi)^{- \frac{1}{2}} \Gamma(\frac{n}{2})^{-1} \Gamma(\frac{n+1}{2}) (1 + \frac{z^2}{n})^{-\frac{n+1}{2}}$ ，其中 $n$ 为 t 分布的自由度。

证明：

设 $\phi(x)$ 为标准正态分布的概率密度函数， $k_n(x)$ 为卡方分布的概率密度函数，那么随机变量 $\sqrt{Y/n}$ 的概率密度函数为：

$f_{\sqrt{Y/n}}(y) = 2nyk_n(ny^2)$

由随机变量商的概率密度函数公式，可得随机变量 $Z$ 的概率密度函数为：

$f_Z(z) = \int_{-\infty}^{\infty} 2ny^2 k_n(ny^2) \phi(zy) dy$

$= (2\pi)^{- \frac{1}{2}} \Gamma(\frac{n}{2})^{-1} 2^{-\frac{n}{2} + 1} n^{\frac{n}{2}} \int_0^{\infty} y^n e^{-\frac{(n + z^2) y^2}{2}} dy$

做变量替换 $\frac{(n + z^2) y^2}{2} = t$ ，则有：

$= \pi^{-\frac{1}{2}} \Gamma(\frac{n}{2})^{-1} n^{\frac{n}{2}} (n+z^2)^{-\frac{n+1}{2}} \int_0^{\infty} t^{\frac{n-1}{2}} e^{-t} dt$

$= (n\pi)^{- \frac{1}{2}} \Gamma (\frac{n}{2})^{-1} \Gamma (\frac{n+1}{2}) (1 + \frac{z^2}{n})^{-\frac{n+1}{2}}$

2. t 分布的数字特征

由于 t 分布的概率密度函数是关于原点对称的偶函数，那么它的期望为 0，但仅限于自由度大于1的情况。

设随机变量 $X ～ t_1$ ，那么下面的绝对值积分为：

$\int_{-\infty}^{\infty} |x| t_1(x) dx = \pi^{-1} \int_0^{\infty} \frac{2x}{1+x^2} dx = \infty$

由于此积分发散，所以当 $t$ 分布的自由度为 1 时期望不存在。

根据 t 分布的定义以及卡方分布的倒数的期望，可得 t 分布的方差就是它的二阶矩，有：

$Var(Z) = E(Z^2) = E(\frac{X^2}{Y/n})$

$= n * E(X^2) * E(\frac{1}{Y}) = \frac{n}{n-2}, n 2$

即自由度为 $n$ 的 t 分布的方差为 $\frac{n}{n-2}$ ，仅当 $n 2$ 时成立。

三、F 分布

1. F 分布的定义

设随机变量 $X ～ \chi_n^2, Y ～ \chi_m^2$ ， $X,Y$ 相互独立，则随机变量 $Z = \frac{Y/m}{X/n} ～ F_{m,n}$ ，且 $Z$ 的概率密度函数为：

$f_{m,n}(z) = m^{\frac{m}{2}} n^{\frac{n}{2}} \Gamma (\frac{n}{2})^{-1} \Gamma (\frac{m}{2})^{-1} \Gamma (\frac{m+n}{2}) z^{\frac{m}{2} - 1} (n+mz)^{-\frac{m+n}{2}}$ ，其中 $m,n$ 为 F 分布的自由度。

证明：

设 $k_n(x), k_m(x)$ 分别为自由度为 $n,m$ 的 $t$ 分布的概率密度函数，则随机变量 $X/n, Y/m$ 的概率密度函数分别为：

$f_{X/n}(x) = n k_n(nx)$

$f_{Y/m}(y) = m k_m(my)$

由随机变量商的概率密度函数公式，可得随机变量 $Z$ 的概率密度函数为：

$f_Z(z) = \int_{-\infty}^{\infty} |x| f_{X/n}(x) f_{Y/m}(zx) dx$

$= m^{\frac{m}{2}} n^{\frac{n}{2}} \Gamma(\frac{n}{2})^{-1} \Gamma(\frac{m}{2})^{-1} 2^{-\frac{m+n}{2}} z^{\frac{m}{2} - 1} \int_0^{\infty} x^{\frac{m+n}{2} - 1} e^{- \frac{(n + mz)x}{2}} dx$

做变量替换 $\frac{(n + mz)x}{2} = t$ ，则有：

$= m^{\frac{m}{2}} n^{\frac{n}{2}} \Gamma(\frac{n}{2})^{-1} \Gamma(\frac{m}{2})^{-1} z^{\frac{m}{2} - 1} (n+mz)^{-\frac{m+n}{2}} \int_0^{\infty} t^{\frac{m+n}{2}-1} e^{-t} dt$

$= m^{\frac{m}{2}} n^{\frac{n}{2}} \Gamma(\frac{n}{2})^{-1} \Gamma(\frac{m}{2})^{-1} \Gamma(\frac{m+n}{2}) z^{\frac{m}{2} - 1} (n+mz)^{-\frac{m+n}{2}}$