数理统计学导论(第8版)第七章充分性(Chapter7 Sufficiency) 知识小结、期末复习笔记（待续

您所在的位置：网站首页 › 统计学导论b答案 › 数理统计学导论(第8版)第七章充分性(Chapter7 Sufficiency) 知识小结、期末复习笔记（待续

数理统计学导论(第8版)第七章充分性(Chapter7 Sufficiency) 知识小结、期末复习笔记（待续

2023-11-22 12:53| 来源: 网络整理| 查看: 265

* 期末结束啦、把这学期的笔记分享一下、待续

* 参照英文版第8版数理统计学导论(Introduction to Mathematical Statistics, Eighth Editon)，Hogg，第7章充分性；用了我自己的翻译

* 整个章节逻辑层次非常清晰, 定理概念之间层层递进、互相联系、补充，案例经典、方法明确且信息量大、仔细磨

7.1 估计量品质测量

① 极小方差无偏估计量(MVUE, Minimum Variance Unbiased Estimator)定义:

有 $iid.$ 的 $X_{i}$ , 若统计量 $Y=u\left ( X_{1},X_{2},...,X_{n} \right )$ 是无偏的，且 $Y$ 的方差 $\leq$ $\theta$ 的任何其他无偏估计量的方差，那么称 $Y$ 为 $\theta$ 的MVUE.

②决策函数(规则)：

若 $Y$ 为 $\theta$ 的点估计， $\delta (y)$ 为 $Y$ 观测值的函数，函数 $\delta$ 决定了 $\theta$ 的点估计之值，从而称 $\delta$ 为决策函数或决策规则(decision function/rule)，观测值 $\delta (y)$ 则为一个决策(decision).

③损失函数:

非负数函数 $\L [\theta , \delta (y)]$ 定义为损失函数(loss function)，用于衡量 $\theta$ 的真实值与其观测值 $\delta (y)$ 的差异程度. 损失函数的数学期望称为风险函数(risk function). 若 $f_{Y}(y;\theta)$ 是 Y 的pdf, $\theta \in \Omega$ , 那么风险函数 $R(\theta ,\delta )$ 由下式给出：

$R(\theta ,\delta )=E\left \{\L [\theta , \delta (y)] \right \}=\int_{\infty }^{-\infty }\L [\theta , \delta (y)]\cdot f_{Y}(y;\theta)dy$

应用：极小化极大值准则(minimax criterion) : 使风险函数R的极大值取到极小值的决策函数L为最佳决策函数. 见书中举例.

拓展：似然原理(likelihood principle)，见书中案例.

7.2 参数的充分统计量

④ 充分统计量(sufficient statistic)定义：

设 $X_{1},X_{2},...,X_{n}$ 是来自分布具有pdf或pmf为 $f(x;\theta )$ 的n个随机样本， $\theta \in \Omega$ ，设 $Y_{1}=u_{1}\left ( X_{1},X_{2},...,X_{n} \right )$ 是一个统计量，它的pdf或pmf是 $f_{Y_{1}}(y_{1};\theta)$ ，于是 $Y_{1}$ 是 $\theta$ 的充分统计量，当且仅当：

$\frac{f(x_{1};\theta )f(x_{2};\theta )\cdots f(x_{n};\theta )}{f_{Y_{1}}(u_{1}(x_{1},x_{2},...,x_{n});\theta)}=H(x_{1},x_{2},...,x_{n})$

其中， $H(x_{1},x_{2},...,x_{n})$ 不依赖于 $\theta \in \Omega$ .

⑤ 求充分统计量的简便方法：奈曼因子分解定理：

在④的条件下， $Y_{1}$ 是 $\theta$ 的充分统计量，当且仅当可以找出两个非负函数 $k_{1},k_{2}$ , 使得：

$f(x_{1};\theta )f(x_{2};\theta )\cdots f(x_{n};\theta )=k_{1}[u_{1}(x_{1},x_{2},...,x_{n});\theta)]\cdot k_{2}(x_{1},x_{2},...,x_{n})$

其中 $k_{2}$ 不依赖于 $\theta$ ； $u_{1}$ 为 $x_{i}$ 构成的函数； $k_{1}$ 由 $u_{1}$ 和 $\theta$ 构成. 见书本举例.

7.3 充分统计量的性质

⑥ 拉奥-布莱克韦尔(Rao-Blackwell)定理：

由充分统计量 $Y_{1}$ 得到 (无偏化校正) 并表示 [即 $E(Y_{2}|y_{1})=\varphi (y_{1})$ ] 的无偏估计量为 $\theta$ 的MVUE.

⑦ $\theta$ 的唯一的极大似然估计量 $\hat{\theta}$ 是充分统计量 $Y_{1}$ 的函数.

⑧ 补充： $\theta$ 的极大似然估计量是渐进无偏的.

求 $\theta$ 的极小方差无偏估计量(MVUE)的方法：求出 $\prod f(x_{i};\theta )$ , 得到一个充分估计量 $Y_{1}$ ；-----------------根据⑤因子分解定理求 $\theta$ 的极大似然估计量 $Y_{2}$ ，注意到它是充分估计量 $Y_{1}$ 的函数，且是无偏的；---根据⑦求2中极大似然估计量 $Y_{2}$ 的数学期望(为 $\theta$ 的函数)，依据数学期望将其校正为 $\theta$ 的无偏估计量 $\varphi (Y_{1})$ ，它就是 $\theta$ 的MVUE. ---------------根据⑥ 7.4 完备性与唯一性(Completeness and Uniqueness)

⑨ 完备族(complete family)的定义：

对于连续或离散的随机变量Z，它拥有的pdf或pmf是 $\left \{ h(z;\theta ):\theta \in \Omega \right \}$ 族的成员之一. 若要使条件 $E[u(Z)]=0$ 成立，需要 $u(z)$ 为0，除了在对每个 $h(z;\theta )$ 具有概率0的点集之外. 那么上述的族 $\left \{ h(z;\theta ):\theta \in \Omega \right \}$ 就称为概率密度函数或质量函数的完备族.