1. 估计量的衡量标准
对于参数估计问题,目前存在着很多估计算法。那么如何去衡量一个估计器(estimator, 也称估计量或估计算法)的性能,我们主要考量以下三个方面
无偏性(unbiased)。对于参数估计问题,设未知参数
θ
\theta
θ,估计器模型
θ
^
\hat{\theta}
θ^。则有
E
[
θ
^
]
=
θ
\mathbb{E}[\hat{\theta}]=\theta
E[θ^]=θ。对于估计对象为随机变量,则有
E
[
θ
^
]
=
E
[
θ
]
\mathbb{E}[\hat{\theta}]=\mathbb{E}[\theta]
E[θ^]=E[θ]。我们称满足这个条件的估计量为无偏估计量。有效性(availability)。有效性刻画估计量到真实值的偏离程度,
D
(
θ
^
)
=
E
[
(
θ
^
−
E
[
θ
^
]
)
2
]
D(\hat{\theta})=\mathbb{E}[(\hat{\theta}-\mathbb{E}[\hat{\theta}])^2]
D(θ^)=E[(θ^−E[θ^])2],即若存在多种无偏估计器,我们称估计量方差最小的估计器是有效的。一致性(consistency)。设
θ
^
\hat{\theta}
θ^为未知参数
θ
\theta
θ的估计量,若当样本数
N
→
∞
N\rightarrow \infty
N→∞时,对于任意
ϵ
>
0
\epsilon>0
ϵ>0,有
lim
N
→
∞
P
{
∣
θ
^
−
θ
∣
<
ϵ
}
=
1
\lim\limits_{N\rightarrow \infty} P\left\{{|\hat{\theta}-\theta|{|\hat{\theta}-\theta| |