定义在统计结构分布族\(\mathscr{P}=\{P_{\theta},\theta\in\Theta\}\)上的一个实值泛函\(g(P)\)称为参数，而统计结构\((\mathscr{X},\mathscr{B},\mathscr{P})\)上的用来估计\(g(P)\)的实值统计量称为\(g(P)\)的点估计量，简称估计。为简单起见，常用\(\theta\)表示参数，以\(\hat{\theta}=\hat{\theta}(X)\)表示其点估计。

一般来说，任何定义在\(\Theta\)上的实值函数都可以称为参数，例如均值、方差等特征数。

为了排除样本随机性的影响，最常用的评价估计的标准是均方误差： \[ \text{MSE}=E(\hat{\theta}(X)-\theta)^2 \] 自然我们希望MSE越小越好，但是使得均方误差一致达到最小的最优估计是不存在的（可以用反证法证明，假设存在，那么对于任意的\(\theta_0\in \Theta\)应取\(\hat{\theta}(X)=\theta_0\)。但是由于\(\theta_0\)具有任意性，因此无法找到这样的最优估计）。因此通常先对估计提出一些合理要求，然后在满足合理要求的范围内选取好的估计。

由于 \[ \begin{aligned} \text{MSE}=&E(\hat{\theta}(X)-\theta)^2 \\ =&E(\hat{\theta}(X)^2-2\hat{\theta}(X)\theta+\theta^2) \\ =&E(\hat{\theta}(X)^2)-2E(\hat{\theta}(X))E(\theta)+E(\theta^2) \\ =&E(\hat{\theta}(X)^2)-E(\hat{\theta}(X))^2+E(\hat{\theta}(X))^2-2E(\hat{\theta}(X))\theta+\theta^2\\ =&\text{Var}(\hat{\theta}(X))+(E(\hat{\theta}(X))-\theta)^2 \end{aligned} \] 也就是说MSE可以分解为\(\hat{\theta}(X)\)的偏差和方差之和。如果偏差\(E(\hat{\theta}(X))-\theta\)等于0，就是所谓的无偏估计。

无偏估计的正式定义如下：

设\((\mathscr{X},\mathscr{B},\mathscr{P}=\{P_{\theta},\theta\in\Theta\})\)为可控参数统计结构，\(g(\theta)\)是未知数，\(X=(X_1,\dots,X_n)\)为来自该统计结构的一个样本，如果用\(\hat{g}(X)\)估计\(g(\theta)\)，且\(E_{\theta}(\hat{g}(X))=g(\theta)\)，则称\(\hat{g}(X)\)为\(g(\theta)\)的无偏估计。

无偏估计体现了一种频率思想，只有在大量重复使用时，无偏性才有意义。例如某一工厂每天对其生产的样品进行抽检，如果假定其生产过程相对稳定，则估计的无偏性要求便是合理的。

例：设\(X_1,\dots,X_n\)是来自于\(N(\mu,\sigma^2)\)的一个样本，\(\mu\)和\(\sigma\)都是未知参数。其常用的估计分别是样本均值\(\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i\)和样本方差\(s^2_n=\frac{1}{n}\sum_{i=1}^n (X_i-\bar{X})^2\)。由于\(E(\bar{X})=\mu\)，而\(ns^2_n/\sigma\sim\chi_{n-1}^2\)，\(E(s_n^2)=\frac{n-1}{n}\sigma^2\)，因此\(\bar{X}\)为\(\mu\)的无偏估计，而\(s_2^n\)不是\(\sigma^2\)的无偏估计。但是如果将\(s_n^2\)修正为\(s^2=\frac{n}{n-1}s_n^2\)，则可以得到\(\sigma^2\)的无偏估计。

当样本容量较大时，\(s_n^2\)和\(s^2\)将会很接近，此时称\(s_n^2\)为\(\sigma^2\)的渐进无偏估计。

设\(\hat{g}_n=\hat{g}_n(X_1,\dots,X_n)\)是\(g(\theta)\)的估计量，如果 \[ \lim_{n\rightarrow \infty}E_\theta(\hat{g}_n)=g(\theta),~~\forall\theta\in\Theta \] 则称\(\hat{g}_n\)为\(g(\theta)\)的渐进无偏估计。

估计量是与样本容量有关的，假设用\(\hat{\theta}_n=\hat{\theta}_n(X_1,\dots,X_n)\)估计\(\theta\)，不可能做到对某一个\(n\)，\(\text{MSE}(\hat{\theta_n})\)对所有的\(\theta\in \Theta\)任意小，但是当\(n\rightarrow \infty\)时往往可以做到这一点，这对应于相合性的概念。需要注意的是，相合性只是指出了当\(n\rightarrow\infty\)时估计量的性质，但是对于任意有限的\(n\)，相合性是没有意义的。而且相合估计可以不止一个。

设\(\hat{\theta}_n=\hat{\theta}_n(X_1,\dots,X_n)\)是\(\theta\)的估计量，如果当\(n\rightarrow\infty\)时有\(\hat{\theta}_n\stackrel{P}\longrightarrow \theta\)，则称\(\hat{\theta}_n\)是\(\theta\)的弱相合估计。进一步，如果\(\hat{\theta}_n\longrightarrow \theta,a.s.\)，则称\(\hat{\theta}_n\)是\(\theta\)的强相合估计。在统计研究中，一般弱相合性就已经足够。

相合性被认为是对估计的一个最基本要求，如果无论有多少观测值都无法把要估计的参数估计到任意指定的精度，那么这个估计是很值得怀疑的。

要证明相合性，需要使用描述极限的\(\epsilon\)语言，通常使用大数定律或者是依概率分布的定义来构造。

例：设\(X_1,\dots,X_n\)是来自于\(U(0,\theta)\)的一个样本，最大次序统计量\(X_{(n)}\)是\(\theta\)的常用估计。由于\(X_{(n)}\)的密度函数为\(p(t,\theta)=nt^{n-1}\theta^{-n},00\text{(Fisher信息量)}\)。记\(\hat{\theta}_n\)为\(n\rightarrow \infty\)时似然方程的相合解，则有： \[ \sqrt{n}(\hat{\theta}_n-\theta_0)\stackrel{L}\longrightarrow N(0,I^{-1}(\theta_0)) \] 在C-R正则族场合，定理条件一般是满足的，因此MLE是渐近正态的。

渐近有效性：在一定的正则条件下，MLE的渐近方差为\([nI(\theta)]^{-1}\)，它正是由容量为\(n\)的样本得到的\(\theta\)的无偏估计的方差下界。因此它具有渐近有效性。

最小二乘法是一种常用的估计方法，最常见于线性模型。考虑Gauss-Markov模型：\(E\boldsymbol{Y}=\boldsymbol{X\beta}\)，\(\text{Var}(\boldsymbol{Y})=\sigma^2 \boldsymbol{I}_n\)，其中\(\boldsymbol{Y}\)是\(n\times 1\)维观测向量，\(\boldsymbol{X}\)为已知的\(n\times p\)维矩阵，\(\boldsymbol{\beta}\)为\(p\times 1\)维未知参数，\(\sigma^2\)未知。这一模型也被称为独立线性观测模型，通常记为\((\boldsymbol{Y},\boldsymbol{X\beta},\sigma^2\boldsymbol{I}_n)\)。如果 \[ (\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\hat{\beta}})'(\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\hat{\beta}})=\min_{\boldsymbol{\beta}} (\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta})'(\boldsymbol{Y}-\boldsymbol{X}\boldsymbol{\beta}) \] 则称\(\boldsymbol{\hat{\beta}}\)为\(\boldsymbol{\beta}\)的最小二乘估计（Least Squares Estimate，LSE）。其中， \[ \boldsymbol{\hat{\beta}}=(\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}'\boldsymbol{Y} \]