以高斯分布引出问题，高斯分布的重要性体现于：

假设有一组观测到的样本数据 X = ( x 1 , x 2 , . . . , x N ) X=(x_{1},x_{2},...,x_{N}) X=(x1​,x2​,...,xN​)，他们服从参数 θ = ( μ , σ 2 ) \theta=(\mu,\sigma^{2}) θ=(μ,σ2)的一元高斯分布，可以使用极大似然估计得到高斯分布的参数，首先回顾一元高斯分布概率密度函数的表达： p ( x ) = 1 2 π σ 2 e x p ( − ( x − μ ) 2 2 σ 2 ) p(x)=\frac{1}{\sqrt{2\pi\sigma^{2}}}exp(-\frac{(x-\mu)^{2}}{2\sigma^{2}}) p(x)=2πσ2 ​1​exp(−2σ2(x−μ)2​) 极大似然估计（Maximum Likelihood Estimation，简称mle）的本质是估计参数 θ \theta θ，使得所观测样本 X X X出现的概率最大；此处需要熟悉一种数学格式 p ( x ∣ θ ) p(x|\theta) p(x∣θ)，指的是明确了参数 θ \theta θ情况下，服从高斯分布的样本 x x x出现的概率，事实上，这个格式的写法和概率密度一致： p ( x ∣ θ ) = 1 2 π σ 2 e x p ( − ( x − μ ) 2 2 σ 2 ) p(x|\theta)=\frac{1}{\sqrt{2\pi\sigma^{2}}}exp(-\frac{(x-\mu)^{2}}{2\sigma^{2}}) p(x∣θ)=2πσ2 ​1​exp(−2σ2(x−μ)2​)

假设样本 X = ( x 1 , x 2 , . . . , x N ) X=(x_{1},x_{2},...,x_{N}) X=(x1​,x2​,...,xN​)中每个样本 x i x_{i} xi​都是独立同分布的，即满足同一个高斯分布，且彼此间相互独立，则极大似然的优化目标可以写为： m a x θ p ( X ∣ θ ) = m a x θ ∏ i = 1 N p ( x i ∣ θ ) max_{\theta}p(X|\theta)=max_{\theta}\prod_{i=1}^{N}p(x_{i}|\theta) maxθ​p(X∣θ)=maxθ​i=1∏N​p(xi​∣θ) 取对数可以将乘积转为求和： l o g ( p ( X ∣ θ ) ) = ∑ i = 1 N l o g ( p ( x i ∣ θ ) ) = ∑ i = 1 N l o g ( 1 2 π σ 2 e x p ( − ( x i − μ ) 2 2 σ 2 ) ) = ∑ i = 1 N [ l o g 1 2 π + l o g 1 σ − ( x i − μ ) 2 2 σ 2 ] log(p(X|\theta))=\sum_{i=1}^{N}log(p(x_{i}|\theta))=\sum_{i=1}^{N}log(\frac{1}{\sqrt{2\pi\sigma^{2}}}exp(-\frac{(x_{i}-\mu)^{2}}{2\sigma^{2}}))=\sum_{i=1}^{N}[log\frac{1}{\sqrt{2\pi}}+log\frac{1}{\sigma}-\frac{(x_{i}-\mu)^{2}}{2\sigma^{2}}] log(p(X∣θ))=i=1∑N​log(p(xi​∣θ))=i=1∑N​log(2πσ2 ​1​exp(−2σ2(xi​−μ)2​))=i=1∑N​[log2π ​1​+logσ1​−2σ2(xi​−μ)2​] 对上式求偏导，解出偏导为0的根即得到参数的取值： μ m l e = 1 N ∑ i = 1 N x i \mu_{mle}=\frac{1}{N}\sum_{i=1}^{N}x_{i} μmle​=N1​i=1∑N​xi​ 可以看出，样本的均值就是高斯分布参数 μ \mu μ的极大似然估计值；

同样的方式得到： σ m l e 2 = 1 N ∑ i = 1 N ( x i − μ m l e ) 2 \sigma^{2}_{mle}=\frac{1}{N}\sum_{i=1}^{N}(x_{i}-\mu_{mle})^{2} σmle2​=N1​i=1∑N​(xi​−μmle​)2

通过极大似然估计的参数是否与模型参数真实值存在差距，如何衡量它们是一个问题，所以引入无偏估计的概念：如果估计量的期望等于被估计量的真实值，则称估计值满足无偏性；

对于上面的高斯分布参数估计，进行无偏性的检验，先从均值的估计值考虑，计算 μ m l e \mu_{mle} μmle​的期望： E [ μ m l e ] = E [ 1 N ∑ i = 1 N x i ] = 1 N ∑ i = 1 N E [ x i ] = 1 N ∑ i = 1 N μ = μ E[\mu_{mle}]=E[\frac{1}{N}\sum_{i=1}^{N}x_{i}]=\frac{1}{N}\sum_{i=1}^{N}E[x_{i}]=\frac{1}{N}\sum_{i=1}^{N}\mu=\mu E[μmle​]=E[N1​i=1∑N​xi​]=N1​i=1∑N​E[xi​]=N1​i=1∑N​μ=μ 可以得到， E [ μ m l e ] = μ E[\mu_{mle}]=\mu E[μmle​]=μ，即估计值的期望等于模型参数的真实值，因此，均值的极大似然估计 μ m l e \mu_{mle} μmle​是无偏估计；

然后，检验方差估计的无偏性，首先对表达式变形： σ m l e 2 = 1 N ∑ i = 1 N ( x i − μ m l e ) 2 = 1 N ∑ i = 1 N ( x i 2 − 2 x i μ m l e + μ m l e 2 ) = 1 N ∑ i = 1 N x i 2 + 1 N ∑ i = 1 N μ m l e 2 − 2 μ m l e 1 N ∑ i = 1 N x i \sigma^{2}_{mle}=\frac{1}{N}\sum_{i=1}^{N}(x_{i}-\mu_{mle})^{2}=\frac{1}{N}\sum_{i=1}^{N}(x_{i}^{2}-2x_{i}\mu_{mle}+\mu_{mle}^{2})=\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}+\frac{1}{N}\sum_{i=1}^{N}\mu_{mle}^{2}-2\mu_{mle}\frac{1}{N}\sum_{i=1}^{N}x_{i} σmle2​=N1​i=1∑N​(xi​−μmle​)2=N1​i=1∑N​(xi2​−2xi​μmle​+μmle2​)=N1​i=1∑N​xi2​+N1​i=1∑N​μmle2​−2μmle​N1​i=1∑N​xi​ 发现 1 N ∑ i = 1 N x i \frac{1}{N}\sum_{i=1}^{N}x_{i} N1​∑i=1N​xi​就是 μ m l e \mu_{mle} μmle​，所以进行替换： σ m l e 2 = 1 N ∑ i = 1 N x i 2 + 1 N ∑ i = 1 N μ m l e 2 − 2 μ m l e 1 N ∑ i = 1 N x i = 1 N ∑ i = 1 N x i 2 + μ m l e 2 − 2 μ m l e 2 = 1 N ∑ i = 1 N x i 2 − μ m l e 2 \sigma_{mle}^{2}=\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}+\frac{1}{N}\sum_{i=1}^{N}\mu_{mle}^{2}-2\mu_{mle}\frac{1}{N}\sum_{i=1}^{N}x_{i}=\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}+\mu_{mle}^{2}-2\mu_{mle}^{2}=\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}-\mu_{mle}^{2} σmle2​=N1​i=1∑N​xi2​+N1​i=1∑N​μmle2​−2μmle​N1​i=1∑N​xi​=N1​i=1∑N​xi2​+μmle2​−2μmle2​=N1​i=1∑N​xi2​−μmle2​ 因此，得到： E [ σ m l e 2 ] = E [ 1 N ∑ i = 1 N x i 2 − μ m l e 2 ] = E [ 1 N ∑ i = 1 N x i 2 − μ 2 − ( μ m l e 2 − μ 2 ) ] = E [ 1 N ∑ i = 1 N x i 2 − μ 2 ] − E [ μ m l e 2 − μ 2 ] E[\sigma_{mle}^{2}]=E[\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}-\mu_{mle}^{2}]=E[\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}-\mu^{2}-(\mu_{mle}^{2}-\mu^{2})]=E[\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}-\mu^{2}]-E[\mu_{mle}^{2}-\mu^{2}] E[σmle2​]=E[N1​i=1∑N​xi2​−μmle2​]=E[N1​i=1∑N​xi2​−μ2−(μmle2​−μ2)]=E[N1​i=1∑N​xi2​−μ2]−E[μmle2​−μ2] 对于第一项 E [ 1 N ∑ i = 1 N x i 2 − μ 2 ] E[\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}-\mu^{2}] E[N1​∑i=1N​xi2​−μ2]： E [ 1 N ∑ i = 1 N x i 2 − μ 2 ] = E [ 1 N ∑ i = 1 N x i 2 − 1 N ∑ i = 1 N μ 2 ] = 1 N E [ ∑ i = 1 N ( x i 2 − μ 2 ) ] = 1 N ∑ i = 1 N E [ ( x i 2 − μ 2 ) ] E[\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}-\mu^{2}]=E[\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}-\frac{1}{N}\sum_{i=1}^{N}\mu^{2}]=\frac{1}{N}E[\sum_{i=1}^{N}(x_{i}^{2}-\mu^{2})]=\frac{1}{N}\sum_{i=1}^{N}E[(x_{i}^{2}-\mu^{2})] E[N1​i=1∑N​xi2​−μ2]=E[N1​i=1∑N​xi2​−N1​i=1∑N​μ2]=N1​E[i=1∑N​(xi2​−μ2)]=N1​i=1∑N​E[(xi2​−μ2)] 注意到： E [ ( x i 2 − μ 2 ) ] = E [ x i 2 ] − μ 2 = E [ x i 2 ] − E [ x i ] 2 = v a r ( x i ) = σ 2 E[(x_{i}^{2}-\mu^{2})]=E[x_{i}^{2}]-\mu^{2}=E[x_{i}^{2}]-E[x_{i}]^{2}=var(x_{i})=\sigma^{2} E[(xi2​−μ2)]=E[xi2​]−μ2=E[xi2​]−E[xi​]2=var(xi​)=σ2 所以： E [ 1 N ∑ i = 1 N x i 2 − μ 2 ] = 1 N ∑ i = 1 N E [ ( x i 2 − μ 2 ) ] = σ 2 E[\frac{1}{N}\sum_{i=1}^{N}x_{i}^{2}-\mu^{2}]=\frac{1}{N}\sum_{i=1}^{N}E[(x_{i}^{2}-\mu^{2})]=\sigma^{2} E[N1​i=1∑N​xi2​−μ2]=N1​i=1∑N​E[(xi2​−μ2)]=σ2 处理第二项 E [ μ m l e 2 − μ 2 ] E[\mu_{mle}^{2}-\mu^{2}] E[μmle2​−μ2]： E [ μ m l e 2 − μ 2 ] = E [ μ m l e 2 ] − E [ μ 2 ] = E [ μ m l e 2 ] − μ 2 E[\mu_{mle}^{2}-\mu^{2}]=E[\mu_{mle}^{2}]-E[\mu^{2}]=E[\mu_{mle}^{2}]-\mu^{2} E[μmle2​−μ2]=E[μmle2​]−E[μ2]=E[μmle2​]−μ2 之前已经证明，均值的极大似然估计是无偏的，因此 μ = E [ μ m l e ] \mu=E[\mu_{mle}] μ=E[μmle​]，因此可以替换得到： E [ μ m l e 2 ] − μ 2 = E [ μ m l e 2 ] − E [ μ m l e ] 2 = v a r ( μ m l e ) = v a r ( 1 N ∑ i = 1 N x i ) = 1 N σ 2 E[\mu_{mle}^{2}]-\mu^{2}=E[\mu_{mle}^{2}]-E[\mu_{mle}]^{2}=var(\mu_{mle})=var(\frac{1}{N}\sum_{i=1}^{N}x_{i})=\frac{1}{N}\sigma^{2} E[μmle2​]−μ2=E[μmle2​]−E[μmle​]2=var(μmle​)=var(N1​i=1∑N​xi​)=N1​σ2 合并结果： E [ σ m l e 2 ] = σ 2 − 1 N σ 2 = N − 1 N σ 2 E[\sigma_{mle}^{2}]=\sigma^{2}-\frac{1}{N}\sigma^{2}=\frac{N-1}{N}\sigma^{2} E[σmle2​]=σ2−N1​σ2=NN−1​σ2 方差的极大似然估计值的期望不等于真实值，所以是有偏的，为了变成无偏，需要进行修正： σ ^ 2 = N N − 1 σ m l e 2 = 1 N − 1 ∑ i = 1 N ( x i − μ m l e ) 2 \widehat{\sigma}^{2}=\frac{N}{N-1}\sigma_{mle}^{2}=\frac{1}{N-1}\sum_{i=1}^{N}(x_{i}-\mu_{mle})^{2} σ 2=N−1N​σmle2​=N−11​i=1∑N​(xi​−μmle​)2