六大常用分布的矩估计和最大似然估计推导过程

2024-07-02 02:14| 来源: 网络整理| 查看: 265

矩估计和极大似然估计

矩估计基于辛钦大数定律：

当样本的容量足够大时，样本k阶距(A_k)收敛域总体k阶距(a_k)

样本的平均值去估计总体的均值(期望)

期望和均值

数学期望常称为“均值”，即“随机变量取值的平均值”之意，这个平均是以概率为权的平均，不是通常意义上的(总数)/(个数),数学期望由随机变量的分布完全决定。 X ˉ = 1 n ∑ i = 1 n x i \bar{X}=\frac{1}{n}\sum_{i=1}^nx_i Xˉ=n1i=1∑nxi (1)式，其实是平均值（期望是均值），对其求期望其实就是一个加权的过程，所以无论是哪种分布，都是E(x)=μ,而非X平均值=μ

方差：衡量一组数据离散程度的度量 S 2 = 1 n ∑ i = 1 n ( X − μ ) 2 S^2=\frac{1}{n}\sum_{i=1}^n(X-\mu)^2 S2=n1i=1∑n(X−μ)2 误差分析：

因为X取得是样本，所以X的取值存在误差因为我们事先是不知道是什么分布的，所以μ是不知道的，使用均值替代的话，也会出现误差

方差和修正方差的来源及其证明 S 2 = 1 n ∑ i = 1 n ( x i − X ˉ ) 2 S 2 = 1 n ∑ i = 1 n [ ( x i − μ ) − ( X ˉ − μ ) ] 2 S 2 = 1 n ∑ i = 1 n [ ( x i − μ ) 2 − 2 ( x i − μ ) ( X ˉ − μ ) + ( X ˉ − μ ) 2 ] S 2 = 1 n ∑ i = 1 n ( x i − μ ) 2 − 2 n ∑ i = 1 n ( x i − μ ) ( X ˉ − μ ) + ( X ˉ − μ ) 2 S 2 = 1 n ∑ i = 1 n ( x i − μ ) 2 − ( X ˉ − μ ) 2 E ( S 2 ) = E ( 1 n ∑ i = 1 n ( x i − μ ) 2 − ( X ˉ − μ ) 2 ) = σ 2 − E ( ( X ˉ − μ ) 2 ) E ( ( X ˉ − μ ) 2 ) = E ( X ˉ 2 − 2 μ X ˉ + μ 2 ) = E ( X ˉ 2 ) − E ( X ˉ ) 2 = D ( X ) = σ 2 n E ( S 2 ) = σ 2 − σ 2 n = n − 1 n σ 2 S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{X})^2\\ S^2=\frac{1}{n}\sum_{i=1}^n[(x_i-\mu)-(\bar{X}-\mu)]^2\\ S^2=\frac{1}{n}\sum_{i=1}^n[(x_i-\mu)^2-2(x_i-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2]\\ S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-\frac{2}{n}\sum_{i=1}^{n}(x_i-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2\\ S^2=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-(\bar{X}-\mu)^2\\ E(S^2)=E(\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-(\bar{X}-\mu)^2)=\sigma^2-E((\bar{X}-\mu)^2)\\ E((\bar{X}-\mu)^2)=E(\bar{X}^2-2\mu\bar{X}+\mu^2)=E(\bar{X}^2)-E(\bar{X})^2=D(X)=\frac{\sigma^2}{n}\\ E(S^2)=\sigma^2-\frac{\sigma^2}{n}=\frac{n-1}{n}\sigma^2\\ S2=n1i=1∑n(xi−Xˉ)2S2=n1i=1∑n[(xi−μ)−(Xˉ−μ)]2S2=n1i=1∑n[(xi−μ)2−2(xi−μ)(Xˉ−μ)+(Xˉ−μ)2]S2=n1i=1∑n(xi−μ)2−n2i=1∑n(xi−μ)(Xˉ−μ)+(Xˉ−μ)2S2=n1i=1∑n(xi−μ)2−(Xˉ−μ)2E(S2)=E(n1i=1∑n(xi−μ)2−(Xˉ−μ)2)=σ2−E((Xˉ−μ)2)E((Xˉ−μ)2)=E(Xˉ2−2μXˉ+μ2)=E(Xˉ2)−E(Xˉ)2=D(X)=nσ2E(S2)=σ2−nσ2=nn−1σ2 由上可知S^2和σ^2是有微小差距的，所以对此做修正，得到的方差就是修正方差 E ( n n − 1 S 2 ) = n n − 1 n − 1 n σ 2 = σ 2 n n − 1 S 2 = n n − 1 1 n ∑ i = 1 n ( x i − X ˉ ) 2 = 1 n − 1 ∑ i = 1 n ( x i − X ˉ ) 2 ( S ∗ ) 2 = 1 n − 1 ∑ i = 1 n ( x i − X ˉ ) 2 E(\frac{n}{n-1}S^2)=\frac{n}{n-1}\frac{n-1}{n}\sigma^2=\sigma^2\\ \frac{n}{n-1}S^2=\frac{n}{n-1}\frac{1}{n}\sum_{i=1}^n(x_i-\bar{X})^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{X})^2\\ (S^*)^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{X})^2 E(n−1nS2)=n−1nnn−1σ2=σ2n−1nS2=n−1nn1i=1∑n(xi−Xˉ)2=n−11i=1∑n(xi−Xˉ)2(S∗)2=n−11i=1∑n(xi−Xˉ)2 本质：使用样本原点距去估计总体原点距的一种方法(用样本量估计总体量)

估计均值 E ( X ˉ ) = E ( 1 n ∑ i = 1 n x i ) = 1 n ∑ i = 1 n E ( x i ) = 1 n n μ = μ E(\bar X)=E(\frac{1}{n}\sum_{i=1}^nx_i)=\frac{1}{n}\sum_{i=1}^nE(x_i)=\frac{1}{n}n\mu=\mu E(Xˉ)=E(n1i=1∑nxi)=n1i=1∑nE(xi)=n1nμ=μ

u ^ = X ˉ = 1 n ∑ i = 1 n x i \hat{u}=\bar{X}=\frac{1}{n}\sum_{i=1}^nx_i u^=Xˉ=n1i=1∑nxi

估计方差 σ 2 = a 2 − a 1 2 = 1 n ∑ i = 1 n x i 2 − X ˉ 2 = 1 n ∑ i = 1 n ( x i − X ˉ ) 2 = S 2 \sigma^2=a_2-a_1^2=\frac{1}{n}\sum_{i=1}^nx_i^2-\bar{X}^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{X})^2=S^2 σ2=a2−a12=n1i=1∑nxi2−Xˉ2=n1i=1∑n(xi−Xˉ)2=S2

σ ^ 2 = S 2 \hat{\sigma}^2=S^2 σ^2=S2

0-1分布:只有一个未知参数，所以也只能估P的值

X01P1-pp

p ( x = x i ) = ( 1 − p ) 1 − x i p x i p(x=x_i)=(1-p)^{1-x_i}p^{x_i} p(x=xi)=(1−p)1−xipxi

矩估计: E ( X ˉ ) = E ( 1 n ∑ i = 1 n x i ) = 1 n ∑ i = 1 n E ( x i ) = 1 n n p = p E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^nx_i)=\frac{1}{n}\sum_{i=1}^nE(x_i)=\frac{1}{n}np=p E(Xˉ)=E(n1i=1∑nxi)=n1i=1∑nE(xi)=n1np=p

p ^ = X ˉ = 1 n ∑ i = 1 n x i \hat{p}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i p^=Xˉ=n1i=1∑nxi

最大似然估计 L ( p ) = ( 1 − p ) ∑ x i = 1 n ( 1 − x i ) p ∑ x i = 1 n x i L(p)=(1-p)^{\sum_{x_i=1}^n(1-x_i)}p^{\sum_{x_i=1}^n{x_i}} L(p)=(1−p)∑xi=1n(1−xi)p∑xi=1nxi

l n L ( p ) = ∑ x i = 1 n ( 1 − x i ) l n ( 1 − p ) + ∑ x i = 1 n x i l n p lnL(p)=\sum_{x_i=1}^n(1-x_i)ln(1-p)+\sum_{x_i=1}^n{x_i}lnp lnL(p)=xi=1∑n(1−xi)ln(1−p)+xi=1∑nxilnp

令： ∂ l n L ( p ) ∂ p = − ∑ x i = 1 n ( 1 − x i ) 1 − p + ∑ x i = 1 n x i p = 0 令：\frac{\partial{lnL(p)}}{\partial{p}}=-\frac{\sum_{x_i=1}^n(1-x_i)}{1-p}+\frac{\sum_{x_i=1}^n{x_i}}{p}=0 令：∂p∂lnL(p)=−1−p∑xi=1n(1−xi)+p∑xi=1nxi=0

p ^ = X ˉ = 1 n ∑ i = 1 n x i \hat{p}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i p^=Xˉ=n1i=1∑nxi

注：估计的P，其实表示的就是在n次试验下，出现1的次数的概率

泊松分布 P ( x = x i ) = λ x i e − λ x i ! P(x=x_i)=\frac{\lambda^{x_i}e^{-\lambda}}{x_i!} P(x=xi)=xi!λxie−λ 矩估计 E ( X ˉ ) = E ( 1 n ∑ i = 1 n x i ) = 1 n ∑ i = 1 n E ( x i ) = 1 n n λ = λ E(\bar{X})=E(\frac{1}{n}\sum_{i=1}^{n}x_i)=\frac{1}{n}\sum_{i=1}^{n}E(x_i)=\frac{1}{n}n\lambda=\lambda E(Xˉ)=E(n1i=1∑nxi)=n1i=1∑nE(xi)=n1nλ=λ

λ ^ = X ˉ = 1 n ∑ i = 1 n x i \hat{\lambda}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i λ^=Xˉ=n1i=1∑nxi

注：E(x_i)=入的证明过程，其中使用到了泰勒公式进行变换 E ( X ) = ∑ i = 1 ∞ x i P ( x = x i ) = ∑ i = 1 ∞ x i λ x i e − λ x i ! = λ e − λ ∑ i = 1 ∞ λ x i − 1 ( x i − 1 ) ! = λ e − λ e λ = λ E(X)=\sum_{i=1}^\infty x_iP(x=x_i)=\sum_{i=1}^\infty x_i\frac{\lambda^{x_i}e^{-\lambda}}{x_i!}=\lambda e^{-\lambda}\sum_{i=1}^\infty \frac{\lambda ^{x_i-1}}{(x_i-1)!}=\lambda e^{-\lambda}e^{\lambda}=\lambda E(X)=i=1∑∞xiP(x=xi)=i=1∑∞xixi!λxie−λ=λe−λi=1∑∞(xi−1)!λxi−1=λe−λeλ=λ 最大似然估计 L ( λ ) = λ ∑ i = 1 n x i e − n λ ∏ i = 1 n x i ! L(\lambda)=\frac{\lambda^{\sum_{i=1}^{n}x_i}e^{-n\lambda}}{\prod_{i=1}^{n}x_i!} L(λ)=∏i=1nxi!λ∑i=1nxie−nλ

l n L ( λ ) = ∑ i = 1 n x i l n ( λ ) − n λ − l n ( ∏ i = 1 n x i ! ) lnL(\lambda)=\sum_{i=1}^{n}x_iln(\lambda)-n\lambda-ln(\prod_{i=1}^nx_i!) lnL(λ)=i=1∑nxiln(λ)−nλ−ln(i=1∏nxi!)

令： ∂ l n L ( λ ) ∂ λ = ∑ i = 1 n x i λ − n = 0 令： \frac{\partial{lnL(\lambda)}}{\partial\lambda}=\frac{\sum_{i=1}^{n}x_i}{\lambda}-n=0 令：∂λ∂lnL(λ)=λ∑i=1nxi−n=0

可得 : λ ^ = X ˉ = 1 n ∑ i = 1 n x i 可得:\hat{\lambda}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}x_i 可得:λ^=Xˉ=n1i=1∑nxi

均匀分布 f ( x ) = { 1 b − a a < x < b 0 其他 f(x)=\begin{cases}\frac{1}{b-a}\quad ab^=Xˉ+3 Sa^=Xˉ−3 S 最大似然估计

常规的，列最大似然函数，然后求导令为零是求不出估计值。

指数分布

特点：无记忆性，可以用于描述机器寿命。 f ( x ) = { 0 其他 λ e − λ x x > 0 f(x)=\begin{cases}^{\lambda e^{-\lambda x}\quad x>0}_{0\quad\quad 其他}\end{cases} f(x)={0其他λe−λxx>0 矩估计： E ( X ) = ∫ 0 + ∞ λ x e − λ x d x = 1 λ = X ˉ λ ^ = 1 X ˉ E(X)=\int_0^{+\infty}\lambda xe^{-\lambda x}dx=\frac{1}{\lambda}=\bar{X}\\ \hat{\lambda}=\frac{1}{\bar{X}} E(X)=∫0+∞λxe−λxdx=λ1=Xˉλ^=Xˉ1 极大似然估计 L ( λ ) = λ n e − λ ∑ i = 1 n x i l n L ( λ ) = n l n λ − λ ∑ i = 1 n x i 令： ∂ ( l n L ( λ ) ) ∂ λ = n λ − ∑ i = 1 n x i = 0 λ ^ = n ∑ i = 1 n 1 x i = 1 X ˉ L(\lambda)=\lambda^ne^{-\lambda \sum_{i=1}^nx_i}\\ lnL(\lambda)=nln\lambda-\lambda\sum_{i=1}^nx_i\\ 令：\frac{\partial({lnL(\lambda)})}{\partial\lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n}x_i=0\\ \hat{\lambda}=n\sum_{i=1}^n\frac{1}{x_i}=\frac{1}{\bar{X}} L(λ)=λne−λ∑i=1nxilnL(λ)=nlnλ−λi=1∑nxi令：∂λ∂(lnL(λ))=λn−i=1∑nxi=0λ^=ni=1∑nxi1=Xˉ1

正态分布 f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=2π σ1e−2σ2(x−μ)2 X~N(μ,σ^2)： { σ ^ = S μ ^ = X ˉ \begin{cases}^{\hat{\mu}=\bar{X}}_{\hat{\sigma}=S}\end{cases} {σ^=Sμ^=Xˉ

写笔记难免有错误，烦请指正！如有疑问可加QQ:1372931501

【本文地址】

公司简介

联系我们