贝叶斯（一）先验分布与后验分布

设事件A的概率为 θ \theta θ，即 π ( A ) = θ \pi(A)=\theta π(A)=θ，为了估计 θ \theta θ而做n次独立观察，其中A事件出现的次数为X，则有X服从二项分布 b ( n , θ ) b(n,\theta) b(n,θ)，即 P ( X = x ∣ θ ) = C n x θ x ( 1 − θ ) n − x , x = 0 , 1 , . . , n P(X=x|\theta)=C_n^x\theta^x(1-\theta)^{n-x},x=0,1,..,n P(X=x∣θ)=Cnx​θx(1−θ)n−x,x=0,1,..,n，求后验分布。

设 θ \theta θ的先验分布是一个均匀分布

​ π ( θ ) = { 1 , 0 < θ < 1 0 , o t h e r \pi(\theta)=\begin{cases}1,0 x 1 , . . . , x n x_1,...,x_n x1​,...,xn​}

其似然函数为

p ( X ∣ θ ) = ( − 1 2 π σ ) n e x p { − 1 2 σ 2 ∑ i = 1 n ( x i − θ ) 2 } p(X|\theta)=(-\frac1{\sqrt{2\pi}\sigma})^nexp\{-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\theta)^2\} p(X∣θ)=(−2π ​σ1​)nexp{−2σ21​∑i=1n​(xi​−θ)2}

确定先验分布，这里是取正态分布 N ( μ , γ 2 ) N(\mu,\gamma^2) N(μ,γ2)作为 θ \theta θ的先验分布，即：

π ( θ ) = ( − 1 2 π γ ) e x p { − 1 2 γ 2 ( θ − μ ) 2 } \pi(\theta)=(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac1{2\gamma^2}(\theta-\mu)^2\} π(θ)=(−2π ​γ1​)exp{−2γ21​(θ−μ)2}

求出其联合密度函数

h ( X , θ ) = p ( X ∣ θ ) π ( θ ) = p ( X ∣ θ ) = ( − 1 2 π σ ) n e x p { − 1 2 σ 2 ∑ i = 1 n ( x i − θ ) 2 } ( − 1 2 π γ ) e x p { − 1 2 γ 2 ( θ − μ ) 2 } = ( − 1 2 π σ ) n ( − 1 2 π γ ) e x p { − 1 2 σ 2 ∑ i = 1 n ( x i − θ ) 2 − 1 2 γ 2 ( θ − μ ) 2 } h(X,\theta)=p(X|\theta)\pi(\theta)\\=p(X|\theta)=(-\frac1{\sqrt{2\pi}\sigma})^nexp\{-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\theta)^2\}(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac1{2\gamma^2}(\theta-\mu)^2\}\\=(-\frac1{\sqrt{2\pi}\sigma})^{n}(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\theta)^2-\frac1{2\gamma^2}(\theta-\mu)^2\} h(X,θ)=p(X∣θ)π(θ)=p(X∣θ)=(−2π ​σ1​)nexp{−2σ21​∑i=1n​(xi​−θ)2}(−2π ​γ1​)exp{−2γ21​(θ−μ)2}=(−2π ​σ1​)n(−2π ​γ1​)exp{−2σ21​∑i=1n​(xi​−θ)2−2γ21​(θ−μ)2}

将其中展开

− 1 2 σ 2 ∑ i = 1 n ( x i − θ ) 2 − 1 2 γ 2 ( θ − μ ) 2 = − 1 2 σ 2 ( ∑ i = 1 n ( x i 2 − 2 θ x i + θ 2 ) ) − 1 2 μ 2 ( θ 2 − 2 θ μ + μ 2 ) -\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\theta)^2-\frac1{2\gamma^2}(\theta-\mu)^2\\=-\frac1{2\sigma^2}(\sum_{i=1}^n(x_i^2-2\theta x_i+\theta^2))-\frac1{2\mu^2}(\theta^2-2\theta\mu+\mu^2) −2σ21​∑i=1n​(xi​−θ)2−2γ21​(θ−μ)2=−2σ21​(∑i=1n​(xi2​−2θxi​+θ2))−2μ21​(θ2−2θμ+μ2)

因为 ∑ i = 1 n x i = n ∗ x ‾ \sum_{i=1}^nx_i=n*\overline{x} ∑i=1n​xi​=n∗x，其中 x ‾ \overline{x} x是样本均值 ∑ i = 1 n x i n \sum_{i=1}^n\frac{x_i}n ∑i=1n​nxi​​

= − 1 2 [ ∑ i = 1 n x i 2 − 2 θ n x ‾ + n θ 2 σ 2 + θ 2 − 2 θ μ + μ 2 μ 2 ] =-\frac12[\frac{\sum_{i=1}^nx_i^2-2\theta n\overline{x}+n\theta^2}{\sigma^2}+\frac{\theta^2-2\theta\mu+\mu^2}{\mu^2}] =−21​[σ2∑i=1n​xi2​−2θnx+nθ2​+μ2θ2−2θμ+μ2​]

故有联合密度函数

h ( X , θ ) = ( − 1 2 π σ ) n ( − 1 2 π γ ) e x p { − 1 2 [ ∑ i = 1 n x i 2 − 2 θ n x ‾ + n θ 2 σ 2 + θ 2 − 2 θ μ + μ 2 μ 2 ] } h(X,\theta)=(-\frac1{\sqrt{2\pi}\sigma})^{n}(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac12[\frac{\sum_{i=1}^nx_i^2-2\theta n\overline{x}+n\theta^2}{\sigma^2}+\frac{\theta^2-2\theta\mu+\mu^2}{\mu^2}]\} h(X,θ)=(−2π ​σ1​)n(−2π ​γ1​)exp{−21​[σ2∑i=1n​xi2​−2θnx+nθ2​+μ2θ2−2θμ+μ2​]}

根据联合密度函数，可以有x的边缘分布函数

m ( x ) = ∫ − ∞ ∞ h ( X , θ ) d θ = ∫ − ∞ ∞ ( − 1 2 π σ ) n ( − 1 2 π γ ) e x p { − 1 2 [ ∑ i = 1 n x i 2 − 2 θ n x ‾ + n θ 2 σ 2 + θ 2 − 2 θ μ + μ 2 μ 2 ] } d θ m(x)=\int_{-\infty}^{\infty}h(X,\theta)d\theta\\=\int_{-\infty}^{\infty}(-\frac1{\sqrt{2\pi}\sigma})^{n}(-\frac1{\sqrt{2\pi}\gamma})exp\{-\frac12[\frac{\sum_{i=1}^nx_i^2-2\theta n\overline{x}+n\theta^2}{\sigma^2}+\frac{\theta^2-2\theta\mu+\mu^2}{\mu^2}]\}d\theta m(x)=∫−∞∞​h(X,θ)dθ=∫−∞∞​(−2π ​σ1​)n(−2π ​γ1​)exp{−21​[σ2∑i=1n​xi2​−2θnx+nθ2​+μ2θ2−2θμ+μ2​]}dθ

令 k 1 = ( 2 π ) n + 1 2 γ − 1 σ − n , σ 0 2 = σ 2 n 样 本 方 差 , A = 1 σ 0 2 + 1 γ 2 , B = x ‾ σ 0 2 + μ γ 2 , C = 1 σ 2 ∑ i = 1 n x i 2 + μ 2 γ 2 , k 2 = k 1 e x p { − 1 2 ( C − B 2 A ) } ) k_1=(2\pi)^{\frac{n+1}2}\gamma^{-1}\sigma^{-n},\sigma_0^2=\frac{\sigma^2}{n}样本方差,A=\frac1{\sigma_0^2}+\frac1{\gamma^2},B=\frac{\overline{x}}{\sigma_0^2}+\frac{\mu}{\gamma^2},\\C=\frac1{\sigma^2}\sum_{i=1}^nx_i^2+\frac{\mu^2}{\gamma^2},k_2=k_1exp\{-\frac12(C-\frac{B^2}A)\}) k1​=(2π)2n+1​γ−1σ−n,σ02​=nσ2​样本方差,A=σ02​1​+γ21​,B=σ02​x​+γ2μ​,C=σ21​∑i=1n​xi2​+γ2μ2​,k2​=k1​exp{−21​(C−AB2​)})

可有

h ( X , θ ) = k 2 e x p { − ( θ − B / A ) 2 2 / A } m ( x ) = k 2 ( 2 π A ) 1 2 h(X,\theta)=k_2exp\{-\frac{(\theta-B/A)^2}{2/A}\}\\m(x)=k_2(\frac{2\pi}{A})^{\frac12} h(X,θ)=k2​exp{−2/A(θ−B/A)2​}m(x)=k2​(A2π​)21​

可以得到 θ \theta θ的后验分布

π ( θ ∣ X ) = ( A 2 π ) 1 2 e x p { θ − B / A ) 2 2 / A } \pi(\theta|X)=(\frac A{2\pi})^{\frac12}exp\{\frac{\theta-B/A)^2}{2/A}\} π(θ∣X)=(2πA​)21​exp{2/Aθ−B/A)2​}

可以看到，这是一个关于 θ \theta θ的正态分布 N ( μ 1 , γ 1 2 ) N(\mu_1,\gamma_1^2) N(μ1​,γ12​)，其中

μ 1 = B A = x ‾ σ 0 − 2 + μ γ − 2 σ 0 − 2 + γ − 2 , 1 γ 1 2 = 1 γ 2 + 1 σ 0 2 \mu_1=\frac BA=\frac{\overline{x}\sigma_0^{-2}+\mu\gamma^{-2}}{\sigma_0^{-2}+\gamma^{-2}},\frac1{\gamma_1^2}=\frac1{\gamma^2}+\frac1{\sigma_0^2} μ1​=AB​=σ0−2​+γ−2xσ0−2​+μγ−2​,γ12​1​=γ21​+σ02​1​

设X表示人的胸围，根据经验，胸围是近似服从正态分布的。现测量了n=10000个人的胸围，得样本均值为39.8(cm)，总体方差已知为4，假设θ的先验分布为N(38,9)，求θ的后验分布。

此时有充分统计量 x ‾ = 39.8 , n = 10000 , σ 0 2 = 4 / 10000 \overline{x}=39.8,n=10000,\sigma_0^2=4/10000 x=39.8,n=10000,σ02​=4/10000

先验分布已知，即 μ = 38 , γ 2 = 9 \mu=38,\gamma^2=9 μ=38,γ2=9

可以直接用共轭先验分布得到后验分布

μ 1 = x ‾ σ 0 − 2 + μ γ − 2 σ 0 − 2 + γ − 2 = 39.8 ∗ 10000 / 4 + 38 / 9 10000 / 4 + 1 / 9 = 39.8 γ 1 2 = γ 2 σ 0 2 γ 2 + σ 0 2 = 4 / 10000 ∗ 9 4 / 10000 + 9 = 1 / 2500 N ( 39.8 , 1 / 2500 ) \mu_1=\frac{\overline{x}\sigma_0^{-2}+\mu\gamma^{-2}}{\sigma_0^{-2}+\gamma^{-2}}=\frac{39.8*10000/4+38/9}{10000/4+1/9}=39.8\\ \gamma_1^2=\frac{\gamma^2\sigma_0^2}{\gamma^2+\sigma_0^2}=\frac{4/10000*9}{4/10000+9}=1/2500\\N(39.8,1/2500) μ1​=σ0−2​+γ−2xσ0−2​+μγ−2​=10000/4+1/939.8∗10000/4+38/9​=39.8γ12​=γ2+σ02​γ2σ02​​=4/10000+94/10000∗9​=1/2500N(39.8,1/2500)

二项分布的成功概率θ的共轭先验分布是贝塔分布。

设总体 X − b ( n , θ ) X-b(n,\theta) X−b(n,θ)

则有 b ( n , θ ) ∝ θ x ( 1 − θ ) n − x b(n,\theta)\varpropto\theta^x(1-\theta)^{n-x} b(n,θ)∝θx(1−θ)n−x

假设， θ \theta θ的先验分布是贝塔分布，即 B e ( α , β ) ∝ θ α − 1 ( 1 − θ ) β − 1 Be(\alpha,\beta)\varpropto\theta^{\alpha-1}(1-\theta)^{\beta-1} Be(α,β)∝θα−1(1−θ)β−1

有后验分布 π ( θ ∣ X ) ∝ θ x + α − 1 ( 1 − θ ) n − x + β − 1 \pi(\theta|X)\varpropto\theta^{x+\alpha-1}(1-\theta)^{n-x+\beta-1} π(θ∣X)∝θx+α−1(1−θ)n−x+β−1