强大数定律与弱大数定律（民科解释）

近学习的时候遇到了强大数定律与弱大数定律，两者的区分提到了“依概率收敛”和“几乎处处收敛”，由于本人的数学基础太差，一直很难理解这个地方，在网上查阅了一些资料有了一些个人的理解，不知道对不对，不过还是想记录下来。提前说明，这里给出的解释非常的不严格，甚至有点搞笑，不过个人觉得很容易理解。

首先给出来强弱大数定律的表述。

对于独立同分布的无穷随机序列 { X i } \{X_i\} {Xi​}，期望为 E ( X i ) = μ \mathbb{E}(X_i)=\mu E(Xi​)=μ。大数定律要研究的就是样本均值的极限 X ˉ n = 1 n ( X 1 + ⋯ + X n ) X ˉ n → μ  for  n → ∞ \bar{X}_n=\frac{1}{n}(X_1+\cdots+X_n) \\ \bar{X}_n\to \mu \quad\text{ for }\quad n\to \infty Xˉn​=n1​(X1​+⋯+Xn​)Xˉn​→μ for n→∞ 他们的主要不同点在于收敛性的强弱不同。

弱大数定律：样本均值 依概率收敛(converges in probability) 于期望 lim ⁡ n → ∞ Pr ( ∣ X ˉ n − μ ∣ > ε ) = 0 \lim_{n\to\infty}\text{Pr}\left(\vert \bar{X}_n-\mu \vert > \varepsilon\right)=0 n→∞lim​Pr(∣Xˉn​−μ∣>ε)=0 强大数定律：样本均值 几乎处处收敛(converges almost surely) 于期望 Pr ( lim ⁡ n → ∞ ∣ X ˉ n − μ ∣ > ε ) = 0    ⟺    Pr ( lim ⁡ n → ∞ X ˉ n = μ ) = 1 \text{Pr}(\lim_{n\to\infty}\vert \bar{X}_n-\mu \vert > \varepsilon)=0 \\ \iff \text{Pr}(\lim_{n\to\infty} \bar{X}_n =\mu )=1 Pr(n→∞lim​∣Xˉn​−μ∣>ε)=0⟺Pr(n→∞lim​Xˉn​=μ)=1

从形式上来看似乎只是把极限和概率交换了一下位置，但是这个交换就导致了本质的区别，后面会解释。这里首先参考强大数定律和弱大数定律的本质区别？ - runze Zheng的回答 - 知乎，这个回答以及网上很多的解释主要是从“依概率收敛”与“几乎处处收敛”的角度出发，我觉得这个对理解很有帮助。下面简单复述这篇回答。

注：这部分内容摘自知乎回答

考虑下图，图中的每条线都代表一个数列，虚线表示一个非常小的区间。总的来说每个数列都越来越趋近0，且大部分时候不会超过虚线所表示的小边界，但是，偶尔会有一两条线超过虚线、然后再回到虚线之内。而且我们不能保证，有没有哪一个数列会在未来再次超出虚线的范围然后再回来——虽然概率很小。注意虚线的范围可以是任意小的实数，此图中大约是 ± 0.04 \pm 0.04 ±0.04，可以把这个边界缩小到 ± 0.004 \pm 0.004 ±0.004，甚至 ± 4 ∗ 1 0 − 10 \pm 4*10^{-10} ±4∗10−10，随你喜欢，这个性质始终存在。

图中的黑线表示一个随机数列，这个数列在大约 n = 200 n=200 n=200 之后进入了一个我们定的小边界（用虚线表示），之后我们可以确定，它再也不会超出虚线所表示的边界（超出这个边界的概率是0）。跟上面的例子一样，虚线所表示的边界可以定得任意小，而一定会有一个n值，当这个数列超过了n值之后，超出这个边界的概率就是0了。

注意上面依概率收敛中有一句“不能保证，有没有哪一个数列会在未来再次超出虚线的范围然后再回来——虽然概率很小”，这个很重要，因为完全有可能有一个序列是这样的（我后面把这种序列叫做“刺头序列”吧）：

这个序列大趋势是 X n = 1 / n X_n=1/n Xn​=1/n，但是每过一段时间就有一个刺头跳出来。我们不能说 lim ⁡ n → ∞ X n = 0 \lim_{n\to\infty}X_n=0 limn→∞​Xn​=0，这是因为序列极限的定义为：若若对于任意 ε > 0 \varepsilon > 0 ε>0，都存在一个 N N N 使得 ∣ X m − μ ∣ < ε , ∀ m > N |X_m-\mu| < \varepsilon,\forall m > N ∣Xm​−μ∣N，则 lim ⁡ n → ∞ X n = μ \lim_{n\to\infty} X_n=\mu limn→∞​Xn​=μ。但是对于上面这个例子呢？如果 ε < 0.2 \varepsilon < 0.2 ε