五分钟掌握AB实验和样本量计算原理

将测试对象随机分成A,B两组，然后比较两组之间的差异 AB测试是为Web或App界面或流程制作两个（A/B）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。

需要满足的条件： 对照组：有其他对照组作为对比，就能真正看出来效果。而且不同组间的效果差异要足够明显，才能验证我们的判断 随机性：为了排除实验条件以外的干扰因素，我们需要确保两个组的用户是随机选取，这是为了排除用户差异对实验结果的影响 大样本：这里的样本量是指数据量，包括用户、行为和时间跨度，样本量越大，越容易排除个体差异的影响，也更容易验证统计上的显著性

唯一变量： AB实验时需要保证除了要实验的变量之外，实验组和对照组其他的“变量”都是均匀的，包含但不限于： 时间、环境、样本属性等 多层实验如何保证唯一变量： 分流因子通过加入不同的字符串（实验名）作为离散因子，保证每层都是正交分布，防止层与层之间有交集。

实验的思想： 用能近似代表总体的样本推断总体的分布(假设检验)，利用样本指标近似代替总体指标，继而进行决策； 如何保证： 近似代表总体的样本需满足以下2项条件： 1、随机抽样：实验中的样本是随机抽取的。而且抽取的算法能够充分保证了抽样的随机性。 2、样本能近似代表总体： 样本量越大，通过样本去评估总体的误差就越小。当误差小于我们需要的精度时样本量就足够了。 E ( X ˉ ) = E ( 1 / n ∑ i = 1 n X i ) = 1 n ∑ i = 1 n E ( X i ) = μ D ( X ˉ ) = D ( 1 / n ∑ i = 1 n X i ) = 1 n 2 ∑ i = 1 n D ( X i ) = 1 n σ 2 E(\bar{X})=E(1/n\sum_{i=1}^{n}X_i)=\frac1n\sum_{i=1}^nE(X_i)=\mu\\ D(\bar{X})=D(1/n\sum_{i=1}^{n}X_i)=\frac1{n^2}\sum_{i=1}^nD(X_i)=\frac1n\sigma^2 E(Xˉ)=E(1/ni=1∑n​Xi​)=n1​i=1∑n​E(Xi​)=μD(Xˉ)=D(1/ni=1∑n​Xi​)=n21​i=1∑n​D(Xi​)=n1​σ2 所以当n较大时， X ˉ \bar{X} Xˉ近似服从 N ( μ , σ 2 n ) N(\mu,\frac{\sigma^2}{n}) N(μ,nσ2​)，等价地有 X ˉ − μ σ / n ∼ N ( 0 , 1 ) \frac{\bar{X}−\mu}{\sigma/\sqrt{n}}\sim N(0,1) σ/n ​Xˉ−μ​∼N(0,1)。 中心极限定理（central limit theorem）：设均值为 μ \mu μ、方差为 σ 2 \sigma^2 σ2（有限）的任意一个总体中抽取样本量为n的样本，当n充分大时，样本均值 μ \mu μ的抽样分布近似服从均值为 μ \mu μ、方差为 1 n σ 2 \frac1n\sigma^2 n1​σ2的正态分布。

样本量计算公式： 均值检验样本量预估： n = ( Z 1 − α / 2 + Z 1 − β ) σ 2 E 2 n=\frac{(Z_{1-\alpha/2}+Z_{1-\beta})\sigma^2}{E^2} n=E2(Z