案例实操：抽样之前先做假设检验！

这告诉我们，在红豆和黑豆一样多的假设下，拿到3个红豆7个黑豆的可能性为0.11，是很常见的，说明所做的假设是可以成立的，还没有理由能拒绝无效假设。

假定袋子里有100个豆子，50个红豆，50个黑豆。拿的这把豆子有1个红豆，9个黑豆。

在无效假设成立的前提下，能拿到1个红豆、9个黑豆的概率为：

这告诉我们，在红豆和黑豆一样多的假设下，拿到1个红豆9个黑豆的可能性为0.007＜0.05，为小概率事件，在一次研究中是不应该发生的，而现在发生了，可能是所做的假设有问题，有理由拒绝无效假设。

简言之，假设检验的核心思想是小概率反证法，在假设的前提下，估算某事件发生的可能性，如果该事件是小概率事件，在一次研究中本来是不可能发生的，现在发生了，这时候就可以推翻之前的假设，接受备择假设。如果该事件不是小概率事件，我们就找不到理由来推翻之前的假设，实际中可引申为接受所做的无效假设。

假设检验解决哪些问题

互联网运营分析师与产品经理都很熟悉的方法：ABtest。

适用方面：往往新版本或者新功能上线之前，需要验证新需求的是否有正收益，传统模式往往就是新版本发布，然后观察留存率、跳转率等核心指标，如果观察表现期内，流量正增长，那么则认可该版本，如果效果反馈不佳，则快速回滚旧版本。

但在移动互联网时代，千人千面讲究用户差异化的时代，产品经理在面对海量用户流量，就可以实现ABtest，过程：抽样小规模流量，进行灰度测试，检验新需求是否有正收益，如果观察周期校验效果显著，则大规模上线测试迭代，直至全流量覆盖。

ABtest其本质核心就是假设检验，但是实际操作中，这里有几个关键：

1. 如何设计抽样，尽量实现对照实验两边公平；

2. 如何提高灵敏度，即效果收益稳定性，多组交叉验证流量平衡；

3. 对照组设置，避免引入干扰因素；

4. 收益评价指标，正收益、用户体验，当然我们T检验也要通过。

实际应用中，我们会发现产品经理的脑洞实在太大，需求太多，能否实现少设置测试流量批次？能否缩短收益评价周期？这里就牵涉到上面第一个问题：如何抽样？抽样才是ABtest关键，根本原则是希望控制对照组两边客群一样，尽量公平。

抽样方法也很多：简单抽样、分层抽样、正交抽样等等。这里为何提到一个正交抽样呢？正交抽样满足一次测试，多组对照的抽样方法。关于细节，大家可以关注并评论，后面我给相应解答。

实际上用户增长运营是件很有挑战工作，单纯数据流量ABtest是用户体验辨别方法，如果从运营监控角度去分析，也需要从不同群组去分析客群增长模型，学会从业务中抓取核心关键公式或者模型，然后细化至各个维度，交叉对比，隐藏冰山下问题。

假设检验实操

假设检验常用的方法有u—检验法、t检验法、χ2检验法(卡方检验)、F—检验法，秩和检验等。以t-假设检验举例。

某药厂研发了一种能够降低血压的新药，现在为了了解该药的疗效，随机抽取了15名高血压患者，并得到他么在使用该药治疗前后的舒张压数据，如下图所示，现在需要判断：该药是否有效？如果有效，是否能够让高血压患者的舒张压平均降低6.5mmHg？

根据上面的数据，我们可以使用Excel中的假设检验方法来判断（以前我用手算过，好累呀，有了Excel等工具，很简单方便，省时省力）。分析工具中的假设检验方法有多种，使用不同的方法，观察值在检验前后的关系就不同，所以需要先选择合适的方案。

由于样本量较小，且样本值中的观察值存在治疗前后的配对关系，所以可先使用“t-检验：平均值的成对二样本分析”方法判断该药的有效性，我们首先假设该药无效（一般先否定，然后计算检验否定原假设（如果正确的话）），然后进行假设检验。

上面的案例中，由于没有充分的理由判断该药治疗后的总体均数会大于或小于治疗前的舒张压均值，所以在检验过程中，前面的t-检验我们采用的是双侧检验。

从分析结果看到：H列左侧的检验结果中，tStat=4.211，P双尾=0.00087，t双尾临界=2.145，当t双尾临界时，假设成立，而这个案例中，检验结果tStat>t双尾临界，说明该结果拒绝原假设，也就是说该药有效，此外，我们还能看到P双尾=0.00087