显著性检验与p值

2023-07-12 01:58| 来源: 网络整理| 查看: 265

1.显著性检验

无论从事何种领域的科学研究还是统计调查，显著性检验作为判断两个乃至多个数据集之间是否存在差异的方法，一直被广泛应用。笔者并非统计学专业出身，一直以来对显著性检验的原理及应用困惑不解。

(1)什么是显著性检验?

“显著性检验”的英文名称是“significance test”。在统计学中，显著性检验是“统计假设检验”(Statistical hypothesis tesing)的一种，显著性检验是检测科学实验中的实验组与对照组之间是否存在差异以及差异是否显著的办法。“统计假设检验”指出了“显著性检验”的前提条件是“统计假设”，换言之“无假设，不检验”。任何人在使用显著性检验之前必须知道假设是什么。一般而言，把要检验的假设称之为原假设，记为H0，把与H0相对应的假设称之为备择假设，记为H1。如果原假设为真，而检验的结论却劝你放弃原假设，此时，我们把这种错误称之为第一类错误。通常把第一类错误出现的概率记为 $\alpha$ 。如果原假设不为真，而检验的结论却劝你接受原假设。此时，我们把这种错误称之为第二类错误，通常第二类错误出现的概率记为 $\beta$ 。通常只限定犯第一类错误的最大概率α，不考虑犯第二类错误的概率β。我们把这样的假设检验称为显著性检验，概率α称为显著性水平。显著性水平是数学界约定俗成的，一般有α =0.05,0.025.0.01这三种情况。代表着显著性检验的结论错误率必须低于5%或2.5%或1%（统计学中，通常把在现实世界中发生几率小于5%的事件称之为“不可能事件”）。

(2)为什么做显著性检验？

因为我们想要判断样本与我们对总体所做的假设之间的差异是纯属机会变异，还是由我们所做的假设与总体真实情况之间不一致所引起的。

2.卡方检验

卡方检验(Chi-Square Test)在大数据技术场景中，通常用来检验某个变量或特征是不是和应变量有显著关系。举例，我们要观察性别和在线买不买生鲜食品有没有关系。通过在线上生鲜市场收集数据，得到下面的表格：观察到的现象：

男女总计线上不买生鲜 527 72 599 线上购买生鲜 206 102 308 总计 733 174 907

通过上表我们发现有66%(599/907)的人不在线上购买生鲜，34%的人线上购买生鲜，根据这一比例，我们可以得到男女不同性别是否线上购买生鲜的理论分布数据：

男女总计线上不买生鲜 484 115 599 线上购买生鲜 249 59 308 总计 733 174 907

卡方的计算公式： $X^{2}=\Sigma \frac{(observed-expected)^2}{expected}$ $X^2=\frac{(574-484)^2}{484}+\frac{(72-115)^2}{115}+\frac{(206-249)^2}{249}+\frac{(102-59)^2}{59}=58.4$ 自由度：(行数-1)*(列数-1)=1 置信度：90% 查表格的：性别与是否线上购买生鲜是有关系的。

3.p值

假设检验是推断统计中的一项重要内容，在假设检验中长常见到P值(P-value,Pr)，P值是进行检验决策的一个重要依据。 P值即概率，是反映某一事件发生的可能性大小。在统计学中根据显著性检验得到的P值，一般以P

【本文地址】

公司简介

联系我们