假设检验(Hypothesis Testing)

1. 什么是假设检验呢?

  假设检验又称为统计假设检验,是数理统计中根据一定假设条件由样本推断总体的一种方法。

  什么意思呢,举个生活中的例子:买橘子(借用http://www.360doc.com/content/16/0617/08/31718185_568436468.shtml

  当我们去买橘子的时候,无论甜不甜,老板都会说:“挺甜的,不信拿一个尝尝”。我们随手拿一个(这就相当于抽样),此时我们对于这些橘子甜或不甜的判断全基于这个橘子(样本),为什么不拿总体来判断呢?老板能让你把橘子都吃一遍?(大多数情况下无法直接对总体进行判断)。当我们吃到的橘子是甜的,我们会想,随便拿一个就是甜的,那么这些橘子大部分都是甜的;当我们吃到的是酸的,我们会想,随便拿一个就是酸的,我运气有那么不好吗,肯定是大部分橘子都是酸的。

  假设检验就是对总体(全部橘子)提出假设(甜或不甜),然后通过样本(随便拿一个橘子)进行统计计算,来推断假设是否成立的一种方法。

2.假设检验的依据是什么呢?

  假设检验重要的依据是人们的一条普遍经验,即小概率事件在一次实验中很难发生,如果一旦发生,就认为原来的假设不成立,从而拒绝H0

  例如, 某彩票抽奖处声称该彩票中奖概率为p(A) = 99.99%,现在我们做出如下假设

  若假设H0正确,则抽奖一次不中奖的概率为0.01%,这是一个小概率事件。那么我们通过抽奖一次,来检验该假设。

  假设检验的基本思想:先对总体的参数或分布函数的表达式作出某种假设,然后构造出一个在假设成立下出现可能性甚小的事件(即小概率事件)。如果试验或抽样的结果使该小概率事件出现了,这与小概率事件原理相违背,表明原来的假设有问题,应予以否定,即拒绝这个假设;若该小概率事件在一次试验或抽样中并未出现,就没有理由否定这个假设,表明试验或抽样结果支持这个假设,这时假设与实验结果是一致的,或者说可以接受这个假设。

  但是,我们要注意的是:在假设检验中“拒绝接受反映了决策者在所面对的样本证据下,对该命题所采取的一种态度、倾向性而不是在逻辑上“证明该命题正确与否!又回到刚开始买橘子的例子,我们在拿一个尝过后,对所有橘子下的结论(大部分是甜的或者大部分是酸的)都是我们的主观猜想,而非客观事实。

3.怎么做假设检验呢?

  假设检验的一般步骤为:

  (I)跟据实际问题提出零假设(H0)与备择假设(H1);

  (II)选择合适的检验统计量,并确定在H0为真时的分布;

  (III)给定显著性水平α,确定临界点,得到接受域和否定域;

  (IV)计算检验统计量的样本值;

  (V)做出判断,若值落在否定域,则拒绝H0;若落在接受域,则在所选择的显著性水平上,不能拒绝H0

假设

  我们将对总体提出的某种假设称为零假设(也称原假设),记为H0;将与原假设矛盾的假设称为备择假设(也称对立假设),记为H1.

  零假设是一种无差别假设,表示要被拒绝的目的。备择假设是与H0相反的结论。若H0被拒绝,H1就可能被接受。比如,研究两种药物对治疗同一种疾病的效果不同。这个结论就是要研究的假设,为了检验该假设,我们假设用μ表示药物对疾病的治疗效果,写出原假设H0:μ1 = μ2(相同的治疗效果);备择假设H1:μ1 ≠ μ2(不同的治疗效果)。如果得到的信息拒绝H0,则可以接受H1,即两种药物对同一疾病的治疗效果是不同的。

  H1的叙述是由研究假设的性质确定的。若研究假设只是考察两个事物有差异,则备择假设H1:μ1 ≠ μ2;若考察其差值的方向,则H1或者为μ1  > μ2,或者为μ1  < μ2

  我们称形如

H0 : μ1 = μ2 , H1 : μ1 ≠ μ2

的假设检验为双边检验;

形如

H0 : μ1 ≥ μ2 , H1 : μ1 < μ2

的假设检验为左边检验;

形如

H0 : μ1 ≤ μ2 , H1 : μ1 > μ2

的假设检验为右边检验。

  左边检验和右边检验统称为单边检验。

显著性水平

  前面说到假设检验的依据是小概率事件原理,但是,很难发生并不等于绝不发生,因此,在得出对H0的判定时,可能会发生两类错误:第一类错误是当H0实际上为真时拒绝H0;第二类错误是当H0实际为假时接受H0。第一类错误是“以真为假”的错误,犯第一类错误的概率由α给出,α越大,H0越容易错误地被拒绝;第二类错误是“以假为真”的错误,犯第二类错误的概率通常用β表示。可以发现犯这两类错误的概率之间存在反比关系,所以,在样本量确定为n时,α减小会使β增大。若希望同时减小犯两类错误的可能性,必须增加样本数目n。

  定义α:当原假设H0为真时,假设检验统计量的样本值却落在接受域之外,因而拒绝原假设H0,这类错误称为第一类错误,其发生的概率称为犯第一类错误的概率或称弃真概率,通常记为α,即

P(拒绝H0 | H0为真) = α

  定义β:当原假设H0为不真时,假设检验统计量的样本值却落在接受域之内,因而接受原假设H0,这类错误称为第二类错误,其发生的概率称为犯第二类错误的概率或称存伪概率,通常记为β,即

P(接受H0 | H0不真) = β

 

  在实际应用时,我们通常只能控制犯第一类错误的概率,也就是错误地拒绝H0的概率,这个概率就叫做显著性水平。一般检验时,取α = 0.05,α = 0.01较多。为了保证β不至于太大,样本数量不能太少在。在生物信息学里,样本量是很大的,所以β也会很小,因此重点关注α。

否定域

  我们将拒绝零假设H0的区域称为拒绝域。否定域的大小与显著性水平α的选取有关。

  否定域的位置(不是大小)与备择假设H1的性质有关。若H1是指出预定方向的,如H1:μ > μ0,则假设检验为单边检验;若H1未指出预定的方向,如H1:μ≠μ0,则为双边检验。图1.1是α=0.05的单边检验否定域,图1.2是α=0.05的双边检验否定域。可以看出,对于同一显著性水平α,两种否定域的位置不同,但总的大小并没有什么不同。

  在进行统计检验时,若根据样本数据计算的统计量数值落入否定域,则认为零假设H0不成立,称作在显著性水平α下拒绝H0;否则认为零假设H0不成立,称作在显著性水平α下不能拒绝H0.

参考 《非参数统计》易丹辉

假设检验(Hypothesis Testing)的更多相关文章

  1. Hypothesis Testing

    Hypothesis Testing What's Hypothesis Testing(假设检验) Hypothesis testing is the statistical assessment ...

  2. Critical-Value|Critical-Value Approach to Hypothesis Testing

    9.2 Critical-Value Approach to Hypothesis Testing example: 对于mean 值 275 的假设: 有一个关于sample mean的distri ...

  3. [Math Review] Statistics Basics: Main Concepts in Hypothesis Testing

    Case Study The case study Physicians' Reactions sought to determine whether physicians spend less ti ...

  4. The Most Simple Introduction to Hypothesis Testing

    https://www.youtube.com/watch?v=UApFKiK4Hi8

  5. 二、MLlib统计指标之关联/抽样/汇总

    汇总统计[Summary statistics]: Summary statistics提供了基于列的统计信息,包括6个统计量:均值.方差.非零统计量个数.总数.最小值.最大值. import org ...

  6. spark机器学习从0到1基本的统计工具之(三)

      给定一个数据集,数据分析师一般会先观察一下数据集的基本情况,称之为汇总统计或者概要性统计.一般的概要性统计用于概括一系列观测值,包括位置或集中趋势(比如算术平均值.中位数.众数和四分位均值),展型 ...

  7. MLlib学习——基本统计

    给定一个数据集,数据分析师一般会先观察一下数据集的基本情况,称之为汇总统计或者概要性统计.一般的概要性统计用于概括一系列观测值,包括位置或集中趋势(比如算术平均值.中位数.众数和四分位均值),展型(比 ...

  8. A/B Testing with Practice in Python (Part One)

    I learned A/B testing from a Youtube vedio. The link is https://www.youtube.com/watch?v=Bu7OqjYk0jM. ...

  9. Null Hypotheses| Alternative Hypotheses|Hypothesis Test|Significance Level|two tailed |one tailed|

    9.1 The Nature of Hypothesis Testing Over the years, however, null hypothesis has come to mean simpl ...

随机推荐

  1. dependencies 与 devDependencies 的区别

    dependencies 与 devDependencies 的区别 在使用 npm install 安装 npm 包时,有两种命令参数可以把它们的信息写入 package.json 文件: --sa ...

  2. Vue2.0结合webuploader实现文件分片上传

    Vue项目中遇到了大文件分片上传的问题,之前用过webuploader,索性就把Vue2.0与webuploader结合起来使用,封装了一个vue的上传组件,使用起来也比较舒爽. 上传就上传吧,为什么 ...

  3. HihoCoder - 1139

    在上一回和上上回里我们知道Nettle在玩<艦これ>,Nettle在整理好舰队之后终于准备出海捞船和敌军交战了.在这个游戏里面,海域是N个战略点(编号1..N)组成,如下图所示其中红色的点 ...

  4. MFC,ADO方式实现数据库操作

    参考: MSDN数据访问编程 (MFC/ATL): https://msdn.microsoft.com/zh-cn/library/kd4ck1tt.aspx?f=255&MSPPError ...

  5. Directory Opus(DO) 个人使用经验 2.0

    设置已有命令的快捷键 设置方法 保存显示格式 保存方法 取消删除确认框 Windows取消删除确认框DO取消删除确认框 设置默认布局 设置方法 备份与恢复 设置已有命令的快捷键 已有命令指的是菜单栏上 ...

  6. Codeforces Round #466 (Div. 2)

    所有的题目都可以在CodeForces上查看 中间看起来有很多场比赛我没有写了 其实是因为有题目没改完 因为我不想改,所以就没有写了(大部分题目还是改完了的) 我还是觉得如果是打了的比赛就一场一场写比 ...

  7. 【CJOJ P1365】最短路

    http://oj.changjun.com.cn/problem/detail/pid/1365 Description 给出N个点,M条无向边的简单图,问所有点对之间的最短路. Input 第1行 ...

  8. LCT 模板及套路总结

    这一个月貌似已经考了无数次\(LCT\)了..... 保险起见还是来一发总结吧..... A. LCT 模板 \(LCT\) 是由大名鼎鼎的 \(Tarjan\) 老爷发明的. 主要是用来维护树上路径 ...

  9. Global.asax 中校验Session

    Application 相关的 Application_Init:在每一个HttpApplication实例初始化的时候执行. Application_Disposed:在每一个HttpApplica ...

  10. WordPress源代码压缩优化及常见问题的解决

    先来看看效果: 意思就是让你的源代码看起来都挤在一起,这样如果别人想看你的源代码的话就不容易看懂了,(当然如果别人实在想看的话也可以通过某些软件的整理代码的功能来实现,比如IDEA的Ctrl+alt+ ...