假设检验的五个基本步骤
假设检验一般分为五个步骤:①建立假设:包括:H0,称无效假设;H1:称备择假设;②.确定检验水准:检验水准用α表示,α一般取0.05;③.计算检验统计量:根据不同的检验方法,使用特定的公式计算;④确定P值:通过统计量及相应的界值表来确定P值;⑤推断结论:如P>α,则接受H0,差别无统计学意义;如P≤α,则拒绝H0,差别有统计学意义。
简述假设检验的步骤?
一、假设检验的基本思想与步骤
如何被统计学家费舍尔提出:奶茶先加茶和先加奶的口味是不同的。于是科学家有一个原假设:该女士不具备区分奶茶与茶奶的能力。假设检验的基本思想就是小概率事件不会发生,当小概率事件发生时,我们更倾向认为原假设是错误。引入问题:某牛奶生产商在其一份研究报告中声称“中国人的平均身高不高于160 厘米,因而必须喝牛奶”假设所有国人的平均身高服从正态分布N(μ,),如何检验牛奶商关于身高的声称是否成立?
(一) 估计与假设检验的区别
上面不是一个参数估计的问题,必须采用假设检验的方法。假设检验(hypothesis testing)与参数估计(estimation)的思想是不同的。参数估计是指利用抽样数据对总体参数进行直接估计,并得出总体参数的具体估计值;而假设检验则分为假设与检验两步,先形成一个对总体参数的假设,然后再利用抽样数据判断这个假设是否成立。
上题中,参数估计是通过抽样调查部分中国人身高,计算出样本均值,并以此估计全国人的平均身高μ;而假设检验则是先形成一个命题如:“中国人的平均身高μ不高于160 厘米”,然后通过抽样数据判断该命题是否成立。
(二) 假设检验的基本思想
基本思想是“小概率事件不会发生”。假设抽样了一万人发现平均身高是180,,基本可以判断前述是错误的命题。然而如果发现均值是161时那么结论就没那么显然了,就必须利用到概率分布与显著性相关的信息。
(三) 假设检验的步骤
(1) 建立需检验的假设
(2) 选择合适的检验统计量,并确定其服从的概率分布
(3) 选择判断假设是否成立的显著性水平
(4) 给出决策准则(decision rule),即拒绝域的形式
(5) 收集数据,并计算检验统计量
(6) 做出判断
(7) 根据判断进行投资决策
二、假设检验的相关概念
(一)原假设(Null Hypothesis)与备择假设(Alternative Hypothesis)
假设检验的第一步就是建立假设。通常将被检验的假设称为原假设(null hypothesis),记为;当被拒绝时而接受的假设称为备择假设,记为或.原假设与备择假设通常成对出现。身高问题中原假设与备择假设可以用如下方式表示:
假设检验一般有两种结果:第一种是原假设“不正确”,称为拒绝(reject)原假设;第二种是原假设“正确”,称为无法拒绝(can not reject)原假设。
在建立原假设与备择假设时,有几个细节要注意:
(1) 当原假设“正确”时,一般称“无法拒绝原假设”而不是“接受原假设”,这是因为此时原假设并不是数学意义上的恒成立,而只是统计意义上的成立。
(2) 如果假设涉及不等式时,习惯将等号放在原假设
(3) 在构建原假设备择假设时,习惯将想要得到的结论放在备择假设
(二)检验统计量(Test Statistic)及其分布
在抽样样本检验原假设通常是通过一个统计量来完成的,这个统计量称为检验统计量(test statistic)。检验统计量通常服从某个概率分布,于是可以通过计算检验统计量是否超过某一关键值来判断是否拒绝原假设。在本书中,检验统计量通常以公式的形式出现:
(11.1)
如身高问题中,检验统计量就可以通过样本均值来构建。由中心极限定理,服从正态分布N(μ,/n),按照(11.1)标准化后就服从标准正态分布。
(三)显著性水平(Significance Level)与关键值(Critical Value)
有了检验统计量后,结合显著性水平就可以计算出关键值(Critical Value)及其拒绝域(rejection region)。关键值是判断是否拒绝原假设的临界值。拒绝域是由原假设被拒绝的样本观测值所组成的区域。
在例题中,假设显著性水平为5%,的标准化后服从标准正态分布,那么检验统计量的关键值就是1.65?
根据正态分布95%置信区间对应的标准差不是1.96倍标准差吗?为啥是1.65而不是1.96,是正数而不是负数?需要涉及单尾检验与双尾检验。
(四) 双尾检验(Two-Tailed Test)与单尾检验(One-Tailed Test)
假设检验通常有三种基本形式:
其中,θ表示总体参数,θ0表示当成立时总体参数的取值。
第一种形式称为双尾检验,第二种与第三种形式称为单尾检验。无论是单尾还是双尾检验所采用的检验统计量都是相同的,差别主要体现在拒绝域上。因此,区分单尾检验与双尾检验对确定关键值(critical value)以及拒绝域(rejection region)至关重要。
(五) p值(p-value)
除了比较检验统计量与关键值,另一种判断是否拒绝原假设的方法就是p值(p-value)。p值指拒绝原假设的最小显著水平。根据p值定义,在给定显著水平α的情况下,如果pα,则无法拒绝原假设。
例如,我们要进行显著性水平为5%的双尾检验,已知p值=2.14%,这就意味着,左侧对应的尾部面积为1.07%,即统计量绝对值大于,应该要拒绝原假设。当然,也可以利用p值进行判断,p值=2.14%<5%,因此应该要拒绝原假设。画个图:
(六) 第一类错误(Type I Error)与第二类错误(Type II Error)
虽然假设检验的基本思想是“小概率事件不会发生”,但在真实世界中小概率事件是有可能发生的。因而,我们在判断假设检验是否成立时就有可能犯错误。检验时可能犯的错误可归为两类:一是当原假设H0真实成立时,我们却拒绝了原假设,称为第一类错误,也称为“拒真概率”;二是当原假设H0不成立时,我们却接受了原假设,称为第二类错误,也称为“受伪概率”。
假设检验的两种错误:
决策
真实情形
H0正确
H0错误
没有拒绝H0
正确决策
第二类错误
(犯错概率=β)
拒绝H0接受Ha
第一类错误
(犯错概率=α)
正确决策
(概率power of test:1-β)
上表有几个关于概率的标识:通常我们将犯第一类错误的概率记为α,这里的α实际上就是假设检验中的显著性水平;犯第二类错误的概率记为β。此外,当原假设正确时接受原假设,当错误时拒绝原假设都表明决策者做出了正确的抉择没有犯错,特别的,我们将决策者不犯第二类错误的概率称为统计检验力(power of test),记为1-β
(七) 统计显著(Statistical significance)与经济显著(Economic Significance)
在利用假设检验进行金融分析时注意区别两者,许多投资策略在假设检验上能够获得正收益,然而在扣除交易费用、税收并考虑风险后就无法经济显著获得正收益。