假设检验是数理统计学中根据一定假设条件由样本推断总体的一种方法。具体作法是:根据问题的需要对所研究的总体作某种假设,记作H0;选取合适的统计量,这个统计量的选取要使得在假设H0成立时,其分布为已知;由实测的样本,计算出统计量的值,并根据预先给定的显著性水平进行检验,作出拒绝或接受假设H0的判断。常用的假设检验方法有u—检验法、t—检验法、X2检验法、F—检验法,秩和检验等。
假设检验亦称“显著性检验(Test of statistical significance)”,是 假设检验用来判断样本与样本,样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。其基本原理是先对总体的特征作出某种假设,然后通过抽样研究的统计推理,对此假设应该被拒绝还是接受作出推断。 生物现象的个体差异是客观存在,以致抽样误差不可避免,所以我们不能仅凭个别样本的值来下结论。当遇到两个或几个样本均数(或率)、样本均数(率)与已知总体均数(率)有大有小时,应当考虑到造成这种差别的原因有两种可能:一是这两个或几个样本均数(或率)来自同一总体,其差别仅仅由于抽样误差即偶然性所造成;二是这两个或几个样本均数(或率)来自不同的总体,即其差别不仅由抽样误差造成,而主要是由实验因素不同所引起的。假设检验的目的就在于排除抽样误差的影响,区分差别在统计上是否成立,并了解事件发生的概率。
在质量管理工作中经常遇到两者进行比较的情况,如采购原材料的验证,我们抽样所得到的数据在目标值两边波动,有时波动很大,这时你如何进行判定这些原料是否达到了我们规定的要求呢?再例如,你先后做了两批实验,得到两组数据,你想知道在这两试实验中合格率有无显著变化,那怎么做呢?这时你可以使用假设检验这种统计方法,来比较你的数据,它可以告诉你两者是否相等,同时也可以告诉你,在你做出这样的结论时,你所承担的风险。假设检验的思想是,先假设两者相等,即:µ=µ0,然后用统计的方法来计算验证你的假设是否正确。
用的假设检验有Z检验、T检验、配对检验、比例检验、秩和检验、卡方检验等。
假设检验是抽样推断中的一项重要内容。它是根据原资料作出一个总体指标是否等于某一个数值,某一随机变量是否服从某种概率分布的假设,然后利用样本资料采用一定的统计方法计算出有关检验的统计量,依据一定的概率原则,以较小的风险来判断估计数值与总体数值(或者估计分布与实际分布)是否存在显著差异,是否应当接受原假设选择的一种检验方法。
用样本指标估计总体指标,其结论有的完全可靠,有的只有不同程度的可靠性,需要进一步加以检验和证实。通过检验,对样本指标与假设的总体指标之间是否存在差别作出判断,是否接受原假设。这里必须明确,进行检验的目的不是怀疑样本指标本身是否计算正确,而是为了分析样本指标和总体指标之间是否存在显著差异。从这个意义上,假设检验又称为显著性检验。
进行假设检验,先要对假设进行陈述。通过下例加以说明。
例如,设某工厂制造某种产品的某种精度服从平均数为方差为的正态分布,据过去的数据,已知平均数为75,方差为100。现在经过技术革新,改进了制造方法,出现了平均数大于75,方差没有变更,但仍存在平均数不超过75的可能性。试陈述为统计假设。
根据上述情况,可有两种假设,一个是假想平均数不超过75,即假设另一个假想是平均数大于75,即假设如果我们把作为原假设,即被检验的假设,称作零假设,记作于是,假设相对于假设来说,是约定的、补充的假设,记作它和有两者选择其一的意思,即作为被检验的假设,则就是备择的,故称为备择假设或对立假设。
还须指出,哪个是零假设,哪个是备择假设,是无关紧要的。我们关心的问题,是要探索哪一个假设被接受的问题。被接受的假设是要作为推理的基础。在实际问题中,一般要考虑事情发生的逻辑顺序和关心的事件,来设立零假设和备择假设。
在作出了统计假设之后,就要采用适当的方法来决定是否应该接受零假设。由于运用统计方法所遇到的问题不同,因而解决问题的方法也不尽相同。但其解决方法的基本思想却是一致的,即都是“概率反证法”思想,即:
(1)为了检验一个零假设(即虚拟假设)是否成立, 先假定它是成立的,然后看接受这个假设之后,是否会导致不合理结果。如果结果是合理的,就接受它;如不合理,则否定原假设。
(2)所谓导致不合理结果,就是看是否在一次观察中, 出现小概率事件。通常把出现小概率事件的概率记为0,即显著性水平。 它在次数函数图形中是曲线两端或一端的面积。因此,从统计检验来说,就涉及到双侧检验和单侧检验问题。在实践中采用何类检验是由实际问题的性质来决定的。一般可以这样考虑:
①双侧检验。如果检验的目的是检验抽样的样本统计量与假设参数的差数是否过大(无论是正方向还是负方向),就把风险平分在右侧和左侧。比如显著性水平为0.05,即概率曲线左右两侧各占,即0.025。
②单侧检验。这种检验只注意估计值是否偏高或偏低。如只注意偏低,则临界值在左侧,称左侧检验;如只注意偏高,则临界值在右侧,称右侧检验。
对总体的参数的检量,是通过由样本计算的统计量来实现的。所以检验统计量起着决策者的作用。
统计推断是由样本的信息来推测母体性能的一种方法,它又可以分为两类问题,即参数估计和假设检验。实际生产和科学实验中,大量的问题是在获得一批数据后,要对母体的某一参数进行估计和检验。
例如,我们对45钢的断裂韧性作了测定,取得了一批数据,然后要求45钢断裂韧性的平均值,或要求45钢断裂韧性的单侧下限值,或要求45钢断裂韧性的分散度(即离散系数),这就是参数估计的问题。
又如,经过长期的积累,知道了某材料的断裂韧性的平均值和标准差,经改进热处理后,又测得一批数据,试问新工艺与老工艺相比是否有显著差异,这就是假设检验的问题。
这样可以看出,参数估计是假设检验的第一步,没有参数估计,也就无法完成假设检验。
假设检验的基本思想是小概率反证法思想。小概率思想是指小概率事件(P<0.01或P<0.05)在一次试验中基本上不会发生。反证法思想是先提出假设(检验假设H0),再用适当的统计方法确定假设成立的可能性大小,如可能性小,则认为假设不成立,若可能性大,则还不能认为假设成立。
1、提出检验假设(又称无效假设,符号是H0))和备择假设(符号是H1)。
H0:样本与总体或样本与样本间的差异是由抽样误差引起的;
H1:样本与总体或样本与样本间存在本质差异;
预先设定的检验水准为0.05;当检验假设为真,但被错误地拒绝的概率,记作α,通常取α=0.05或α=0.01。
2、选定统计方法,由样本观察值按相应的公式计算出统计量的大小,如X2值、t值等。根据资料的类型和特点,可分别选用Z检验,T检验,秩和检验和卡方检验等。
3、根据统计量的大小及其分布确定检验假设成立的可能性P的大小并判断结果。若P>α,结论为按α所取水准不显著,不拒绝H0,即认为差别很可能是由于抽样误差造成的,在统计上不成立;如果P≤α,结论为按所取α水准显著,拒绝H0,接受H1,则认为此差别不大可能仅由抽样误差所致,很可能是实验因素不同造成的,故在统计上成立。P值的大小一般可通过查阅相应的界值表得到。
1.根据实际情况提出原假设和备择假设
2.根据假设的特征,选择合适的检验统计量
3.根据样本观察值,计算检验统计量的观察值(obs)
4.选择许容显著性水平,并根据相应的统计量的统计分布表查出相应的临界值(ctrit)
5.根据检验统计量观察值的位置决定原假设取舍
1、做假设检验之前,应注意资料本身是否有可比性。
2、当差别有统计学意义时应注意这样的差别在实际应用中有无意义。
3、根据资料类型和特点选用正确的假设检验方法。
4、根据专业及经验确定是选用单侧检验还是双侧检验。
5、当检验结果为拒绝无效假设时,应注意有发生I类错误的可能性,即错误地拒绝了本身成立的H0,发生这种错误的可能性预先是知道的,即检验水准那么大;当检验结果为不拒绝无效假设时,应注意有发生II类错误的可能性,即仍有可能错误地接受了本身就不成立的H0,发生这种错误的可能性预先是不知道的,但与样本含量和I类错误的大小有关系。
6、判断结论时不能绝对化,应注意无论接受或拒绝检验假设,都有判断错误的可能性。
7、报告结论时是应注意说明所用的统计量,检验的单双侧及P值的确切范围。