两相关样本的非参数检验
- 格式:doc
- 大小:107.00 KB
- 文档页数:5
两独立样本t检验和非参数检验的实证分析摘要:教学质量是靠具体课程完成,课程的建设是教学质量提升的重要环节和基本保证。
本文简述了概率论与数理统计重点课程建设的必要性,重点在于对课程建设前后分层随机抽样得来的样本进行实证分析。
实证分析主要从基本统计分析、参数检验、非参数检验三个大的方面进行,尤其是非参数检验方面,又具体利用了三种不同的检验法进行分析推断。
关键词:t检验;非参数检验;显著性水平;频数分析概率论与数理统计是我国高等院校理工类、经济类、管理类各专业的一门重要公共课程,同时也是一门应用广泛,适用性强的工具课。
此门课程的教学为学生的其他专业课及其将来毕业后的工作、继续深造等方面奠定必要的数学,而且对培养学生的逻辑思维能力、分析判断问题能力、统计观点、应用能力和创新能力均有着特殊而又重要的作用,是培养高素质综合型人才的重要保证。
笔者本身是东华理工大学理学院的一线教师,这两年来,同时在江西财经大学统计学院读研究生。
在此期间,笔者主持的“概率论与数理统计”重点课程建设项目小组一直在努力的探索和研究,收获了一些成果。
本文的主要目的是针对进行重点课程建设这几年来,对搜集到的学生该门课程的考试成绩从统计学的角度进行实证分析。
尤其是从参数检验和非参数统计两个重要角度进行探究,论证这几年来进行课程建设是否让学生成绩取得了明显的提高。
一、基本统计分析对数据的分析首先从基本统计分析入手。
通过基本统计分析,掌握数据的基本统计特征,同时迅速把握数据的总体分布形态。
而基本统计分析往往先从频数分析开始,由于成绩数据均为定距型数据,直接采用频数分析不利于对其分布形态的把握,因此先对数据分组后再进行频数分析。
SPSS频数分析的操作如下:选择菜单【Analyze】→【Decriptive】→【Frequencie】,结果如下:从上面的统计表中可以看出,进行重点课程建设后,平均分有了明显的提高,而且从频数分布表可以看出,第3组第4组即中高分数段百分数有了明显提升。
第22卷第3期贵州大学学报(自然科学版)V o l .22N o .32005年 8月J o u r n a l o f G u i z h o uU n i v e r s i t y (N a t u r a l S c i e n c e s )A u g .2005文章编号 1000-5269(2005)03-0232-04两样本问题中的非参数检验胡 尧(贵州大学数学系,贵州贵阳 550025)摘 要 两样本问题是检验理论的中心问题,大多数两样本问题的非参数检验理论都是在较强的条件下进行讨论.作者就连续条件下的参数与非参数两样本问题作了简要论述,并就总体分布在更为广泛的条件下对两样本问题中的打“结”现象进行了阐述,论证了“结”的大样本性质。
关键词 W i l c o x o n 秩检验;两样本问题;M a n n -W h i t n e y 检验;结;大样本中图分类号 O 212.7 文献标识码 A0 引言非参数统计结构(x ,B ,p )中,设F =F (x -■) F (t )为一固定分布,0≤■<∞为一分布函数族,θ(F )为定义于F 上的有限实值函数,x 1,…,x m 和y 1,…,y n 分别为取自总体分布F(·)和F (·-■)的两样本,记为样本X 和Y ,而F (·)和F (·-■)都属函数分布族F ,其中■∈R .检验问题是: H 0∶■≡0 a g a i n s t H 1∶■≠0(0.1)或 H 0∶■≡0 a g a i n s t H 1∶■>0(0.2)这样的检验问题称为两样本问题(T h e T w o -S a m p l e P r o b l e m ).设两样本X 、Y 相互独立,且x 1…,x m ~i .i .d .F (·),y 1,…,y n ~i.i .d .F (·-■),其中分布函数F (·)和F (·-■)属于一维分布族F ,则将样本 x 1,…,x m ,y 1-■,…,y n -■混合排序,其对应的秩向量记为 (Q 1,…,Q m ,R 1,…,R n )其中R i 为y i -■在联合样本中的秩.不难看出∑m i =1∑n j =1I (x i <y j )=∑n j =1R j -n (n +1)2因而可得U 统计量(U-s t a t i s t i c )U m n =1m n ∑n j =1R j -n +12m(0.3)这个统计量的实质部分是∑n j =1R j (定义W ≡∑n j =1R j),即样本Y 的秩和(S u mo f r a n k s ),W i l c o x o n [6]在1945年第一次使用这个统计量作为检验两样本假设的工具,因而此统计量后来多称为W i l c o x o n 秩和统计量(W i l c o x o n s u mo f r a n k s s t a t i s t i c a l ),相应的检验称为w i l c o x o n 检验(t h e W i l c o x o n t w o -s a m p l e t e s t ).近年来两样本问题的检验后来得到了很好的发展,文献[3]定义经验分布函数用K o l m o g o r o v -S m i r n o v ,C r a m e r -V o n M i s e s 和W i l c o x o n 检验,在广义两样本问题中对非参数检验作了很好的论述,并模拟得出一些好的结果.文献[2]提出一种新的秩检验统计量-数据驱动秩检验(D a t a d r i v e nr a n k t e s t ),讨论了两样本问题.文献[1]从更实际实用的角度讨论了两样本的有效性和适应性(e f f i c i e n t a n da d a p t i v e )的非参数检验,获得了很好的效果.大多数文献是在连续分布总体条件较强的前提下讨论两样本问题,忽略了结(t i e )的问题.本文在1中对常规情形下的参数与非参数两样本问题作了讨论;在2中指出打结现象并就两种解决方法作了比较;求解打结的大样本理论在最后一部分.*收稿日期:2005-04-15作者简介:胡 尧(1971.12-),男,讲师。
两样本位置和尺度检验本章内容两样本位置和尺度检验样本之间相互独立, 为位置参数,称为尺度参数。
12,μμ12,σσ假设样本: (X 1, X 2, … ,X n )~i.i.d.F 1 ⎪⎪⎭⎫ ⎝⎛-11σμx (Y 1, Y 2, … ,Y n )~i.i.d.F 2 ⎪⎪⎭⎫ ⎝⎛-22σμx Brown-Mood 中位数检验 Moses 方法Mood 检验Mann-Whitney 秩和检验。
211210211210::::σσσσμμμμ≠↔=≠↔=H H H HBrown-Mood 中位数检验 0x y 1x yH :med med H :med med =↔>原理:在零假设成立时,如果数据有相同中位数,那么混合样本的中位数应该和混合前的项等。
假设(X 1, X 2, … ,X n )~i.i.d.F (x ) ,(Y 1, Y 2, … ,Y n )~i.i.d.F (x - )μ首先将两个样本混合,找出混合样本中位数,将X 和 Y 按照在两侧分类计数,即: xy M xy M 在给定m ,n 和t 的时候,在零假设成立时,A 的分布服从超几何分布: m n ()()k t k P(A k),k m m n ()t-==≤+当A 值太大时,考虑拒绝零假设。
计算和例子 X Y Mxy A B tMxy C D (m n)(A B)m n m n A B C D><+-++=+++总和总和检验基本内容 P-值 检验统计量 αH 1H x yM M =x y M M >A A A x yM M =x y M M <x y M M =x yM M ≠0H P (A a)≥0H P (A a)≤00H H 2min(P (A a),P (A a))≥≤对于水平 ,如果p -值小于 ,那么拒绝零假设 α大样本检验对于大样本情况下,可以使用超几何分布的正态近似进行检验:3A mt /(m n)Z N(0,1)mnt(m n t)/(m n)-+=→+-+另外可求得置信区间: x y M M μ=-t c'1c't c c 1[X Y ,X Y ]-+-+--其中c 和c’满足: hyper hyper P (A c)P (A c')≤+≥=αMann-Whitney 秩和检验假设样 本来 自于 ,来自于 并且独立。
非参数卡方检验1.理论非参数检验是在总体分布未知或知道甚少的情况下,不依赖于总体布形态,在总体分布情况不明时,用来检验不同样本是否来自同一总体的统计方法进。
由于非参数检验方法在推断过程中不涉及有关总体分布的参数,因而得名为“非参数”检验。
非参数检验优势:检验条件宽松,适应性强。
针对,非正态、方差不等的已及分布形态未知的数据均适用。
检验方法灵活,用途广泛。
运用符号检验、符号秩检验解决不能直接进行四则运算的定类和定序数据。
非参数检验的计算相对简单,易于理解。
但非参数检验方法对总体分布假定不多,缺乏针对性,且使用的是等级或符号秩,而不是实际数值,容易失去较多信息。
非参数卡方检验:用于检验样本数据的分布是否与某种特定分布情况相同。
非参数卡方检验通过三步检验:1.卡方统计量:X2=B 其中K 是样本分类的个数,0表示实际观测的频数,B 表示理论分布下的频数。
2.拟合优度检验:A.对总体分布建立假设。
B.抽样并编制频率分布表。
C.以原假设为真,导出期望频率。
D.计算统计量。
E.确定自由度,并查x2表,得到临界值。
F.比较x2值与临界值,做出判断。
3.独立性检验A.对总体分布建立假设。
B.抽样并编制r*c 列联表。
C.计算理论频数。
D.计算检验统计量。
E.确定自由度,并查x2表,得到临界值。
F.比较x2值与临界值,做出判断。
2.非参数卡方检验操作步骤第一步:将需检验的数据导入spss中并进行赋值后,点击分析非参数检验、旧对话框、卡方。
图2操作步骤第一步第二步:进入图中对话框后点击,首先将需检验的数据放入检验变量列表中,后在期望值选项中所以类别相等或者值(值:需要手动输入具体的分布情况)。
如果特殊情况需要调整检验置信区间,点击精确,进入图中下方对话框后点击蒙特卡洛法框里收到填入。
点击继续、确定。
图3操作步骤第二步第三步:如果需要看描述统计结果和四分位数值可以点击选项、勾选描述、四分位数。
点击继续、确实。
图4操作步骤第二步3.非参数卡方检验结果然后非参数卡方检验的描述统计、卡方检验频率表、检验统计结果就出来了。
第三章 两相关样本的非参数检验 1
第三章 两相关样本的非参数检验
在实际生活中,常常要比较成对数据。
比如比较两种处理,如药物,饮食,材料,管理方法等等。
有时要同时比较,有时要比较处理前后的区别.例如,某鞋厂比较两种材料的耐磨性,如果让两组不同的人来实验,则因为人们的行为差异很大,所以,不能进行公平的比较,如果让某个样本的左右两只鞋分别用不同的材料作成,实验的条件就很相似了。
所谓两个相关样本,是指两样本之间存在着某种内在联系。
§3.1 符号检验
一、基本方法
设X 和Y 分别具有分布函数F(x)和f(y),从两个总体得随机配对样本数据
),(,),,(),,(2211n n y x y x y x ,研究X 和Y 是否具有相同得分布函数。
即检验:
:0H )(x F =)(y F 。
如果两个总体具有相同的分布,则其中位数应该相等,所以检验
的假设为:
与单样本的符号检验一样,也定义S +和S -为检验的统计量。
的数目为i i n
i i i y x y x I S >>=∑=+1
)(
的数目为i i n
i i i y x y x I S >>=∑=+1
)(
由于S +和S -的抽样分布为二项分布)2
1
,(n B ,如果S +大小适中,则支持原假设,否则S +太大,S -太小,则支持y x m m H >:1;S +太小,S
-太大,则支持y x m m H <:1。
令=S S k ,则检验的准则如下表:
例从实行适时管理(JIT)的企业中,随机抽取20家进行效益分析,它们在实施JIT前后三年的平均资产报酬率。
问在5%的显著性水平下,企业在实施JIT前后的资产报酬率是否有显著差异?
第三章 两相关样本的非参数检验 3
应该接受原假设,即企业在实施JIT 前后的资产报酬率没有显著差异?
§3.2 两样本配对Wilcoxon 检验
前面的符号检验只用到它们差异的符号,而对数字大小所包含的信息未能考虑。
因此为改进信息的利用效率,可采用两样本配对Wilcoxon 检验。
配对Wilcoxon 检验既考虑了正、负号,又考虑了两者差值的大小。
Wilcoxon 符号秩检验的步骤: 1、 计算各观察值对的偏差D i =X i -Y i ; 2、 求偏差的绝对值|D i |=|X i -Y i |; 3、 按偏差绝对值的大小排序
4、 考虑各偏差的符号,由绝对值偏差秩得到符号值;
5、 分别计算正、负符号秩的和+
T 和-
T ; 6、 统计量),m in(-+=T T k 7、 结论
4/)1()(+=n n T E 24121/))(()(++=n n n T D
于是统计量为
第三章 两相关样本的非参数检验
4 )1,0(~24
/)12)(1(4/)1(N n n n n n T Z +++-=
例如, 现从上海证券交易所的上市公司随机抽取10家,观察其1999年年终财
079.224
/)118)(19(94)
19(9524/)12)(1(4)1(-=+++-
=+++-
=n n n n n k Z
应该拒绝原假设。