下载文档原格式
非参数统计学讲义主讲：统计系 袁靖第五章 相关和回归§1 引言所谓相关，是指两组或两组以上观察结果之间的连带性或联系。
换句话说，也就是各组观察结果所反映的特性之间有关系。
如几个亲生兄弟间的智商与出生顺序有关系，受教育程度与性别有关系，出生率X 和文盲率Y 之间的关系等等。
在实际问题的研究中，人们常常想知道两组或两组以上的观察结果是否有联系，同时也想知道联系的程度如何。
前面的统计检验能够在一定的显著性水平上，确定各组观察值的关系是否存在。
相关方法被用来度量两个或更多变量之间的线性关系的强度，是回归分析的基础。
在数理统计学中，我们使用相关系数定义变量X 和变量Y 之间的相关性。
)var()var(),cov(),(Y X Y X Y X corr ==ρ1(0.1)对于样本),(11Y X ，),(22Y X ，……，),(n n Y X 来说，Pearson 相关系数为∑∑∑∑∑∑----=----=222211)()())(()()())((Y Y X X Y Y X X Y Y X X Y Y X X r i i i i i i ni i n (0.2)如果在这个样本中的n 个观察值独立，则r 是ρ的渐近无偏估计；如果它又是二元正态分布，则r 是ρ的ML 估计。
为了检验0:0=ρH ，0:1≠ρH ，可以选取统计量)2(~122---=n t r n rt结论：Pearson 相关系数度量的是一种线性关系，而我们所要介绍的非参数的Spearman 秩相关系数s r 和Kendall τ相关系数实际上度量的是一种形式的相依联系，或是更广义的单调关系。
因此相关的概念被推广，不仅指线性相关，而泛指相依或联系。
§2 两个样本的相关分析一、等级相关等级相关(Rank Correlation)也称作级序相关，用于两个至少是定序尺度测量的样本问相关程度的测定研究背景1ρ度量了总体样本点在标准差线周围的聚集程度，详见笔记P38。
第五章非参数统计第五章非参数统计第一节符号检验和Wilcoxon符号秩检验第二节Wilcoxon秩和检验第三节Kruskal-Wallis秩和检验第四节Spearman等级相关分析补：列联表分析非参数统计非正态非数值观测值第一节符号检验和Wilcoxon符号秩检验配对资料符号检验配对资料Wilcoxon符号秩检验符号检验背景：例5-1 素质训练效果配对比较等级数据非正态分布符号检验的计算步骤定义成对数据指定正号或负号的规则;计数正号的个数及负号的个数(如果配对资料的前后没有变化，此时仅需要将这些观察值从资料中剔除，当然样本大小也随之减少);，计算正号个数的概率分布和相应P值样本较小时，应使用二项分布确切概率计算法;样本较大时，常利用二项分布的正态近似。
:0.5H p=例5-1训练可以“提高”身体素质?单侧检验计数正号的个数11，样本量15-1P 值=原假设下“计数正号的个数>=11”的概率，按二项分布B(14,0.5)计算P 值=0.0288<0.05 拒绝原假设利用SAS 软件：先数值化, 再使用univariate （修改程序Chap5_01R, 课本程序对但解释错,光盘程序错）注意：本题单侧检验。
单侧P 值=双侧P 值/20:0.5H p =5.0:1>p H Wilcoxon 符号秩检验例5-2 两种方法的生产时间是否有差异?配对资料数值数据非正态分布符号检验缺点: 丢失了数字大小信息。
Wilcoxon 符号秩检验方法既考虑了正、负号，又利用了差值大小，故效率较符号检验法高（就是说，在固定第一类错误概率α时，犯第二类错误的概率β较小）。
例5-2H0:任务完成时间的两个总体是相同的。
按差值绝对值|D |从秩1开始由小到大排列并给秩R差值为0在排秩中丢弃，样本数目修正遇到相等|D |(tie 结值)，用平均秩符号秩和，W=min (T +,T -)，W 服从Wilcoxon 符号秩分布, W 太小就拒绝H0例5-2: W =5.5<临界值8，拒绝H0∑++=R T ∑−−=R T Wilcoxon 符号秩检验Wilcoxon 符号秩统计量太大的S 值或太小的S 值都是拒绝的依据对于n>20，可用正态检验近似, z 太大或太小就拒绝H0例5-2: z=2.24>临界值1.96 ，拒绝H0(由于本题n=10, 近似法不一定可靠))1,0(~24)12)(1(4)1(N n n n n n T z +++−=+4)1(+−=+n n T S H0平均SAS 实现Chap5_02使用Proc univariate normal本题双侧检验，直接用双侧P 值与α比较符号检验，接受H0 （较保守，倾向接受, 稳妥）符号秩检验，拒绝H0（较中庸）正态性检验通过，所以也可用t 检验，拒绝H0（较激进，倾向拒绝, 效率最高）综合结论：拒绝H0小结：配对样本的检验符号检验：差值不是具体数字；Wilcoxon 符号秩检验：差值是具体数字，但不服从正态分布差值t 检验：差值是具体数字，且服从正态分布第二节Wilcoxon 秩和检验例5-3 机票Cancel 问题检验两个独立样本是否来自相同的总体。
非参数回归分析非参数回归分析是一种无需对数据分布做出假设的统计方法，它通过学习数据的内在结构来建立模型。
与传统的参数回归分析相比，非参数回归分析更加灵活，适用于各种复杂的数据分布。
本文将介绍非参数回归分析的基本原理和应用场景，并通过实例来说明其实际应用。
一、非参数回归分析的原理非参数回归分析是通过将目标变量与自变量之间的关系建模为一个未知的、非线性的函数形式，并通过样本数据来估计这个函数。
与参数回归分析不同的是，非参数回归模型不需要表示目标变量与自变量之间的具体函数形式，而是通过样本数据来学习函数的结构和特征。
在非参数回归分析中，最常用的方法是核密度估计和局部加权回归。
核密度估计使用核函数对数据进行平滑处理，从而得到目标变量在不同自变量取值处的概率密度估计。
局部加权回归则是通过在拟合过程中给予靠近目标变量较近的样本点更大的权重，从而对目标变量与自变量之间的关系进行拟合。
二、非参数回归分析的应用场景1. 数据分布未知或复杂的情况下，非参数回归分析可以灵活地适应不同的数据分布，从而得到较为准确的模型。
2. 非线性关系的建模，非参数回归分析可以对目标变量与自变量之间的非线性关系进行拟合，从而获得更准确的预测结果。
3. 数据量较小或样本信息有限的情况下，非参数回归分析不需要对数据分布做出假设，并且可以通过样本数据来学习模型的结构，因此对数据量较小的情况下也具有一定的优势。
三、非参数回归分析的实际应用为了更好地理解非参数回归分析的实际应用，以下通过一个实例来说明。
假设我们有一组汽车销售数据，包括了汽车的价格和其对应的里程数。
我们希望通过这些数据预测汽车的价格与里程数之间的关系。
首先，我们可以使用核密度估计方法来估计汽车价格与里程数之间的概率密度关系。
通过对价格和里程数进行核密度估计，我们可以得到一个二维概率密度图，显示了不同价格和里程数组合的概率密度。
接下来，我们可以使用局部加权回归方法来拟合汽车价格与里程数之间的关系。
非参数统计学讲义主讲：统计系 袁靖第五章 相关和回归§1 引言所谓相关，是指两组或两组以上观察结果之间的连带性或联系。
换句话说，也就是各组观察结果所反映的特性之间有关系。
如几个亲生兄弟间的智商与出生顺序有关系，受教育程度与性别有关系，出生率X 和文盲率Y 之间的关系等等。
在实际问题的研究中，人们常常想知道两组或两组以上的观察结果是否有联系，同时也想知道联系的程度如何。
前面的统计检验能够在一定的显著性水平上，确定各组观察值的关系是否存在。
相关方法被用来度量两个或更多变量之间的线性关系的强度，是回归分析的基础。
在数理统计学中，我们使用相关系数定义变量X 和变量Y 之间的相关性。
)var()var(),cov(),(Y X Y X Y X corr ==ρ1(0.1)对于样本),(11Y X ，),(22Y X ，……，),(n n Y X 来说，Pearson 相关系数为∑∑∑∑∑∑----=----=222211)()())(()()())((Y Y X X Y Y X X Y Y X X Y Y X X r i i i i i i ni i n (0.2)如果在这个样本中的n 个观察值独立，则r 是ρ的渐近无偏估计；如果它又是二元正态分布，则r 是ρ的ML 估计。
为了检验0:0=ρH ，0:1≠ρH ，可以选取统计量)2(~122---=n t r n rt结论：Pearson 相关系数度量的是一种线性关系，而我们所要介绍的非参数的Spearman 秩相关系数s r 和Kendall τ相关系数实际上度量的是一种形式的相依联系，或是更广义的单调关系。
因此相关的概念被推广，不仅指线性相关，而泛指相依或联系。
§2 两个样本的相关分析一、等级相关等级相关(Rank Correlation)也称作级序相关，用于两个至少是定序尺度测量的样本问相关程度的测定研究背景1ρ度量了总体样本点在标准差线周围的聚集程度，详见笔记P38。
1．基本方法两个样本X 、Y ，其观察数据可以配对为),(11Y X ，),(22Y X ，……，),(n n Y X 。
将n x x x ,,,21 排序后评秩，其秩记作U ，与i x 相对应的秩为),,2,1(n i U i =；同样，n y y y ,,,21 排序后评秩，秩记作V ，与i y 相对应的秩为),,2,1(n i V i =。
这样得到的n 对秩),(11V U ，),(22V U ，…，),(n n V U 可能每一对完全相等，也可能不等。
由于每一样本都是n 个数据评秩，因此i U 与i V 的取值都是从1到n 。
X 、Y 的秩可能完全一致，即对于所有的i 来说，有i U ＝i V ，表5—1是完全一致的评秩结果。
X 、Y 的秩可能完全相反，表5—2是完全相反的评秩结果。
如果X 、Y 完全相关，应该对于所有的i 有i U ＝i V ，即i U —i V ＝0。
因此，i U 与i V 之差可以用来度量X 、Y 的相关程度。
定义i i i V U D -=X 的秩 Y 的秩 1 1 2 2 ……n －1 n －1 nn X 的秩 1 n 2 n －1 …… n －1 2 n 1i i i D 可正可负，直接用∑=ni i D 1测度相关，会出现正负i D 抵消，而不能真实反映i U 与i V 差值的大小，所以宜采用∑=ni i D 12，即∑∑==-=ni i i ni i V U D 1212)((0.3)（5.3）式的这个秩差值平方和的大小既受到n 的多少的影响，又受到两组秩不一致程度的影响，因此，采用相对的测量指标有利于说明X 、Y 的相关程度。
因为∑2i D 的最大值反映X 、Y 完全不相关的情况，所以，用（5.3）式除以∑2i D 的最大值，可用来评价X 、Y 之间秩的差值是否与完全不相关时接近。
若实际计算的∑2i D 与X 、Y 完全不相关情况下的∑-2)(i i V U 接近，那么两个样本的相关程度较低，若实际计算的∑2i D 与∑2i D 最大值的比越小，则两个样本的相关程度越高。
∑2i D 的最大值即X 、Y 间完全不相关情况下的秩差值平方和，可以根据表5—2所列的数据计算。
因为这是X 、Y 完全不相关的评秩结果。
∑2i D 的最大值为3/)1(])3()1[(2)1()]1(2[]2)1[()1(2222222-=+-+-=-+--++--+-n n n n n n n n(0.4)（5.4）式的中括号内最后一项，当n 为奇数时是22；n 为偶数时是12。
（5.3）式除以（5.4）式得到)1(33/)1(2222-=-∑∑n n D n n D i i (0.5)（5.5）式的取值从0到1。
根据表5-1中的数据计算（5.5）式值为0，表5-2中的数据计算的（5.5）式值为1，即X 、Y 的秩完全一致时，（5.5）式的值为0，X 、Y 的秩完全不一致时，（5.5）式的值为1。
测度两个样本等级相关程度可以象参数方法一样，定义等级相关系数作为标准。
斯皮尔曼的等级相关系数(Spearman coefficient of rank correlation)是测定两个样本相关强度的重要指标。
其计算公式为)1(6122--=∑n n D R i (0.6)斯皮尔曼相关系数也写为s r ，在有下标注以s 是为表明这个相关系数r 不是积矩相关的简单相关系数，而是等级相关的Spearman 相关系数。
注：①由于（5.6）式与（5.5）式不同，所以，R 的取值从一1到十1，1=R 表明X 、Y 完全相关，R ＝十l 为完全正相关，R ＝一1为完全负相关。
R 越接近于l ，表明相关程度越高，反之，R 越接近于零，表明相关程度越低，R ＝0为完全不相关。
R ＞0为正相关，R ＜0为负相关。
通常认为8.0>R 为相关程度较高。
②Spearman 秩相关系数检验临界值查表可得，P198。
③存在打结时，Spearman 统计量要作相应修正。
④在大样本时，可用正态近似作检验。
)1,0(1N n n r Z s ∞→-=2．应用【例5-1】经济发展水平和卫生水平之间的相关分析对某地区12个街道进行调查，并对经济发展水平和卫生水平按规定的标准打分，评定结果如表5—4。
街道号 经济水平卫生水平 街道号 经济水平 卫生水平1 82 86 7 84 80 2 87 78 8 78 773 60 65 9 80 754 98 88 10 94 96 575641185856 89 90 12 68 70序尺度测量的样本进行相关分析，可以采用等级相关系数测定。
必要的计算过程如表5—5所列。
根据（5—6）式可得8881.01119.01)112(123261)1(61222=-=-⨯-=--=∑n n D R i由于R ＝0．888l ＞0．8，所以该地区的经济发展水平和卫生水平存在着正相关关系，相关程度较高，为88．81％。
街道号 经济水平（U ） 卫生水平（V ）D=U-V D 1 6 9 -3 9 2 9 6 3 9 3 1 2 -1 1 4 12 10 2 4 5 3 1 2 4 6 10 11 -1 1 7 7 7 0 0 8 4 5 -1 1 9 5 4 1 1 10 11 12 -1 1 11 8 8 0 0 12 2 3 -1 1 合 计323．同分处理当观察值是评的分数时，可能在同一个样本中出现相同的评分，如成绩都是80等等。
同分的秩仍旧是等于几个同分值应有秩的平均值。
如果同分的比例不大，它们对秩相关系数及的影响可以忽略。
但若同分的比例较大，则计算只时应加入一个校正因子。
对于X 的同分校正因子为12)(3∑∑-='i i u u u ，Y 的同分校正因子为12)(3∑∑-='i i v v v 。
于是斯皮尔曼秩相关系数的计算公式为：v n n u n n v u D n n R i '--'--'+'---=∑12)1(12)1()(66)1(2222 (0.7)式中，u 是X 中同分的观察值数目，v 是Y 中同分的观察值数目。
【例5-2】经济发展水平和卫生水平之间的相关分析某地区对24个区县进行调查，并对经济发展水平和卫生水平按规定标准评分，结果如表5—6。
分析：将表5—6的评分转换为秩次，从高往低排序，同分的秩取平均值，结果见表5—7。
根据公式5.6计算8491.01509.01)124(2434761)1(61222=-=-⨯⨯-=--=∑n n D R i由于经济水平和卫生水平的评分中均有同分，应采用校正因子修正。
利用5.7式计算修正的R 为8490.012)575(2416)575(24)1216(2/1)347(6)575(2412)1(12)1()(66)1(2222=-⨯-⨯+⨯-⨯-⨯='--'--'+'---=∑v n n u n n v u D n n R i对比两个R 值可知，由于同分的观察值数目占观察值总数目的比例不是很大，因而校正后的R 与校正前的R 变化不大。
但是，校正前的只略大于校正后的R ，这说明同分对只的影响虽然很小，但同分的影响是夸大R 值。
因此。
在X 、Y 中至少有一个存在大量同分时，应进行校正。
区县编号X的秩次（U）Y的秩次（V）D=U-V D1 1 14 -13 1692 2.5 3.5 -1 13 2.5 2 0.5 0.254 4 1 3 95 5 5 0 06 6 6 0 07 7 11 -4 168 8 3.5 4.5 20.259 9.5 9 0.5 0.2510 9.5 10 -0.5 0.2511 11 16.5 -5.5 30.2512 12.5 8 4.5 20.2513 12.5 15 -2.5 6.2514 14 7 7 4915 15 12 3 916 16 13 3 917 17 18 -1 118 18 16.5 1.5 2.2519 19 20 -1 120 20 19 1 121 21 21 0 022 22 22 0 023 23 24 -1 124 24 23 1 1 合计347.004．R的显著性检验利用相关系数及其修正的公式计算的R值，是抽自两个总体的样本数据计算的结果，从这一相关系数的大小，可猜测总体的秩相关系数是否与零有显著差异，但是否为真，应进行假设检验。
对R的显著性检验正是为了回答这一问题。
检验可以仅研究两个总体是否存在相关，也可以分别研究相关的方向，即是正相关，还是负相关。
针对研究问题的不同，可以建立不同的假设组。
