典型相关分析ppt课件

X)1,var('Y)1
X,
'Y),
则称a1' X,b1'Y是X,Y的第一对典型相关变量，它们之间的
相关系数称为第一个典型相关系数；
12
北大数学学院
第十章 §10.1总体典型相关
典型相关的定义
如果存在ak (a1k,L ,apk)'和bk (b1k,L ,bqk)',使得 (1)ak ' X,bk 'Y和前面k 1对典型相关变量都不相关； (2)var(ak ' X) 1,var(bk 'Y) 1; (3)ak ' X与bk 'Y的相关系数最大， 则称ak ' X,bk 'Y是X,Y的第k对典型相关变量，它们
1/ 2
为Y与(X1,…,Xp)的 全相关系数.
其实Y对X的回归为 E ( Y |X ) Y Y X X 1 X ( x X ) d@ =ef ( x )
且 (Y,(x))R,并称R为全相关系数.
7
第十章 引言
什么是典型相关分析
北大数学学院
当p,q>1时,利用主成分分析的思想,可以把多
第十章 §10.1总体典型相关
典型相关的定义
我们用X和Y的线性组合V=aX和W=bY之间的
相关来研究X和Y之间的相关.我们希望找到a和b, 使ρ(V,W) 最大.由相关系数的定义:
又已知
10
北大数学学院
第十章 §10.1总体典型相关
典型相关的定义
故有
对任给常数c1,c2,d1,d2,显然有 ρ(c1V+d1, c2W+d2)=ρ(V,W)
北大数学学院
应用多元统计分析
第十章 典型相关分析
canonical correlation analysis
1
第十章 典型相关分析北大数学学院
目录
§10.1 总体典型相关 §10.2 样本典型相关 §10.3 典型冗余分析
2
第十章 引言
北大数学学院
什么是典型相关分析
相关分析是研究多个变量与多个变量之间的
相关关系.如研究两个随机变量之间的相关关系 可用简单相关系数表示;研究一个随机变量与多 个随机变量之间的相关关系可用全相关系数表
示. 1936年Hotelling首先将相关分析推广到研究多
个随机变量与多个随机变量之间的相关关系,故 而产生了典型相关分析,广义相关系数等一些有 用的方法.
3
第十章 引言
度与用科学方法检查的一些结果之间的相关关
系; 在体育学中,研究运动员的体力测试指标与运动
能力指标之间的相关关系等.

5
第十章 引言
北大数学学院
什么是典型相关分析
一般地,假设有一组变量X1,...,Xp 与另一组变量 Y1,...,Yq (也可以记为Xp+1,...,Xp+q),我们要研究这两 组变量的相关关系,如何给两组变量之间的相关 性以数量的描述,这就是本章研究的典型相关分 析.
即使得相关系数最大的V=aX和W=bX并不唯 一. 故加附加约束条件 Var(V)=aΣ11 a=1,
Var(W)=bΣ22 b=1.
问题化为在约束条件Var(V)= 1,Var(W)=1下,
求a和b,使得ρ(V,W)= aΣ12 b达最大 . 11
北大数学学院
第十章 §10.1总体典型相关
典型相关的定义
个变量与多个变量之间的相关化为两个新变量 之间的相关.
也就是求=(1,…, p) 和 =(1,…, q ) , 使得 新变量: V= 1X1+…+pXp = X
W= 1Y1+…+ qYq = Y
之间有最大可能的相关,基于这个思想就产生 了典型相关分析(Canonical correlatinal analysis).
定义10.1.1 设X=(X1,...,Xp ) 及Y=(Y1,...,Yq) 为随
机向量(不妨设p≤q),记随机向量
Z
X Y,
E(Z)
0,
D(Z)
1211
12 22
0.
如果存在a1 (a11,L ,ap1)'和b1 (b11,L ,bq1)',使得
（a1
'
X,b1
'Y)
var('
max （'
0.
T
1 11
212212
2
,并设p阶方阵TT
'的特征值依次为
12 22 L p2 0(i 0,i 1,L , p);相应的单位特征向量
为l1,l2,L
,lp.令ak
1 11
2lk
,bk
1 1 k 22
221ak
(k
1,2,L
,
p).
则Vk ak ' X,Wk bk 'Y是X,Y的第k对典型相关变量，k为
8
北大数学学院
第十章 §10.1总体典型相关
典型相关的定义
设X=(X1,...,Xp ) 及Y=(Y1,...,Yq) 为随机向量(不
妨设p≤q),记随机向量
Z= X
Y Z的协差阵为
1211
1222
其中 Σ11是X的协差阵,Σ22是Y的协差阵, Σ12 =Σ’21是X,Y的协差阵.
9
北大数学学院
在气象学中为分析预报24小时后天气的可靠程 度,研究当天和前一天气象因子间的相关关系;
4
第十章 引言
北大数学学院
什么是典型相关分析
在教育学中,研究学生在高考的各科成绩与高 二年级各主科成绩间的相关关系;
在婚姻的研究中,考察小伙子对追求姑娘的主 要指标与姑娘想往的小伙子的主要尺度之间的
相关关系; 在医学中,研究患某种疾病病人的各种症状程
之间的相关系数称为第k个典型相关系数(k 2,L , p).
13
北大数学学院
第十章 §10.1总体典型相关
典型相关变量的求法
定理10.1.1 设X=(X1,...,Xp ) 及Y=(Y1,...,Yq) 为随
机向量(不妨设p≤q),记随机向量
Z
X Y
,已知E(Z)
0,
D(Z)
11 21
12 22
北大数学学院
什么是典型相关分析
在实际问题中,经常遇到要研究一部分变量和另 一部分变量之间的相关关系,例如:
在工业中,考察原料的主要质量指标(X1,...,Xp ) 与 产品的主要质量指标(Y1,...,Yq)间的相关性;
在经济学中,研究主要肉类的价格与销售量之间 的相关性;
在地质学中,为研究岩石形成的成因关系,考察岩 石的化学成份与其周围围岩化学成份的相关性;
当p=q=1时,就是研究两个变量X与Y之间的相关 关系.简单相关系数是最常见的度量.其定义为
6
第十章 引言
什么是典型相关分析
北大数学学院
当p≥ 1 ,q=1时(或 q ≥ 1 , p =1)
设
X Y ~N p 1(
, ), Y X X X
X Y 0 Y Y
则称
R
YX
1 XX
YY
XY