当前位置：文档之家 › 实验报告9 典型相关分析

实验报告9 典型相关分析

  • 格式：doc
  • 大小：240.00 KB
  • 文档页数：23

. 专业资料 实验九 典型相关分析 实验目的和要求 能利用原始数据与相关矩阵、协主差矩阵作相关分析,能根据SAS输出结果选出满足要求的几个典型变量．

实验要求:编写程序，结果分析．

实验容： 4.8 SAS实现 data examp4_8(type=corr); input _name_ $ x1-x2 y1-y2; _type_=’corr’; cards; x1 1.00 0.63 0.24 0.06 x2 0.63 1.00 -0.06 0.07 y1 0.24 -0.06 1.00 0.42 y2 0.06 0.07 0.42 1.00 ; run; proc cancorr data=examp4_8 corr; var x1-x2; with y1-y2; run;

The SAS System 20:05 Thursday, November 18, 2013 1 . 专业资料 The CANCORR Procedure Correlations Among the Original Variables 1、变量x1-x2的相关系数矩阵11R

：

Correlations Among the VAR Variables

x1 x2 x1 1.0000 0.6300 x2 0.6300 1.0000 2、变量y1-y2的相关系数矩阵22R

：

Correlations Among the WITH Variables

y1 y2 y1 1.0000 0.4200 y2 0.4200 1.0000 3、变量x1-x2与y1-y2的相关系数矩阵12R

：

Correlations Between the VAR Variables and the WITH Variables .

专业资料 y1 y2

x1 0.2400 0.0600 x2 -0.0600 0.0700 变量间高度相关。

The SAS System 20:05 Thursday, November 18, 2013 2 The CANCORR Procedure 4 典型相关分析的一般结果

Canonical Correlation Analysis Adjusted Approximate Squared Canonical Canonical Standard Canonical Correlation Correlation Error Correlation 典型相关系数k 校正的典型相关系数 近似的标准误 典型相关系数平方

1 0.397112 0.396910 0.008423 0.157698 2 0.072889 . 0.009947 0.005313 5、检验各对典型变量是否显著相关 . 专业资料 Test of H0: The canonical correlations in the Eigenvalues of Inv(E)*H current row and all that follow are zero = CanRsq/(1-CanRsq) Likelihood Approximate Eigenvalue Difference Proportion Cumulative Ratio F Value Num DF Den DF Pr > F 各对相关系 相邻两特 特征值占 特征值占方差 似然比k kF值 kd1 kd2 kp

数特征值 征值之差 方差比例 比例累计值

1 0.1872 0.1819 0.9723 0.9723 0.83782737 462.33 4 19992 <.0001 2 0.0053 0.0277 1.0000 0.99468712 53.40 1 9997 <.0001 第一对典型变量贡献率97.23%。充分反映了两组变量的相互关系。 检验假设0:)(0kkH

检验统计量),(~121/1/112)(0kkHkktkkkkddFddFk真，kkdd21,为第一、第二自由度．由检验结果可知，05.0,05.021pp，．故两对典型变量显著相关．取两对进行分析即可． 另外，从对典型变量),(kkVU进行分析求得特征值在方差占比例的累计值（贡献率）为0.9947也可看出，两对变量即可。 以下输出用wilks’Lambda 等四种方法对典型相关系数为零的假设检验 6、求出典型变量及典型相关系数，并解释 典型变量的系数和典型结构 . 专业资料 Multivariate Statistics and F Approximations S=2 M=-0.5 N=4997 Statistic Value F Value Num DF Den DF Pr > F Wilks' Lambda 0.83782737 462.33 4 19992 <.0001 Pillai's Trace 0.16301046 443.56 4 19994 <.0001 Hotelling-Lawley Trace 0.19256330 481.20 4 11994 <.0001 Roy's Greatest Root 0.18722205 935.83 2 9997 <.0001

NOTE: F Statistic for Roy's Greatest Root is an upper bound. NOTE: F Statistic for Wilks' Lambda is exact.

The SAS System 20:05 Thursday, November 18, 2013 3 The CANCORR Procedure Canonical Correlation Analysis Raw Canonical Coefficients for the VAR Variables . 专业资料 第一组变量x1-x3的典型变量的系数（原始变量未标准化） 第一典型变量1ˆU 第二典型变量2ˆ

U

V1 V2 x1 1.247798484 0.3179603133 x2 -1.033039477 0.7687192318

Raw Canonical Coefficients for the WITH Variables 第二组变量y1-y3的典型变量的系数（原始变量为标准化） 第一典型变量1ˆ

V 第二典型变量

2

ˆV

W1 W2

y1 1.1018762969 -0.007089979 y2 -0.456353717 1.0029570909 数据未标准化结果，即利用协方差矩阵分析的结果。

112120=.478-1.33Uxx 1121101904564=.y.yV The SAS System 20:05 Thursday, November 18, 2013 4

The CANCORR Procedure .

专业资料 Canonical Correlation Analysis 第一组变量x1-x2的典型变量的系数（原始变量标准化后） Standardized Canonical Coefficients for the VAR Variables 第一典型变量*1U 第二典型变量*2U V1 V2

x1 1.2478 0.3180 x2 -1.0330 0.7687 第二组变量y1-y2的典型变量的系数（原始变量标准化后） Standardized Canonical Coefficients for the WITH Variables 第一典型变量*1V 第一典型变量*2V

W1 W2

y1 1.1019 -0.0071 y2 -0.4564 1.0030 给出2112212111*ˆRRRRA

的三个特征值

210ˆ.157698ρ, 22000ˆ.5313ρ

第一对典型变量

11200***ˆ1.2478-1.33Uxx主要阅读速度，阅读理解力的影响。

11200***ˆ=1.119.4564Vyy主要计算速度，计算正确程度影响。

第一对典型变量主要表现阅读和计算的相关性。

第一对典型相关系数为1

0.3971ρ

第二对典型变量及典型相关系数

212000***ˆ=.318.7687Uxx 212000000***ˆ=（ .71） -1.3Vyy . 专业资料 2ˆ0.07289ρ 输出原变量和典型变量间的相关系数

The SAS System 20:05 Thursday, November 18, 2013 5

The CANCORR Procedure Canonical Structure 第一组变量x1-x2和典型变量*1U,*2U的相关系数 Correlations Between the VAR Variables and Their Canonical Variables

V1 V2 x1 0.5970 0.8023 x2 -0.2469 0.9690 第二组变量y1-y2和典型变量*1V,*2V的相关系数

Correlations Between the WITH Variables and Their Canonical Variables

W1 W2 y1 0.9102 0.4142 y2 0.0064 1.0000 第一组变量x1-x2和第二组典型变量*1V,*2V的相关系数

合集下载

典型相关分析

典型相关分析

典型相关分析简介典型相关分析（canonical correlation analysis, CCA）是一种多变量统计分析方法，用于研究两组观测变量之间的相关性。

该方法可以帮助我们理解两组变量之间的线性关系，并找出两组变量中最相关的部分。

在机器学习、数据挖掘以及统计学中，典型相关分析被广泛应用于特征选择、降维和模式识别等领域。

方法典型相关分析是基于矩阵分解的方法，通过将两组变量转化成低秩的典型变量来寻找相关性。

典型相关分析的基本思想是找出两组变量的线性组合，使得这两个组合能够达到最大的相关性。

具体而言，给定两组变量X和Y，我们可以得到X的线性组合u和Y的线性组合v，使得cor(u,v)达到最大。

其中cor(u,v)表示两个向量u和v的相关系数。

典型相关分析的目标即是求解出使得cor(u,v)最大的u和v。

下面是典型相关分析的数学表示形式:max cor(u,v)subject to u = Xa, v = Yb其中，X和Y分别是两组变量的矩阵，u和v是X和Y的线性组合，a和b是权重向量。

通过求解最优化问题，我们可以得到最相关的线性组合u和v，从而得到最相关的部分。

应用典型相关分析广泛应用于多个领域，下面列举了几个常见的应用场景：特征选择在特征选择中，我们经常面临着从大量的特征中选取最相关的特征集合。

典型相关分析可以帮助我们通过寻找两组变量之间的相关性，筛选出对目标变量有着较强相关性的特征。

通过选择最相关的特征，我们可以提高模型的泛化能力，并降低过拟合的风险。

降维在大数据时代，数据维度高维且复杂。

降维可以帮助我们减少计算负担，并去除冗余信息。

典型相关分析可以通过找出两组变量最相关的部分，将原始多维数据降到低维空间。

这样做可以减少计算复杂度，提高模型的训练速度，并帮助我们更好地理解数据之间的关系。

模式识别典型相关分析在模式识别领域也有着重要的应用。

通过找出两组变量之间的最相关部分，我们可以构建更加精确和可靠的模式识别模型。

第九章典型相关分析

第九章典型相关分析

一、典型相关分析的概念及基本思想
❖ 典型相关分析就是研究两组变量之间相关关 系的一种多元统计分析的方法。它能够揭示 两组变量之间的内在联系。
❖ 我们知道，在一元统计分析中，用相关系数 来衡量两个随机变量之间的线性关系；用复 相关系数研究一个随机变量和多个随机变量 的线性相关关系。对于两组随机变量之间的 相关关系如何分析呢？
二、典型相关的数学描述
（一）想法 考虑两组变量的向量
Z (x1, x2,, xp , y1, y2,, yq )
其协方差阵为
Σ
Σ11 Σ21
p
Σ12 p Σ22 q
q
其中11是第一组变量的协方差矩阵；22是第二组变量的协方差 矩阵；12 和21是X和Y的其协方差矩阵。
如果我们记两组变量的第一对线性组合为：
（二）典型相关系数和典型变量的求法
在约束条件 Var(u1) 1111 1 Var(v1) 1221 1 下，求1和1，使uv达到最大。
根据数学分析中条件极值的求法，引入Lagrange乘数， 求极值问题，则可以转化为求
(1,
1)
112
1
2
(1111
1)
2
(122
1
1)
(1)
的极大值，其中和是 Lagrange乘数。
在剩余的相关中再求出第二对典型变量和他们的 典型相关系数。设第二对典型变量为：
u2 2 x v2 2 y
在约束条件：Var(u2 ) 2112 1
Var(v2 ) 2222 1
cov(u1,u2) cov(1x,2 x) 1112 0
cov(v1,v2) cov(1y, 2 y) 1112 0
量的线性组合与另一组变量的线性组合之间的相关关
典型相关分析冗余分析

典型相关分析冗余分析

典型相关分析冗余分析典型相关分析（Canonical Correlation Analysis，CCA）是一种用于探索两组变量之间关系的统计方法。

它可以同时分析两组变量之间的线性关系，在数据降维、特征选择、模式识别等领域有广泛的应用。

冗余分析（Redundancy Analysis，RDA）是典型相关分析的一种扩展形式，主要用于解释连续型解释变量对两组变量关系的贡献。

典型相关分析的基本思想是寻找两组变量之间的最大相关性。

假设有两组变量X和Y，其中X = [X1, X2, ..., Xp]和Y = [Y1, Y2, ..., Yq]，它们都是经过标准化的观测值。

典型相关分析的目标是找到一对线性组合，分别称为第一个典型变量对（first canonical variate pair），使得在两组变量之间的相关系数最大。

然后，可以继续找到第二个典型变量对，它与第一个典型变量对相互独立且与之前的典型变量对相关性最大，依此类推。

最后，可以得到p个典型变量对，每个典型变量对都有一个相关系数，表示两组变量之间的关系。

典型相关分析的核心是求解降维问题，通过计算两组变量在每个典型变量对上的线性组合，可以将原始数据映射到一个低维空间。

这样一来，可以简化原始数据的复杂性，并且保留最相关的信息。

在特征选择和数据可视化中，典型相关分析可以帮助我们识别重要的变量和确定关键的模式。

冗余分析是典型相关分析的一种扩展形式，它增加了一个连续型解释变量的考虑。

冗余分析的目标是找到解释变量集合对两组变量关系的贡献。

在典型相关分析中，我们已经找到了两组变量之间的最大相关性，而冗余分析可以帮助我们理解这种相关性是如何受解释变量影响的。

通过计算解释变量对两组变量的解释度（explained variance），可以确定解释变量在两组变量关系中的贡献。

冗余分析可以用于数据挖掘、模式识别和建模等领域。

在数据挖掘中，冗余分析可以帮助我们识别和理解分类或预测模型中的关键变量。

第9章-典型相关分析资料

第9章-典型相关分析资料


2020/11/11
主编：费宇
13
3.样本典型相关变量
• 前面我们是从变量x与变量y的协方差阵Σ出发考虑x 与y的典型相关变量,这称为总体典型相关变量,但
(9.3)
Cov(u, v) Cov(aT x, bT y) aTCov( x, y)b aT 12b.
2020/11/11
主编：费宇
6
1.总体典型相关变量
• 两个新变量u和v之间的相关系数（即典型相关 系数）为
Corr(u, v) Corr(aT x, bT y)
aT 12b
(aT 11a) (bT 22b)
另一组变量为y=(y1, y2,…, yq )T ,且p≤q ,变量x 与变量y的协方差阵为
Var(x)
Σ
Cov(
x,ቤተ መጻሕፍቲ ባይዱ
y)
Cov(
y,
x)
Cov( Var
x, y) ( y)
11 21
12
22
(9.1)
2020/11/11
主编：费宇
5
1.总体典型相关变量
• 为研究变量x与变量y之间的线性相关关系,我们 考虑它们之间的线性组合
2 2
x2 y2
aip xp aiT x, biq yq biT y.
(i 1,2,
, p)
(9.11)
每一对变量称为一对典型变量,其中u1和v1称为第一
对典型变量,它们之间的相关系数λ1称为第一典型相 关系数.
2020/11/11
主编：费宇
11
2.典型相关变量的性质
• 我们不加证明的给出典型变量以下三个性质: • (1)每一对典型变量ui及vi (i=1,2,…,p)的标准差