第 1 页 偏最小二乘回归是一种新型的多元统计数据分析方法，它与1983年由伍德与阿巴诺等人首次提出。近十年来，它在理论、方法与应用方面都得到了迅速的发展。密西根大学的弗耐尔教授称偏最小二乘回归为第二代回归分析方法。
偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面：
（1）偏最小二乘回归是一种多因变量对多自变量的回归建模方法。
（2）偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决的问题。在普通多元线形回归的应用中，我们常受到许多限制。最典型的问题就是自变量之间的多重相关性。如果采用普通的最小二乘方法，这种变量多重相关性就会严重危害参数估计，扩大模型误差，并破坏模型的稳定性。变量多重相关问题十分复杂，长期以来在理论与方法上都未给出满意的答案，这一直困扰着从事实际系统分析的工作人员。在偏最小二乘回归中开辟了一种有效的技术途径，它利用对系统中的数据信息进行分解与筛选的方式，提取对因变量的解释性最强的综合变量，辨识系统中的信息与噪声，从而更好地克服变量多重相关性在系统建模中的不良作用。
（3）偏最小二乘回归之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。
偏最小二乘回归=多元线性回归分析+典型相关分析+主成分分析 第 2 页
由于偏最小二乘回归在建模的同时实现了数据结构的简化，因此，可以在二维平面图上对多维数据的特性进行观察，这使得偏最小二乘回归分析的图形功能十分强大。在一次偏最小二乘回归分析计算后，不但可以得到多因变量对多自变量的回归模型，而且可以在平面图上直接观察两组变量之间的相关关系，以及观察样本点间的相似性结构。这种高维数据多个层面的可视见性，可以使数据系统的分析内容更加丰富，同时又可以对所建立的回归模型给予许多更详细深入的实际解释。
一、 偏最小二乘回归的建模策略\原理\方法
1.1建模原理
设有 q个因变量{qyy,...,1}与p自变量{pxx,...,1}。为了研究因变量与自变量的统计关系,我们观测了n个样本点,由此构成了自变量与因变量的数据表X={pxx,...,1}与.Y={qyy,...,1}。偏最小二乘回归分别在X与Y中提取出成分1t 与1u (也就是说, 1t是pxx,...,1 的线形组合, 1u是qyy,...,1 的线形组合).在提取这两个成分时,为了回归分析的需要,有下列两个要求:
典型相关分析冗余分析
典型相关分析（Canonical Correlation Analysis，CCA）是一种用于探索两组变量之间关系的统计方法。它可以同时分析两组变量之间的线性关系，在数据降维、特征选择、模式识别等领域有广泛的应用。冗余分析（Redundancy Analysis，RDA）是典型相关分析的一种扩展形式，主要用于解释连续型解释变量对两组变量关系的贡献。
典型相关分析的基本思想是寻找两组变量之间的最大相关性。假设有两组变量X和Y，其中X = [X1, X2, ..., Xp]和Y = [Y1, Y2, ...,
Yq]，它们都是经过标准化的观测值。典型相关分析的目标是找到一对线性组合，分别称为第一个典型变量对（first canonical variate pair），使得在两组变量之间的相关系数最大。然后，可以继续找到第二个典型变量对，它与第一个典型变量对相互独立且与之前的典型变量对相关性最大，依此类推。最后，可以得到p个典型变量对，每个典型变量对都有一个相关系数，表示两组变量之间的关系。
典型相关分析的核心是求解降维问题，通过计算两组变量在每个典型变量对上的线性组合，可以将原始数据映射到一个低维空间。这样一来，可以简化原始数据的复杂性，并且保留最相关的信息。在特征选择和数据可视化中，典型相关分析可以帮助我们识别重要的变量和确定关键的模式。
冗余分析是典型相关分析的一种扩展形式，它增加了一个连续型解释变量的考虑。冗余分析的目标是找到解释变量集合对两组变量关系的贡献。在典型相关分析中，我们已经找到了两组变量之间的最大相关性，而冗余分析可以帮助我们理解这种相关性是如何受解释变量影响的。通过计算解释变量对两组变量的解释度（explained variance），可以确定解释变量在两组变量关系中的贡献。 冗余分析可以用于数据挖掘、模式识别和建模等领域。在数据挖掘中，冗余分析可以帮助我们识别和理解分类或预测模型中的关键变量。在模式识别中，冗余分析可以帮助我们发现数据中的模式和结构。在建模中，冗余分析可以帮助我们选择解释变量，并确定它们对模型的解释度。总之，冗余分析为我们提供了一个全面的视角，帮助我们理解多组变量之间的关系。
数学建模相关性分析模型例题
相关性分析是指分析两个随机变量之间是否存在一定的关系.相关分析可以发现变量间的共变关系（包括正向的和负向的共变关系），一旦发现了共变关系就意味着变量间可能存在两种关系中的一种：(1)因果关系（两个变量中一个为因、另一个为果）：(2)存在公共因子（两变量均为果，有潜在的共因)，很多时候，我们需要寻找这些因果关系，或者是寻找公共因子.相关性研究是非常有用的，它是许多深入研究必备的初始阶段工作
衡量随机变量相关性的度量主要有三种：pearson相关系数、spearman相关系数、kendall相关系数.
7.1 Pearson(皮尔逊)相关系数一线形相关分析
对于二维随机变量(X,Y),根据数学期望性质，若X和Y相互独立，且EX和EY存在，则有
E[(X-EX(Y-EY]=E(XY-EX.EY =0
所以当E[(X-EX)(Y-EY】≠0时，必有X和Y不相互独立.
定义7-1设(X,Y)为二维随机变量，称E[(X-EX(Y-EY)]为随机变量X,Y的协方差(Covariance),记为Cov(X,Y),即Cov(X,Y)=E[(X-EX)(Y-EY)]
特别地 Cov(X,X)=E[(X-EX(X-EX)]=DX
Cov(Y,Y)=E[(Y-EY)(Y-EY)]=DY
故方差DX,DY是协方差的特例
从定义中看到，协方差和变量的量纲有关.我们将随机变量标准化，得水=X Ex,yapos;_Y-EYDXDY(X,Y)的协方差为Cov(X,Y)D(X)D(Y)
定义7-2设(X,Y)为二维随机变量，称Cov(X,Y)为随机变量X,Y的Pearson相关系
D(X)D(Y)数(Pearson correlation coefficient)或标准协方差(Standard covariance),记为pxy,即Cov(X,Y)P=D(X)D(Y)
定理7-1设D(X)amp;gt;0,D(Y)amp;gt;0,P为(X,Y)的相关系数，则
典型相关分析是研究两组变量间相关关系的一种多元统计方法。
优点是把两组随机变量的相关关系直接进行研究
典型相关分析数学模型
假定两组变量为X1,X2…,Xp和Y1,Y2,…,Yq，那么，问题就在于要寻找系数a1,a2…,ap和b1,b2,…,bq，和使得新的综合变量（亦称为典型变量(canonical
variable)）
11221122ppqqVaXaXaXWbYbYbY
之间的相关关系最大。这种相关关系是用典型相关系数（canonical correlation
coefficient）来衡量的。
这里所涉及的主要的数学工具还是矩阵的特征值和特征向量问题。而所得的特征值与V和W的典型相关系数有直接联系。
由于特征值问题的特点，实际上找到的是多组典型变量(V1, W1), (V2, W2),…，其中V1和W1最相关，而V2和W2次之等等，
而且V1, V2, V3,…之间及而且W1, W2, W3,…之间互不相关。这样又出现了选择多少组典型变量(V, W)的问题了。实际上，只要选择特征值累积总贡献占主要部分的那些即可。
软件还会输出一些检验结果；于是只要选择显著的那些(V, W)。
对实际问题，还要看选取的(V, W)是否有意义，是否能够说明问题才行。至于得到(V, W)的计算，则很简单
两个变量时,用线性相关系数研究两个变量之间的线性相关性:
22(,)(,)()()()()()()iiixyiiiiCovXYCorrXYVarXVarYxxyyrxxyy
目的:研究多个变量之间的相关性
方法:利用主成分思想,可以把多个变量与多个变量之间的相关化为两个变量之间的相关. 即找一组系数(向量)l和m, 使新变量U=l’X(1)和V=m’X(2)有最大可能的相关关系.
