偏最小二乘回归方法
1 偏最小二乘回归方法（PLS）背景介绍
在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分析是一种普遍应用的统计分析与预测技术。多元线性回归中，一般采用最小二乘方法（Ordinary Least Squares :OLS）估计回归系数，以使残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往失效。而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重，但又普遍存在。为消除这种影响，常采用主成分分析（principal Components Analysis :PCA）的方法，但采用主成分分析提取的主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。
最小偏二乘回归方法（Partial Least Squares Regression ：PLS）就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。它于1983年由S.Wold 和 C.Albano 等人首次提出并成功地应用在化学领域。近十年来，偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展，己经广泛地应用在许多领域，如生物信息学、机器学习和文本分类等领域。
偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模，它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。它不再是直接考虑因变量集合与自变量集合的回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量（又称成分），然后对它们进行回归建模。偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化（主成分分析）以及两组变量间的相关性分析（典型性关分析），即集多元线
性回归分析、典型相关分析和主成分分析的基本功能为一体。下面将简单地叙述偏最小二乘
回归的基本原理。
2 偏最小二乘法的工作目标
2.1 偏最小二乘法的工作目标
在一般的多元线性回归模型中，如果有一组因变量Y={y 1, ⋯,y q} 和一组自变量
X={x 1, ⋯,x p} ，当数据总体能够满足高斯—马尔科夫假设条件时，根据最小二乘法，有
Y =X（X T X）-1X T Y
Y 将是Y 的一个很好的估计量。从这个公式容易看出，由于（X T X）必须是可逆矩阵，所以
当X 中的变量存在严重的多重相关性时，或者在X 中的样本点数与变量个数相比显然过少时，这个最小二乘估计都会失效并将引发一系列应用方面的困难。考虑到这个问题，偏最小二乘回归分析提出了采用成分提取的方法。在主成分分析中，对于单张数据表X，为了找到能最好地概括原数据的综合变量，在X 中提取了第一主成分F1, 使得F1 中所包含的原数据变异信息可达到最大，即
Var（F 1）→ max
在典型相关分析中，为了从整体上研究两个数据表之间的相关关系，分别在X 和Y中提取了典型成分F1 和G1，它们满足
r（F 1,G1）→ max
F1T F 1=1
G1 G1=1
在能够达到相关度最大的综合变量F1 和G1 之间，如果存在明显的相关关系，则可以认为，在两个数据表之间亦存在相关关系。
提取成分的做法在数据分析的方法中十分常见，除主成分、典型成分以外，常见到的还有Fisher 判别法中的判别成分。实际上，如果 F 是X 数据表的某种成分，则意味着 F 是X 中变量的某一线性组合F=Xa,而 F 作为一个综合变量，它在X中所综合提取的信息，将满足我们特殊的分析需要。
2.2 偏最小二乘回归分析的建模方法
设有q个因变量{y1, ⋯,y q}和p 个自变量{x 1, ⋯,x p}, 为了研究因变量与自变量的统计关
系，观测n个样本点，由此构成了自变量与因变量的数据表X=【x1, ⋯,x p】n*p和Y=【y1, ⋯,y q】
n*q。
偏最小二乘法回归分别在X与Y中提取出t1和u1（也就是说，t 1是x1,⋯,x p的线性组合，u1
是y1, ⋯,y q的线性组合）。在提取这两个成分时，为了回归分析的需要，有下列两个要求：
（1）t1和u1应尽可能大地携带它们各自数据表中的变异信息
（2）t 1 和u1 的相关程度能达到最大
这两个要求表明，t1和u1应尽可能好地代表数据表X和Y，同时自变量的成分t 1对因变
量的成分u1 又有最强的解释能力。
在第一个成分t1和u1被提取后，偏最小二乘法回归分别实施X对t 1的回归以及Y对t1
的回归。如果方程达到了满意的精度，则算法终止；否则，将利用X 被t 1解释后的残余信息以及Y 被t1 解释后的残余信息进行第二轮的成分提取。如此递推，直到能达到一个较为满意的精度为止。若最终对X共提取了m个成分t1, ⋯,t m，偏最小二乘法回归将通过实施Y K
对t1,⋯,t m的回归，然后再表达成Y K关于原变量x1,⋯,x p的回归方程，k=1, ⋯,q 。
3 计算方法推导
3.1 普遍采用的计算推导过程为了数学推导方便起见，首先将数据做标准化处理。X 经标准化
处理后的数据矩阵记为
E0=(E01, ⋯,E 0P) n*p,Y 经过标准化处理后的数据矩阵记为F0=(F 01, ⋯,F 0q) n*q。
第一步，记t 1是E0的第一个成分，t 1=E0w1, w1是E0的第一个轴，它是一个单位向量，即||w 1||=1 ；记u1是F0的第一个成分，u1=F0c1, c1是F0的第一个轴，它是一个单位向量，即||c 1||=1 如果要t 1,u 1能分别很好德代表X 与Y 中的数据变异信息，根据主成分分析原理，应该有
Var(t 1) → max
Var(u 1) → max 另一方面，由于回归建模的需要，又要求t 1对u1有最大的解释能力，由典型相关分析
的思路，t1与u1的相关度应达到最大值，即
r(t 1,u 1) → max 因此综合起来，在偏最小二乘回归中，我们要求t 1 与u1 协方差达到最大，即
Cov(t 1,u 1)=
即求解下列优化问题
max
w1T w 1=1 ( 3-1 )
T
c1 c 1=1
因此，将在||w 1||=1 和||c 1||=1 的约束条件下，去求( w1T E0T F0c1)的最大值。此种情况下我们就可以用拉格朗日算法求其最优解，记
s= w 1T E0T F0c1- λ 1(w1 T w 1-1)- λ2(c1T c 1-1 )
对s 分别求关于w1、c1、λ 1、λ 2的偏导，并令之为零，有
E 0F0c1-2λ1 w1=0 （3-2 ）
F 0T E0w1-2 λ2 c 1=0 （3-3）
-（ w 1T w 1-1）=0 （3-4 ）
-（ c 1T c 1-1）=0 （3-5 ）
