偏最小二乘回归结果解读

偏相关与偏最小二乘
偏相关分析和偏最小二乘回归是两种常用的多元统计分析方法，用于处理多个预测变量和一个响应变量的关系。

偏相关分析是一种确定多个变量之间相关性的方法，它控制其他变量的影响，只考虑特定两个变量之间的相关性。

这种方法用于探索变量之间的依赖关系，并通过控制其他变量的影响来理解变量之间的纯粹关系。

偏相关分析可以揭示变量之间的真实关系，即使它们受到其他变量的影响。

偏最小二乘回归是一种回归分析技术，用于建立因变量和自变量之间的关系模型。

它通过迭代过程同时估计回归系数和提取对因变量有最大影响的自变量特征。

在每一步迭代中，它使用最小二乘法估计回归系数，并提取新的特征，直到达到收敛或达到预设的迭代次数。

总之，偏相关分析用于探索和理解变量之间的相关性，而偏最小二乘回归则用于建立预测模型和预测因变量的值。

这两种方法在多元统计分析中都是非常重要的工具，可以根据具体的数据和分析目标选择使用其中一种或结合使用。

偏最小二乘法1.1基本原理偏最小二乘法(PLS)是基于因子分析的多变量校正方法，其数学基础为主成分分析。

但它相对于主成分回归(PCR)更进了一步，两者的区别在于PLS法将浓度矩阵Y和相应的量测响应矩阵X同时进行主成分分解：X二 TP+EY=UQ+F式中T和U分别为X和Y的得分矩阵，而P和Q分别为X和Y的载荷矩阵，E和F分别为运用偏最小二乘法去拟合矩阵X和Y时所引进的误差。

偏最小二乘法和主成分回归很相似，其差别在于用于描述变量Y中因子的同时也用于描述变量X。

为了实现这一点，数学中是以矩阵Y的列去计算矩阵X的因子。

同时，矩阵Y的因子则由矩阵X 的列去预测。

分解得到的T和U矩阵分别是除去了人部分测量误差的响应和浓度的信息。

偏最小二乘法就是利用各列向量相互正交的特征响应矩阵T和特征浓度矩阵U进行回归：U=TB得到回归系数矩阵，又称矢联矩阵E：B=(TT )F U因此，偏最小二乘法的校正步骤包括对矩阵Y和矩阵X的主成分分解以及对矢联矩阵B的计算。

12主成分分析主成分分析的中心目的是将数据降维，以排除众多化学信息共存中相互重叠的信息。

他是将原变量进行转换，即把原变量的线性组合成几个新变量。

同时这些新变量要尽可能多的表征原变量的数据结构特征而不丢失信息。

新变量是一组正交的，即互不相矢的变量。

这种新变量又称为主成分。

如何寻找主成分，在数学上讲，求数据矩阵的主成分就是求解该矩阵的特征值和特征矢量问题。

卞面以多组分混合物的量测光谱来加以说明。

假设有n个样本包含p个组分，在m个波长下测定其光谱数据，根据比尔定律和加和定理有：如果混合物只有一种组分，则该光谱矢量与纯光谱矢量应该是方向一致，而人小不同。

换句话说，光谱A表示在由p个波长构成的p维变量空间的一组点(n个)，而这一组点一定在一条通过坐标原点的直线上。

这条直线其实就是纯光谱b。

因此由ni个波长描述的原始数据可以用一条直线，即一个新坐标或新变量来表示。

如果一个混合物由2个组分组成，各组分的纯光谱用bl,b2 表示，则有：<=c i{b: + Ci2bl有上式看出，不管混合物如何变化，其光谱总可以用两个新坐标轴bl,b2来表示。

偏最小二乘法的应用
最小二乘法（Ordinary Least Square，OLS）是统计学和线性代数关于最小化损失函数的一种方法，它的核心在于通过最小化误差的平方来拟合数据。

偏最小二乘法（Partial Least Squares, PLS）是一种比OLS改进的拟合方法，主要用于多变量分析中的回归分析，它比OLS更有效的解决了多变量依赖的问题。

PLS是一种把多个自变量当作综合变量来进行回归分析，它把自变量之间的相关性从模型式中除去，从而得到一种更加有效且能将变量和结果更有效地关联的模型，通过分量回归可以做出更准确更易理解的模型。

应用场景：
1. 利用现有的产品评价调查数据，建立一个有效的模型来判断产品的市场接受度，来分析客户行为；
2. 利用包含有因素和指标的客户账户数据，来构建一个模型来预测客户行为，即客户消费偏好；
3. 利用多自变量的市场数据来研究产品定价策略，以便确定最好的定价；
4. 从市场调查中，从多自变量中挖掘出有用的数据，从而进行新产品的开发研究；
5. 借由偏最小二乘法建立模型，估计新的市场的需求量，以便更好地进行水泥厂的销售计划。

偏最小二乘法 ( PLS)是光谱多元定量校正最常用的一种方法 , 已被广泛应用 于近红外 、 红外 、拉曼 、核磁和质谱等波谱定量模型的建立 , 几乎成为光谱分析中建立线性定量校正模型的通用方法 〔1, 2〕 。

近年来 , 随着 PLS 方法在光谱分析尤其是分子光谱如近红外 、 红外和拉曼中应用 的深入开展 , PLS 方法还被用来解决模式识别 、定量校正模型适用性判断以及异常样本检测等定性分析问题 。

由于 PLS 方法同时从光谱阵和浓度阵中提取载荷和得分 , 克服主成分分析 ( PCA)方法没有利用浓度阵的缺点 , 可有效降维 , 并消除光谱间可能存在的复共线关系 , 因此取得令人非常满意的定性分析结果 〔3 ～ 5〕 。

本文主要介绍PLS 方法在光谱定性分析方面的原理及应用 实例 。

偏最小二乘方法(PLS-Partial Least Squares))是近年来发展起来的一种新的多元统计分析法, 现已成功地应用于分析化学, 如紫外光谱、气相色谱和电分析化学等等。

该种方法，在化合物结构-活性/性质相关性研究中是一种非常有用的手段。

如美国Tripos 公司用于化合物三维构效关系研究的CoMFA (Comparative Molecular Field Analysis)方法, 其中，数据统计处理部分主要是PLS 。

在PLS 方法中用的是替潜变量，其数学基础是主成分分析。

替潜变量的个数一般少于原自变量的个数，所以PLS 特别适用于自变量的个数多于试样个数的情况。

在此种情况下，亦可运用主成分回归方法，但不能够运用一般的多元回归分析，因为一般多元回归分析要求试样的个数必须多于自变量的个数。

§§ 6.3.1 基本原理6.3 偏最小二乘（PLS ）为了叙述上的方便，我们首先引进“因子”的概念。

一个因子为原来变量的线性组合，所以矩阵的某一主成分即为一因子，而某矩阵的诸主成分是彼此相互正交的，但因子不一定，因为一因子可由某一成分经坐标旋转而得。

偏最小二乘回归是一种新型的多元统计数据分析方法，它与1983年由伍德和阿巴诺等人首次提出。

近十年来，它在理论、方法和应用方面都得到了迅速的发展。

密西根大学的弗耐尔教授称偏最小二乘回归为第二代回归分析方法。

偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面：（1）偏最小二乘回归是一种多因变量对多自变量的回归建模方法。

（2）偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决的问题。

在普通多元线形回归的应用中，我们常受到许多限制。

最典型的问题就是自变量之间的多重相关性。

如果采用普通的最小二乘方法，这种变量多重相关性就会严重危害参数估计，扩大模型误差，并破坏模型的稳定性。

变量多重相关问题十分复杂，长期以来在理论和方法上都未给出满意的答案，这一直困扰着从事实际系统分析的工作人员。

在偏最小二乘回归中开辟了一种有效的技术途径，它利用对系统中的数据信息进行分解和筛选的方式，提取对因变量的解释性最强的综合变量，辨识系统中的信息与噪声，从而更好地克服变量多重相关性在系统建模中的不良作用。

（3）偏最小二乘回归之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。

偏最小二乘回归=多元线性回归分析+典型相关分析+主成分分析由于偏最小二乘回归在建模的同时实现了数据结构的简化，因此，可以在二维平面图上对多维数据的特性进行观察，这使得偏最小二乘回归分析的图形功能十分强大。

在一次偏最小二乘回归分析计算后，不但可以得到多因变量对多自变量的回归模型，而且可以在平面图上直接观察两组变量之间的相关关系，以及观察样本点间的相似性结构。

这种高维数据多个层面的可视见性，可以使数据系统的分析内容更加丰富，同时又可以对所建立的回归模型给予许多更详细深入的实际解释。

偏最小二乘回归的建模策略原理方法1.1建模原理设有q个因变量｛y i,…，y q｝和p自变量｛咅,…,X p｝。

为了研究因变量和自变量的统计关系，我们观测了n个样本点，由此构成了自变量与因变量的数据表X=｛X i,...,X p｝和.Y=｛y i,...,y q｝。

多重共线性问题的偏最小二乘估计多重共线性是回归分析中常见的问题，指的是自变量之间存在高度相关性的情况。

在存在多重共线性的情况下，普通最小二乘法（OLS）估计的结果可能会出现严重的偏差，导致对模型的解释和预测能力产生负面影响。

为了解决多重共线性问题，偏最小二乘估计（PLS）成为了一种常用的方法。

偏最小二乘估计（PLS）是一种用来处理多元共线性问题的方法，它能够减少自变量之间的相关性，从而改善回归估计的效果。

下面我们将详细介绍偏最小二乘估计的原理、方法和应用。

一、多重共线性问题的原因和影响多重共线性通常是由于自变量之间存在较高的相关性而导致的。

当自变量之间存在线性相关性时，OLS估计的结果会变得不稳定，其标准误和t统计量可能会出现很大的偏差，从而影响对回归系数的显著性检验和对因变量的预测能力。

在多重共线性存在的情况下，自变量的系数估计可能会出现颠倒、符号错误等问题，导致对模型的解释产生困难。

多重共线性还会导致模型的方差膨胀因子（VIF）增大，从而使得模型的精确性下降。

解决多重共线性问题对于提高回归分析的准确性和稳定性非常重要。

二、偏最小二乘估计的原理偏最小二乘估计是一种基于主成分分析的方法，它通过将自变量进行线性变换，使得变换后的新自变量之间不再存在相关性，从而减少多重共线性的影响。

偏最小二乘估计的核心思想是通过一系列的主成分分析，找到一组新的自变量，使得与因变量的相关性最大，同时自变量之间的相关性最小。

具体来说，偏最小二乘估计通过以下步骤实现：1. 计算原始自变量矩阵的主成分分析得到新的自变量矩阵。

2. 然后，选取一个较小的主成分数，将原始自变量矩阵进行主成分投影，得到新的自变量矩阵。

3. 使用新的自变量矩阵进行回归分析，得到偏最小二乘估计的结果。

通过以上步骤，可以在减少自变量之间的相关性的最大程度地保留原始自变量矩阵对因变量的解释能力，从而提高回归分析的稳定性和精确性。

偏最小二乘估计有两种常用的方法：偏最小二乘回归（PLSR）和偏最小二乘路径分析（PLSPA）。

多重共线性问题的偏最小二乘估计多重共线性问题是回归分析中一个常见的挑战，它会影响模型的稳定性和可靠性。

在面对多重共线性问题时，偏最小二乘估计（PLS）是一种常用的解决方法。

本文将介绍多重共线性问题的原因和影响，以及偏最小二乘估计的原理和应用。

一、多重共线性问题的原因和影响多重共线性是指自变量之间存在高度相关性的情况，这种相关性会导致回归系数的估计不准确，增加误差项的方差，降低模型的预测能力。

多重共线性问题通常有以下几个原因：1. 数据样本量不足：当样本量不足时，容易导致自变量之间的相关性较高，造成多重共线性问题。

2. 自变量之间存在共同因素：如果自变量之间存在共同的影响因素，就会导致它们之间出现高度相关性，从而产生多重共线性。

3. 测量误差：测量误差会使得变量之间的相关性被放大，导致多重共线性问题的出现。

多重共线性问题会对回归分析结果产生影响，主要表现在以下几个方面：1. 回归系数不稳定：由于自变量之间的相关性，回归系数估计的不稳定性会增加。

2. 系数估计偏差：多重共线性使得回归系数的估计偏离真实值，降低了模型的准确性。

3. 预测能力下降：多重共线性问题会降低模型的预测能力，使得模型的预测误差增加。

解决多重共线性问题对于提高回归模型的准确性和可靠性至关重要。

二、偏最小二乘估计的原理偏最小二乘估计是一种在面对多重共线性问题时常用的方法，它通过保留自变量与因变量之间的信息，剔除自变量之间的共线性，从而得到对系数估计更加稳健的模型。

偏最小二乘估计的原理是通过主成分分析的思想，将自变量通过线性组合的方式转化为一组新的综合变量，使得新变量之间的相关性尽可能小，同时保留与因变量相关性较高的信息。

具体步骤如下：1. 将自变量和因变量进行标准化处理，使得均值为0，方差为1。

2. 通过主成分分析的方法，得到一组新的综合变量（主成分），这些主成分是原有自变量的线性组合。

3. 选择与因变量相关性最高的主成分作为潜在自变量，构建偏最小二乘估计模型。

1.最小二乘法的原理最小二乘法的主要思想是通过确定未知参数（通常是一个参数矩阵），来使得真实值和预测值的误差（也称残差）平方和最小，其计算公式为E=\sum_{i=0}^ne_i^2=\sum_{i=1}^n(y_i-\hat{y_i})^2 ，其中 y_i 是真实值，\hat y_i 是对应的预测值。

如下图所示（来源于维基百科，Krishnavedala 的作品），就是最小二乘法的一个示例，其中红色为数据点，蓝色为最小二乘法求得的最佳解，绿色即为误差。

图1图中有四个数据点分别为：(1, 6), (2, 5), (3, 7), (4, 10)。

在线性回归中，通常我们使用均方误差来作为损失函数，均方误差可以看作是最小二乘法中的 E 除以m（m 为样本个数），所以最小二乘法求出来的最优解就是将均方误差作为损失函数求出来的最优解。

对于图中这些一维特征的样本，我们的拟合函数为h_\theta(x)=\theta_0+\theta_1x ，所以损失函数为J(\theta_0,\theta_1)=\sum_\limits{i=0}^m(y^{(i)}-h_\theta(x^{(i)}))^2=\sum_\limits{i=0}^m(y^{(i)}-\theta_0-\theta_1x^{(i)})^2 （这里损失函数使用最小二乘法，并非均方误差），其中上标(i)表示第 i 个样本。

2.最小二乘法求解要使损失函数最小，可以将损失函数当作多元函数来处理，采用多元函数求偏导的方法来计算函数的极小值。

例如对于一维特征的最小二乘法， J(\theta_0,\theta_1) 分别对 \theta_0 ， \theta_1 求偏导，令偏导等于 0 ，得：\frac{\partial J(\theta_0,\theta_1)}{\partial\theta_0}=-2\sum_\limits{i=1}^{m}(y^{(i)}-\theta_0-\theta_1x^{(i)}) =0\tag{2.1}\frac{\partial J(\theta_0,\theta_1)}{\partial\theta_1}=-2\sum_\limits{i=1}^{m}(y^{(i)}-\theta_0-\theta_1x^{(i)})x^{(i)} = 0\tag{2.2}联立两式，求解可得：\theta_0=\frac{\sum_\limits{i=1}^m(x^{(i)})^2\sum_\limits{i=1}^my^{(i)}-\sum_\limits{i=1}^mx^{(i)}\sum_\limits{i=1}^mx^{(i)}y^{(i)}}{m\sum_\limits{i=1}^m(x^{(i)})^2-(\sum_\limits{i=1}^mx^{(i)})^2} \tag{2.3}\theta_1=\frac{m\sum_\limits{i=1}^mx^{(i)}y^{(i)}-\sum_\limits{i=1}^mx^{(i)}\sum_\limits{i=1}^my^{(i)}}{m\sum_\limits{i=1}^m(x^{(i)})^2-(\sum_\limits{i=1}^mx^{(i)})^2} \tag{2.4}对于图 1 中的例子，代入公式进行计算，得： \theta_0 = 3.5, \theta_1=1.4,J(\theta) = 4.2 。

偏最小二乘法（PLS）简介-数理统计偏最小二乘法partial least square method是一种新型的多元统计数据分析方法，它于1983年由伍德(S.Wold)和阿巴诺(C.Albano)等人首次提出。

近几十年来，它在理论、方法和应用方面都得到了迅速的发展。

偏最小二乘法长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。

而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。

这是多元统计数据分析中的一个飞跃。

偏最小二乘法在统计应用中的重要性体现在以下几个方面：偏最小二乘法是一种多因变量对多自变量的回归建模方法。

偏最小二乘法可以较好的解决许多以往用普通多元回归无法解决的问题。

偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。

主成分回归的主要目的是要提取隐藏在矩阵X中的相关信息，然后用于预测变量Y的值。

这种做法可以保证让我们只使用那些独立变量，噪音将被消除，从而达到改善预测模型质量的目的。

但是，主成分回归仍然有一定的缺陷，当一些有用变量的相关性很小时，我们在选取主成分时就很容易把它们漏掉，使得最终的预测模型可靠性下降，如果我们对每一个成分进行挑选，那样又太困难了。

偏最小二乘回归可以解决这个问题。

它采用对变量X和Y都进行分解的方法，从变量X和Y 中同时提取成分(通常称为因子)，再将因子按照它们之间的相关性从大到小排列。

现在，我们要建立一个模型，我们只要决定选择几个因子参与建模就可以了基本概念偏最小二乘回归是对多元线性回归模型的一种扩展，在其最简单的形式中，只用一个线性模型来描述独立变量Y与预测变量组X之间的关系:Y= b0 + b1X1 + b2X2 + ... + bpXp在方程中，b0是截距，bi的值是数据点1到p的回归系数。

例如，我们可以认为人的体重是他的身高、性别的函数，并且从各自的样本点中估计出回归系数，之后，我们从测得的身高及性别中可以预测出某人的大致体重。

主成分回归与偏最小二乘方法的区别与联系主成分回归和偏最小二乘法都是线性回归模型，可以帮助我们预测结果。

主成分回归利用主成分分析（PCA）和线性回归算法相结合，通过减少解决多元回归模型（多变量）时涉及的解决系数的数量，来最小化模型的复杂性和多重共线性，从而对解决系数进行估计。

偏最小二乘法（PLS）是采用PCA分解和线性回归的特殊情况，当输入和输出变量之间存在强相关性时，它是一种有效的线性模型。

它可以解决多元回归模型，简化表达式，提高了模型的准确性。

但是，因为它不考虑解释变量之间的关系，所以对于多元回归的结果可能不太准确。

因此，偏最小二乘法和主成分回归的共同之处在于它们都是采用PCA 分解和线性回归的特殊情况，但它们的区别在于，主成分回归解决了多重共线性，而偏最小二乘法的限制之一是，它不考虑解释变量之间的关系。