第十七讲 矛盾方程（组）的解---最小二乘法
一、从实验数据处理谈起
设有一组实验数据(t 1，s 1)，(t 2，s 2)，……，(t n ，s n )，希望由实验数据拟合给定规律，从而测出待测量的有关参数。
假定规律为：2t c +1s=c ，由于存在误差i 2
t c (i 1,2,,n)≠+= i 1s c ，令
112122n n t 1s t 1c s A ,x ,b c t 1s ????????
??????
===????????????
????????
， 则：Ax=b 实际无解，或者说
矩阵方程Ax=b 成为矛盾方程（不自洽、非相容），虽说无解，但在物理上看，我们需要而且也理当有“解”。怎么办？
一般处理是，定义一种目标函数，例如：
n
2
12i i 1i 2i i 1E(c ,c )w (s c t c )w 0==-->∑为加权系数
使误差12E(c ,c )最小化。w i =1(i=1～n)时2
122E(c ,c )Ax b -＝
二、 最小二乘法（解）
对于矛盾方程Ax=b ，最小二乘法是求其“解”的一种方法。即求使2Ax b min -=的解。
引理：m n A C ?∈设,A{1,3}由如下方程的通解构成：
(1,3)(1,3)(1,3)n m AX AA A{1,3}{A (I A A)Z Z C }?=→=+-∈
其中，A (1,3)为A{1,3}中的某个矩阵。 证：1。方程既然相容，设X 是其某个解，则 (1,3)H
(1,3)H
(1,3)
(i)
AXA AA A A X A{1}
(iii)(AX)(AA )AA
AX X A{3}
==→∈===→∈
即方程的解必在A{1,3}中。
2。设X 为A 的一个{1,3}-逆矩阵，则 (
)()
()()()iii
H
H
(1,3)
(1,3)H
(1,3)
H
H
H
H (1,3)H
H
(1,3)(1,3)
AX AA
AX AA
AX A A X A A (AXA)AA AA
======
即，A 的{1,3}-逆矩阵必满足方程AX=AA (1,3)
{}
{
}
(1,3)(1,3)
(1,3)
n m
A{1,3}AX AA A
(I A
A)Z Z C
?∴==+-∈方程的所有解
＝
令(1,3)(1,3)X A I A A)Z ＝＋（－，则
(1,3)(1,3)(1,3)
(1,3)
(1,3)
H
(i)AX A AA A AZA AA AZA A X A{1}
(iii)AX AA
(A AA
A)Z A A
(AX)
X A{3}
=+-=∈=+-==∈
定理：矩阵方程Ax=b 的最小二乘解为 (1,3)x A b =，其中A (1,3)为A 的
任何一个{1,3}-逆矩阵，反之，存在X ，对于任何m b C ∈均有Xb 成为Ax=b 的最小二乘解，则X A{1,3}∈。 证明：
R(A)R(A)R(A)R(A)R(A)R (A)Ax b (Ax P b)(P b b)
(Ax P b)R(A),(P b b)(I P )b P b R (A)
⊥⊥
-=-+--∈-=--=-∈
所以，2222
R(A)R(A)R(A)22
2
2Ax b Ax P b P b b b P b -=-+-≥-，
故2
2Ax b -取得极小值的条件是x 为方程R(A)Ax P b = 的解。任取一个(1,3)A A{1,3}∈，我们知道(1,3)R(A)AA P =。而对于(1,3)x A b =，有(1,3)R(A)Ax AA b P b ==（但最小二乘解是否一定具有A (1,3)b 的形式呢？）
方程(1,3)Ax AA b =的通解为
{}
{}
(1,3)(1,3)(1,3)n
(1,3)(1,3)
(1,3)
n
x A AA b y A Ay y C y A b z
A
b (I A
A)z z C
=+-∈=+=+-∈
显然最小二乘解并不一定都具有A (1,3)b 的形式。
反之，若对于m
(1,3)
b C
,x X b A b
A A b
?∈==R(A)均使x=P ，即(1,3)
(1,3)
b ,A X b A A b
A X
A A X A {1,3}
?=
→=→
∈有 推论：x 是方程Ax ＝b 的最小二乘解的充要条件是，x 为方程
H H A Ax A b =的解。
证：R(A)x Ax P b ?=为最小二乘解，而H R(A)N(A )b P b P b =+，故
H H H N(A )x Ax b P b N(A )A (Ax b)0
?-=-∈→-=为最小二乘解
最小二乘解一般不唯一。 三、 极小范数最小二乘解
定理2 ：设m n m A C ,b C ?∈∈ ，则x ＝+A b 是方程Ax ＝b 的极小范数最小二乘解。反之，若存在n m X C ?∈，若对于所有m b C ∈，x ＝Xb 均成为方程Ax ＝b 的极小范数最小二乘解，则X ＝+A 。
证：最小二乘解满足Ax ＝AA (1,3)b ，其极小范数解唯一，且为
b A b AA A x +==)()3,1()4,1(，反之，m b C ,Xb ?∈均成为唯一的极小范数最小二乘解b A +，所以：X ＝+A 。
定理3：矩阵方程AXB＝D的极小范数最小二乘解唯一，且为
+
+
X
=DB
A
证明略（教材P86）
作业：P343－344，1，2，5
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
《人工智能》课程论文 论文题目：偏最小二乘算法（PLS）回归建模 学生姓名：张帅帅 学号： 172341392 专业：机械制造及其自动化 所在学院：机械工程学院 年月日
目录 偏最小二乘回归....................................... - 2 -摘要................................................. - 2 -§1偏最小二乘回归原理................................ - 2 -§2一种更简洁的计算方法.............................. - 6 -§3案例分析 ......................................... - 7 -致谢................................................ - 16 -附件：.............................................. - 17 -
偏最小二乘回归 摘要 在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用一组变量（常称为自变量或预测变量）去预测另一组变量（常称为因变量或响应变量），除了最小二乘准则下的经典多元线性回归分析（MLR ），提取自变量组主成分的主成分回归分析（PCR ）等方法外，还有近年发展起来的偏最小二乘（PLS ）回归方法。 偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。 偏最小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分析方法的特点，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以同时完成一些类似于主成分分析和典型相关分析的研究内容，提供更丰富、深入的一些信息。 本文介绍偏最小二乘回归分析的建模方法；通过例子从预测角度对所建立的回归模型进行比较。 关键词：主元分析、主元回归、回归建模 1 偏最小二乘回归原理 考虑p 个变量p y y y ,...,21与m 个自变量m x x x ,...,21 的建模问题。偏最小二乘回归的基本作法是首先在自变量集中提出第一成分t ?（t ?是 m x x x ,...,21 的线性组合，且尽可能多地提取原自变量集中的变异信息）；同时在因变量集中也提取第一成分u ?，并要求t ?与u ?相关程度达到最大。然后建立因变量 p y y y , (21) t ?的回归，如果回归方程已达到满意的精度，则算法中止。否则 继续第二对成分的提取，直到能达到满意的精度为止。若最终对自变量集提取r 个成分r t t t ,...,21,偏最小二乘回归将通过建立 p y y y ,...,21与r t t t ,...,21的回归 式，然后再表示为p y y y ,...,21与原自变量的回归方程式，即偏最小二乘回归方程式。 为了方便起见，不妨假定p 个因变量p y y y ,...,21与m 个自变量m x x x ,...,21均为
根据解的存在情况，线性方程可以分为: 有唯一解的恰定方程组， 解不存在的超定方程组， 有无穷多解的欠定方程组。 对于方程组Ax=b，A为n×m矩阵，如果A列满秩，且n>m。则方程组没有精确解，此时称方程组为超定方程组。 线性超定方程组经常遇到的问题是数据的曲线拟合。对于超定方程，在MATLAB 中，利用左除命令（x=A\b）来寻求它的最小二乘解； 还可以用广义逆来求，即x=pinv(A),所得的解不一定满足Ax=b，x只是最小二乘意义上的解。 左除的方法是建立在奇异值分解基础之上，由此获得的解最可靠； 广义逆法是建立在对原超定方程直接进行householder变换的基础上，其算法可靠性稍逊与奇异值求解，但速度较快； 独立方程个数大于独立的未知参数的个数的方程，称为超定方程，在matlab里面有三种方法求解， 一是用伪逆法求解，x=pinv(A)*b,二是用左除法求解，x=A\b,三是用最小二乘法求解, x=lsqnonneg(A,b) (3)矩阵求逆 行数和列数相等的矩阵称为方阵，只有方阵有逆矩阵。方阵的求逆函数为： B=inv(A) 该函数返回方阵A的逆阵。如果A不是方阵或接近奇异的，则会给出警告信息。 在实际应用中，很少显式的使用矩阵的逆。在MATLAB中不是使用逆阵x=inv(A)*B来求线性方程组Ax=B的解， 而是使用矩阵除法运算x=A\B来求解。因为MATLAB设计求逆函数inv时，采用的是高斯消去法，而设计除法解线性方程组时， 并不求逆，而是直接采用高斯消去法求解，有效的减小了残差，并提高了求解的速度。 因此，MATLAB推荐尽量使用除法运算，少用求逆运算。 (4)除法运算 在线性代数中，只有矩阵的逆的定义，而没有矩阵除法的运算。而在MATLAB 中，定义了矩阵的除法运算。
最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 2 = 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线 )(x p y =（图6-1）。函数)(x p 称为拟合函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法 . 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) [ ] ∑ = = - m i i i y x p 0 2 min ) (
最小二乘法原理 1. 概念 最小二乘法多项式曲线拟合，根据给定的m 个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。 2. 原理 给定数据点pi(xi,yi)，其中i=1,2,…,m 。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi 处的偏差δi= φ(xi)-yi ，i=1,2,...,m 。 常见的曲线拟合方法： 1. 是偏差绝对值最小 11min (x )y m m i i i i i φδφ===-∑∑ 2. 是最大的偏差绝对值最小 min max (x )y i i i i φδ?=- 3. 是偏差平方和最小 2211min ((x )y )m m i i i i i φδ?===-∑∑ 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 01...k k y a a x a x =+++ 2. 各点到这条曲线的距离之和，即偏差平方和如下： 2 2 011(...)m k i i k i i R y a a x a x =??=-+++??∑ 3. 为了求得符合条件的a 值，对等式右边求ak 偏导数，因而我们得到了： 011 2(...)0m k i k i i y a a x a x =??--+++=??∑ 011 2(...)0m k i k i i y a a x a x x =??--+++=??∑
…….. 0112( 0 k k i k i i y a a x a x x =??--+++=??∑ 4. 将等式简化一下，得到下面的式子 01111...n n n k i k i i i i i a n a x a x y ===+++=∑∑∑ 2 1011111...n n n n k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ …… 12011111...n n n n k k k k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ 5. 把这些等式表示成矩阵形式，就可以得到下面的矩阵： 11102111111121111.........n n n k i i i i i i n n n n k i i i i i i i i i n n n n k k k k k i i i i i i i i i n x x y a a x x x x y a x x x x y ===+====+====??????????????????????=?????????????????????? ∑∑∑∑∑∑∑∑∑∑∑ 6. 将这个范德蒙矩阵化简后得到： 0111122 21...1...1...k k k k n n n a y x x a y x x a y x x ??????????????????=????????????????????
偏最小二乘法 ( PLS)是光谱多元定量校正最常用的一种方法 , 已被广泛应用 于近红外 、 红外 、拉曼 、核磁和质谱等波谱定量模型的建立 , 几乎成为光谱分析中建立线性定量校正模型的通用方法 〔1, 2〕 。近年来 , 随着 PLS 方法在光谱分析尤其是分子光谱如近红外 、 红外和拉曼中应用 的深入开展 , PLS 方法还被用来解决模式识别 、定量校正模型适用性判断以及异常样本检测等定性分析问题 。 由于 PLS 方法同时从光谱阵和浓度阵中提取载荷和得分 , 克服主成分分析 ( PCA)方法没有利用浓度阵的缺点 , 可有效降维 , 并消除光谱间可能存在的复共线关系 , 因此取得令人非常满意的定性分析结果 〔3 ～ 5〕 。 本文主要介绍PLS 方法在光谱定性分析方面的原理及应用 实例 。 偏最小二乘方法(PLS-Partial Least Squares))是近年来发展起来的一种新的多元统计分析法, 现已成功地应用于分析化学, 如紫外光谱、气相色谱和电分析化学等等。该种方法，在化合物结构-活性/性质相关性研究中是一种非常有用的手段。如美国Tripos 公司用于化合物三维构效关系研究的CoMFA (Comparative Molecular Field Analysis)方法, 其中，数据统计处理部分主要是PLS 。在PLS 方法中用的是替潜变量，其数学基础是主成分分析。替潜变量的个数一般少于原自变量的个数，所以PLS 特别适用于自变量的个数多于试样个数的情况。在此种情况下，亦可运用主成分回归方法，但不能够运用一般的多元回归分析，因为一般多元回归分析要求试样的个数必须多于自变量的个数。 §§ 6.3.1 基本原理 6.3 偏最小二乘（PLS ） 为了叙述上的方便，我们首先引进“因子”的概念。一个因子为原来变量的线性组合，所以矩阵的某一主成分即为一因子，而某矩阵的诸主成分是彼此相互正交的，但因子不一定，因为一因子可由某一成分经坐标旋转而得。 在主成分回归中，第一步，在矩阵X 的本征矢量或因子数测试中，所处理的仅为X 矩阵，而对于矩阵Y 中信息并未考虑。事实上，Y 中亦可能包含非有用的信息。所以很自然的一种想法是，在矩阵X 因子的测试中应同时考虑矩阵Y 的作用。偏最小二乘正是基于这种思想的一种回归方法。 偏最小二乘和主成分分析很相似，其差别在于用于描述变量Y 中因子的同时也用于描述变量X 。为了实现这一点，在数学上是以矩阵Y 的列去计算矩阵X 的因子，与此同时，矩阵Y 的因子则由矩阵X 的列去预测。其数学模型为： E P T X +'=F Q U Y +'=
最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：
实验24 人口预测的最小二乘模型 表 24-1 世界人口数据（单位 亿） 年 1960 1961 1962 1963 1964 1965 1966 1967 1968 人口 29.72 30.61 31.51 32.13 32.34 32.85 33.56 34.20 34.83 根据表中数据，预测公元2000年世界人口会超过 60亿。作出这一预测结果所用 的方法就是数据拟合方法。 一、问题分析 据人口增长的统计资料和人口理论，当人口总数 N 不是很大时，在不长的 时期内，人口增长率与人口数 N 成正比，这就是著名的马尔萨斯人口模型，用微 分方程描述为 由此可知，马尔萨斯模型是人口数量按指数函数递增的模型。由于指数函数表达 式中a 和b 均未知，需要用人口数据来确定。即用指数函数对数据进行拟合，确 定指数函数中参数使指数函数与人口数据偏差（残差平方和）尽可能小。下图是 经数所拟合后的指数函数图形与原始数据散点图的对比，残差平方和为 3.6974 杓-4 为了计算方便，将上式两边冋取对数，还原为 y = ln N 或 In N = a + b t ,令 N = e y 变换后的拟合函数为 dN dt bN 其中，b 为人口增长系数。用分离变量法解常微分方程，得 N(t) a bt e (24.1) In N = b t + a ，即 (24.2) 图24-1指数函数图形与原始数据散点图
y(t) = a + b t (24-3) 由人口数据取对数(y = In N )计算，得下表 表24-2世界人口数据(单位：亿) 二、求解超定方程组的数学原理 根据表中数据及等式a + b t k = y k ( k = 1, 2, ……,9)可列出关于两个未知数 a、b的9个方程的线性方程组 a 1960 b 3.3918 a 1961 b 3.4213 a 1962 b 3.4503 a 1963 b 3.4698 a 1964 b 3.4763 a 1965 b 3.4920 a 1966 b 3.5133 a 1967 b 3.5322 a 1968 b 3.5505 (24-4) 由于这一问题中方程数目多于未知数个数，被称为超定方程组，用矩阵形式表示为 AU = f (24-5) 显然A矩阵的行数大于列数。求解这一类方程组的数学原理是将等式左、右同时 乘以A的转置矩阵，得新的线性方程组 A T AU =A T f (24-6) 令G =A T A, b = A T f。得系数矩阵为方阵的线性方程组。 GU=b 求解得原方程组的最小二乘解(广义解)。由于原方程组一般无解，将最小二乘解 代入下式计算 R = f -A U (24-7) 通常会得非零向量，这一向量称为残差。残差的内积可以用来度量最小二乘解的 逼近程度。 三、问题求解的计算机实验 输入下面命令
偏最小二乘法（PLS）简介 偏最小二乘法（PLS ）简介 偏最小二乘法（PLS ）简介 简介 偏最小二乘法是一种新型的多元统计数据分析方法，它于1983年由伍德（S.Wold）和阿巴诺（C.Albano）等人首次提出。近几十年来，它在理论、方法和应用方面都得到了迅速的发展。 偏最小二乘法 长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模（多元线性回归）、数据结构简化（主成分分析）以及两组变量之间的相关性分析（典型相关分析）。这是多元统计数据分析中 的一个飞跃。 偏最小二乘法在统计应用中的重要性体现在以下几个方面： 偏最小二乘法是一种多因变量对多自变量的回归建模方法。偏最小二乘法可以较好的解决许多以往用 普通多元回归无法解决的问题。 偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。 主成分回归的主要目的是要提取隐藏在矩阵X 中的相关信息，然后用于预测变量Y 的值。 这种做法可以保证让我们只使用那些独立变量，噪音将被消除，从而达到改善预测模型质量的目的。但是，主成分回归仍然有一定的缺陷，当一些有用变量的相关性很小时，我们在选取主成分时就很容易把它们漏掉，使得最终的预测模型可靠性下降，如果我们对每一个成分 进行挑选，那样又太困难了。 偏最小二乘回归可以解决这个问题。它采用对变量X 和Y 都进行分解的方法，从变量X 和Y 中同时提取成分（通常称为因子），再将因子按照它们之间的相关性从大到小排列。现在，我们要建立一个模型，我们只要决定选择几个因子参与建模就可以了 基本概念 偏最小二乘回归是对多元线性回归模型的一种扩展，在其最简单的形式中，只用一个线性模 型来描述独立变量Y 与预测变量组X 之间的关系: 偏最小二乘法(PLS) 简介
第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 0 2 =[]∑==-m i i i y x p 0 2 min )( 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线)(x p y =（图6-1）。函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法. 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘 拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。
毕业论文文献综述 信息与计算科学 最小二乘法的原理及应用 一、国内外状况 国际统计学会第56届大会于2007年8月22-29日在美丽的大西洋海滨城市、葡萄牙首都里斯本如期召开。应大会组委会的邀请，以会长李德水为团长的中国统计学会代表团一行29人注册参加了这次大会。北京市统计学会、山东省统计学会，分别组团参加了这次大会。中国统计界（不含港澳台地区）共有58名代表参加了这次盛会。本届大会的特邀论文会议共涉及94个主题，每个主题一般至少有3-5位代表做学术演讲和讨论。通过对大会论文按研究内容进行归纳，特邀论文大致可以分为四类：即数理统计，经济、社会统计和官方统计，统计教育和统计应用。 数理统计方面。数理统计作为统计科学的一个重要部分，特别是随机过程和回归分析依然展现着古老理论的活力，一直受到统计界的重视并吸引着众多的研究者。本届大会也不例外。 二、进展情况 数理统计学19世纪的数理统计学史, 就是最小二乘法向各个应用领域拓展的历史席卷了统计大部分应用的几个分支——相关回归分析, 方差分析和线性模型理论等, 其灵魂都在于最小二乘法; 不少近代的统计学研究是在此法的基础上衍生出来, 作为其进一步发展或纠正其不足之处而采取的对策, 这包括回归分析中一系列修正最小二乘法而导致的估计方法。 数理统计学的发展大致可分 3 个时期。① 20 世纪以前。这个时期又可分成两段，大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线，前段属萌芽时期，基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先，强调了推断的地位，而摆脱了单纯描述的性质。由于高斯等的工作揭示了最小二乘法的重要性，学者们普遍认为，在实际问题中遇见的几乎所有的连续变量，都可以满意地用最小二乘法来刻画。这种观点使关于最小二乘法得到了深入的发展，②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法，以及数理统计学的主要分支学科，都是在这个时期建立和发展起来的。这个时期的成就，包含了至今仍在广泛使用的大多数统计方法。在其发展中，以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中，数理统计学在应用和理论两方面继续获得很大的进展。
超定方程组最小二乘 解
精品文档 收集于网络，如有侵权请联系管理员删除 超定方程组最小二乘解 最小二乘法广泛地应用于工程计算中，用最小二乘法消除（平滑）误差，用最小二乘法从有噪声的数据中提取信号，从海量数据中找出数据变化的趋 势，……。甚至利用简单函数计算复杂函数的近似值，我们并不期望它的近似值多么精确（事实上很多时候也不用很精确），尽管如此还是希望计算出的近似数据与原始数据之间有相似之处。如果从线性代数角度来理解最小二乘法，实际上是将一个高维空间的向量投影到低维子空间所涉及的工作。 一、 超定方程组的最小二乘解 当方程组GX=b 的方程数多于未知数个数时，对应的系数矩阵G 的行数大于列数，此时方程组被称为是超定方程组。设G=(g iu )m ×n ，当m>n 时即所谓的高矩阵，绝大多数情况下，超定方程组没有古典意义下的解。超定方程组的最小二乘解是一种广义解，是指使残差r = b – GX 的2-范数达取极小值的解，即 22*||||min ||||GX b GX b m R X -=-∈ 该问题是一个优化问题。 命题1：如果X *是正规方程组G T GX=G T b 的解，则X *是超定方程组GX=b 的最小二乘解 证 由题设可得，G T (b – GX *)=0。对任意n 维向量Y ，显然有 (X * – Y )T G T (b – GX *)=0 考虑残差2-范数平方，由 22**2 2||)()(||||||Y X G GX b GY b -+-=- 上式右端利用内积，得 22*22*22*2 2||||||)(||||||||||GX b Y X G GX b GY b -≥-+-=-
精心整理 第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据 其后在 x x, , 2 1 n 2 1 显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即 权因子： 2 2 o i i w 即权因子 i w∝ 2 1 i ，则 再用微分法，得最可信赖值x
11 n i i i n i i w x x w 即加权算术平均值 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法 1x +3x =0.5 2x +3x =-0.3 这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理 Min v i 2 分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。
(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0 可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。 以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。 即 x j ][][][][2211y a x a a x a a x a a t t t t t t 式中，j a ，y 分别为如下列向量 ][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a 2211 ][y a j =n nj j j y a y a y a 2211
精品文档 超定方程组最小二乘解 最小二乘法广泛地应用于工程计算中，用最小二乘法消除（平滑）误差，用最小二乘法从有噪声的数据中提取信号，从海量数据中找出数据变化的趋势，……。甚至利用简单函数计算复杂函数的近似值，我们并不期望它的近似值多么精确（事实上很多时候也不用很精确），尽管如此还是希望计算出的近似数据与原始数据之间有相似之处。如果从线性代数角度来理解最小二乘法，实际上是将一个高维空间的向量投影到低维子空间所涉及的工作。 一、 超定方程组的最小二乘解 当方程组GX=b 的方程数多于未知数个数时，对应的系数矩阵G 的行数大于列数，此时方程组被称为是超定方程组。设G=(g iu )m ×n ，当m>n 时即所谓的高矩阵，绝大多数情况下，超定方程组没有古典意义下的解。超定方程组的最小二乘解是一种广义解，是指使残差r = b – GX 的2-范数达取极小值的解，即 22*||||min ||||GX b GX b m R X -=-∈ 该问题是一个优化问题。 命题1：如果X *是正规方程组G T GX=G T b 的解，则X *是超定方程组GX=b 的最小二乘解 证 由题设可得，G T (b – GX *)=0。对任意n 维向量Y ，显然有 (X * – Y )T G T (b – GX *)=0 考虑残差2-范数平方，由 22**2 2||)()(||||||Y X G GX b GY b -+-=- 上式右端利用内积，得 22*22*22*2 2||||||)(||||||||||GX b Y X G GX b GY b -≥-+-=- 从而有 || b – GY ||2 ≥ || b – GX *||2 等式仅当Y =X *时成立。所以X *是超定方程组GX=b 的最小二乘解。 命题2：如果X *是超定方程组GX=b 的最小二乘解，则X *满足正规方程组G T GX=G T b
最小二乘法主要用来求解两个具有线性相关关系的变量的回归方程，该方法适用于求解与线性回归方程相关的问题，如求解回归直线方程，并应用其分析预报变量的取值等．破解此类问题的关键点如下： ①析数据，分析相关数据，求得相关系数r，或利用散点图判断两变量之间是否存在线性相关关系，若呈非线性相关关系，则需要通过变量的变换转化构造线性相关关系． ②建模型．根据题意确定两个变量，结合数据分析的结果建立回归模型． ③求参数．利用回归直线y=bx+a的斜率和截距的最小二乘估计公式，求出b，a，的值．从而确定线性回归方程． ④求估值．将已知的解释变量的值代入线性回归方程y=bx+a中，即可求得y的预测值． 注意:回归直线方程的求解与应用中要注意两个方面：一是求解回归直线方程时，利用样本点的中心（x，y）必在回归直线上求解相关参数的值；二是回归直线方程的应用，利用回归直线方程求出的数值应是一个估计值，不是真实值． 经典例题： 下图是某地区2000年至2016年环境基础设施投资额（单位：亿元）的折线图．
为了预测该地区2018年的环境基础设施投资额，建立了与时间变量的两个线性回归模型．根据2000年至2016年的数据（时间变量的值依次为1,2.，……，17）建立模型①：y=+；根据2010年至2016年的数据（时间变量的值依次为）建立模型②：y=99+． （1）分别利用这两个模型，求该地区2018年的环境基础设施投资额的预测值； （2）你认为用哪个模型得到的预测值更可靠并说明理由． 思路分析：（1）两个回归直线方程中无参数，所以分别求自变量为2018时所对应的函数值，就得结果，（2）根据折线图知2000到2009，与2010到2016是两个有明显区别的直线，且2010到2016的增幅明显高于2000到2009，也高于模型1的增幅，因此所以用模型2更能较好得到2018的预测. 解析：（1）利用模型①，该地区2018年的环境基础设施投资额的预测值为 =–+×19=（亿元）． 利用模型②，该地区2018年的环境基础设施投资额的预测值为 =99+×9=（亿元）． （2）利用模型②得到的预测值更可靠．理由如下： （i）从折线图可以看出，2000年至2016年的数据对应的点没有随机散布在直线y=–+上下，这说明利用2000年至2016年的数据建立的线性模型①不能很好地描述环境基础设施投资额的变化趋势．2010年相对2009年的环境基础设施投资额有明显增加，2010年至2016年的数据对应的点位于一条直线的附近，这说明从2010年开始环境基础设施投资额的变化规律呈线性增长趋势，利
matlab 超定方程最小二乘解 2011-04-09 06:36:47| 分类：学习| 标签：超定方程最小二乘|字号订阅 根据解的存在情况，线性方程可以分为: 有唯一解的恰定方程组， 解不存在的超定方程组， 有无穷多解的欠定方程组。 对于方程组Ax=b，A为n×m矩阵，如果A列满秩，且n>m。则方程组没有精确解，此时称方程组为超定方程组。 线性超定方程组经常遇到的问题是数据的曲线拟合。对于超定方程，在MATLAB中，利用左除命令（x=A\b）来寻求它的最小二乘解； 还可以用广义逆来求，即x=pinv(A),所得的解不一定满足Ax=b，x只是最小二乘意义上的解。 左除的方法是建立在奇异值分解基础之上，由此获得的解最可靠； 广义逆法是建立在对原超定方程直接进行householder变换的基础上，其算法可靠性稍逊与奇异值求解，但速度较快； 独立方程个数大于独立的未知参数的个数的方程，称为超定方程，在matlab里面有三种方法求解， 一是用伪逆法求解，x=pinv(A)*b,二是用左除法求解，x=A\b,三是用最小二乘法求解, x=lsqnonneg(A,b) (3)矩阵求逆 行数和列数相等的矩阵称为方阵，只有方阵有逆矩阵。方阵的求逆函数为： B=inv(A) 该函数返回方阵A的逆阵。如果A不是方阵或接近奇异的，则会给出警告信息。
在实际应用中，很少显式的使用矩阵的逆。在MATLAB中不是使用逆阵x=inv(A)*B来求线性方程组Ax=B的解， 而是使用矩阵除法运算x=A\B来求解。因为MATLAB设计求逆函数inv时，采用的是高斯消去法，而设计除法解线性方程组时， 并不求逆，而是直接采用高斯消去法求解，有效的减小了残差，并提高了求解的速度。 因此，MATLAB推荐尽量使用除法运算，少用求逆运算。 (4)除法运算 在线性代数中，只有矩阵的逆的定义，而没有矩阵除法的运算。而在MATLAB中，定义了矩阵的除法运算。 矩阵除法的运算在MATLAB中是一个十分有用的运算。根据实际问题的需要，定义了两种除法命令：左除和右除。 矩阵左除： C=A\B或C=mldivide(A,B) 矩阵右除； C=A/B或C=mrdivide(A,B) 通常矩阵左除不等于右除， 如果A是方阵，A\B等效于A的逆阵左乘矩阵B。也就是inv(A)*B。 如果A是一个n*n矩阵，B是一个n维列向量，或是有若干这样的列的矩阵，则A\B就是采用高斯消去法求得的方程AX=B的解。 如果A接近奇异的，MATLAB将会给出警告信息。 如果A是一个m*n矩阵，其中m不等于n，B是一个m维列向量，或是由若干这样的列的矩阵，
超定方程组最小二乘解课程设计 最小二乘法广泛地应用于工程计算中，用最小二乘法消除（平滑）误差，用最小二乘法从有噪声的数据中提取信号，从海量数据中找出数据变化的趋势，……。甚至利用简单函数计算复杂函数的近似值，我们并不期望它的近似值多么精确（事实上很多时候也不用很精确），尽管如此还是希望计算出的近似数据与原始数据之间有相似之处。如果从线性代数角度来理解最小二乘法，实际上是将一个高维空间的向量投影到低维子空间所涉及的工作。 一、超定方程组的最小二乘解 当方程组GX=b 的方程数多于未知数个数时，对应的系数矩阵G 的行数大于列数，此时方程组被称为是超定方程组。设G=(g iu )m ×n ，当m>n 时即所谓的高矩阵，绝大多数情况下，超定方程组没有古典意义下的解。超定方程组的最小二乘解是一种广义解，是指使残差r = b – GX 的2-范数达取极小值的解，即 22*||||min ||||GX b GX b m R X -=-∈ 该问题是一个优化问题。 命题1：如果X *是正规方程组G T GX=G T b 的解，则X *是超定方程组GX=b 的最小二乘解 证 由题设可得，G T (b – GX *)=0。对任意n 维向量Y ，显然有 (X * – Y )T G T (b – GX *)=0 考虑残差2-范数平方，由 2 2**22||)()(||||||Y X G GX b GY b -+-=- 上式右端利用内积，得 2 2*22*22*22||||||)(||||||||||GX b Y X G GX b GY b -≥-+-=- 从而有 || b – GY ||2 ≥ || b – GX *||2 等式仅当Y =X *时成立。所以X *是超定方程组GX=b 的最小二乘解。 命题2：如果X *是超定方程组GX=b 的最小二乘解，则X *满足正规方程组G T GX=G T b 证 由题设，22* ||||min ||||GX b GX b m R X -=-∈，利用2-范数与内积关系，知X *是下面二次函数的极小值点 ?(X ) = (GX ，GX ) – 2(GX ，b ) + (b ，b ) 取任意n 维向量v ，对任意实数t ，构造一元函数 g (t ) = ?(X * + t v ) 显然， g (t ) 是关于变量t 的二次函数 g (t ) = (G (X * + t v )，G (X * + t v )) – 2(G (X * + t v )，b ) + (b ，b ) = g (0) + 2t [(GX *，Gv ) – (Gv ，b )]+ t 2 (Gv ，Gv ) 由题设t =0是g (t )的极小值点。由极值必要条件，得0)0(='g 。即 (GX *，Gv ) – (Gv ，b )=0 将左端整理化简，便得 (Gv ，GX * – b ) =0
第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即
权因子：2 2o i i w σσ=即权因子i w ∝21i σ，则 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-m in m ax 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法 先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。 1x =0.3 2x =-0.4 1x +3x =0.5
偏最小二乘回归是一种新型的多元统计数据分析方法，它与1983年由伍德和阿巴诺等人首次提出。近十年来，它在理论、方法和应用方面都得到了迅速的发展。密西根大学的弗耐尔教授称偏最小二乘回归为第二代回归分析方法。 偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面：（1）偏最小二乘回归是一种多因变量对多自变量的回归建模方法。 （2）偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决的问题。在普通多元线形回归的应用中，我们常受到许多限制。最典型的问题就是自变量之间的多重相关性。如果采用普通的最小二乘方法，这种变量多重相关性就会严重危害参数估计，扩大模型误差，并破坏模型的稳定性。变量多重相关问题十分复杂，长期以来在理论和方法上都未给出满意的答案，这一直困扰着从事实际系统分析的工作人员。在偏最小二乘回归中开辟了一种有效的技术途径，它利用对系统中的数据信息进行分解和筛选的方式，提取对因变量的解释性最强的综合变量，辨识系统中的信息与噪声，从而更好地克服变量多重相关性在系统建模中的不良作用。 （3）偏最小二乘回归之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。 由于偏最小二乘回归在建模的同时实现了数据结构的简化，因此，可以在二维平面图上对多维数据的特性进行观察，这使得偏最小二乘回归分析的图形功能十分强大。在一次偏最小二乘回归分析计算后，不但可以得到多因变量对多自变量的回归模型，而且可以在平面图上直接观察两组变量之间的相关关系，以及观察样本点间的相似性结构。这种高维数据多个层面的可视见性，可以使数据系统的分析内容更加丰富，同时又可以对所建立的回归模型给予许多更详细深入的实际解释。 一、偏最小二乘回归的建模策略\原理\方法