线性参数的最小二乘法处理.pptx

a2t
xt
)
vn ln (an1x1 an2 x2 L ant xt )
7
三、矩阵最小二乘法
设列向量分别为：
l1
L
l2
M
ln
x1
Xˆ
x2
M
xt
v1
V
v2
M
vn
a11 a12 L a1t
A a21 a22 L
a2t
M
an1 an2 L ant
对应Y的n 个直接测 量结果
t个待求 X的估计
量
为直接测 量量结果 的残差
为（n×t) 系数矩阵
则残差方程的矩阵表达式为： V L AXˆ
等精度测量最小二乘原理的矩阵形式为：
V TV 最小 或 （L AXˆ）（T L AXˆ） 最小
8
四、不等精度测量的线性参数最小二乘原理
思路一：
Pnn
p1 0 0 0 p2 0
Pnn
0 0
0 9 0 0
0
0
9
0
0 0 0 0 9
解矩阵得：
Xˆ
x1
x2
( AT PA)1 AT PL
4.186 2.227
22
三、非线性参数最小二乘处理的正规方程
针对非线性函数 yi fi (x1, x2,L , xt ) (i 1, 2,L , n)其测量 误差方程为：
v1 l1 f1(x1, x2 ,L , xt )
用，可以有效减少随机误差的影响，因而所得结果具有
最可信赖值。
6
二、等精度测量的线性参数最小二乘原理
线性参数的测量方程一般形式为： 相应的估计量为：
Y1 a11X1 a12 X 2 L a1t X t

y a0 a1x
这样仍可用最小二乘法定出（从而也就定 出了A,C ），得到近似函数
S AeCt
13
第13页/共38页
下面列出几种常用的线性处理方法，利用最小 二乘法的原理对直线型、抛物线型和指数曲线 型的方程的参数估计方法 。
14
第14页/共38页
直线型
直线方程的一般形式为： Y a bX
lsqnonlin用以求含参量x（向量）的向量值函数 f(x)=(f1(x),f2(x),…,fn(x))T 中的参量x，使得
f T (x) f (x) f1(x)2 f2(x)2 fn (x)2
偏导数,并令导数等于0,得到联立方程组解方程组,即 可得到参数的计算公式。
Y na b X c X 2 0 Y X 2 a X b X 2 c X 3 0 Y X 2 a X 2 b X 3 c X 4 0
16
第16页/共38页
指数曲线型
指数曲线的一般形式为 Y abX
am
yn
超定方程一般是不存在解的矛盾方程组。
n
如果有向量a使得
(ri1a1 ri2a2 rimam yi )2 达到最小，
i1
则称a为上述超定方程的最小二乘解。
9
第9页/共38页
线性最小二乘法的求解
所以，曲线拟合的最小二乘法要解决的问题，实际上就是 求以下超定方程组的最小二乘解的问题。
e=4.149e+05
25
第25页/共38页
用MATLAB作非线性最小二乘拟合
Matlab的提供了两个求非线性最小二乘拟合的函数： lsqcurvefit和lsqnonlin。两个命令都要先建立M-文件fun.m， 在其中定义函数f(x)，但两者定义f(x)的方式是不同的,可参 考例题.

v1 l1 f1(x1, x2 ,, xt )
v2
l2
f2 (x1,
x2 ,,
xt
)
vn ln fn (x1, x2 ,, xt )
y1，, y2 ,, yn 残差方程式
第一节 最小二乘原理
若 l1,l2不,存,l在n 系统误差，相互独立并服从正态分布
，原则差分别为
1,， 2则,, n 出目前l1,l相2 ,应,真ln 值附近
aitli ait ai1x1 ait ai2 x2 ait ait xt
i 1
i 1
i 1
i 1
特点：
➢ 主对角线分布着平方项系数，正数 ➢ 相对于主对角线对称分布旳各系数两两相等
第二节 正规方程
看正规方程组中第r个方程：
n
n
n
n
airli [ air ai1x1 air ai2 x2 air ait xt ] 0
)0
则误差方程转化为线性方程组
v1 l1'(a111 a12 2 a1tt )
v2
l2 '(a211
a22 2
a2t
t
)
vn ln '(an11 an2 2 antt )
近似值
于是可解得 r (r 1,2,,t) ，进而可得xr (r 1,2,,t)。
第二节 正规方程
针对非线性函数 yi fi (x1, x2 ,, xt ) (i 1,2,, n) 其测量误差方程为
v1 l1 f1(x1, x2 ,, xt )
v2
l2
f2 (x1, x2 ,,
xt
)
vn ln fn (x1, x2 ,, xt )

最小 1
p1 : p 2 : : p n
有
2 2
x1
2
2
:
n
1
x2
2
::
xn 2
( 55)
p1v1 p 2 v 2 p n v n
pi vi2
i 1
最小
对于等精度测量，有 1 1 n 即
p1 p 2 p n
2 2 n 12 2 2 2 2 最小 1 2 n
当然，由前述给出的结果只是估计量，它们以 最大的可能性接近真值而并非真值，因此上述条件 应以残差的形式表示，即用残差代替绝对误差：
2 v1 2
1 2 n 引入权的符号p，由下面的关系
2 2

2 v2
1
2 vn

2 i
0
2 2 2
0
为测量数据li的权； 为单位权方差；
0 0 2 2 n
i2为测量数据li的方差。
线性参数的不等精度测量可以转化为等精度的 形式（单位权化），从而可以利用等精度测量时 测量数据的最小二乘法处理的全部结果。为此， 应将误差方程化为等权的形式。若不等精度测量 数据li 的权为pi ，将不等精度测量的误差方程式 （5-9）两端同乘以相应权的平方根得：
ˆ V L AX
（ -10 5 ）
等精度测量时：残差平方和最小这一条件的矩 阵形式为 v1 v v1v2 vn 2 最小 vn 即 T
V V 最小 （5 -11 ）
ˆ L AX 最小
T
或

ˆ L AX
（5 - 1 ２）

V T PV 最小 （L AXˆ）T P（L AXˆ） 最小
一、最小二乘法原理
思路二：不等精度 pi 等精度
v1 p1 l1 p1 a11 p1 x1 a12 p1 x2 a1t p1 xt

v2
p2 l2
p2 a21
p2 x1 a22
p2 x2 a2t
二、正规方程
线性参数的最小二乘法处理程序可归结为： 首先根据具体问题列出误差方程式； 再按最小二乘法原理，利用求极值的方法将误差 方程转化为正规方程； 然后求解正规方程，得到待求的估计量； 最后给出精度估计。
对于非线性参数，可先将其线性化，然后按上 述线性参数的最小二乘法处理程序去处理。
二、正规方程


ln
n
ai 2ain a12a1t a22a2t
i 1
an2ant
n
ai 2li a12l1 a22l2
i 1
an2 ln
a11 a12 ... a1t
A


a21
a22
...
a2t


i 1
n
x2 ai 2ai 2 ... xt
i 1
n
ai 2ait
i 1
)
n
ai 2ai1 a12a11 a22a21
i 1
n
ai 2ai 2 a12a12 a22a22
i 1
an2an1 an2an2
l1
L


l...
2
an1ant an1ln
a11 a12 ... a1t

二、不等精度测量线性参数最小二乘处理的正规 方程
n
pi
vi
2 ＝最小
i 1
(
n
pivi2 )
i1
0
x1
n
(
pivi2 )
i 1
xt
0
由此可得不等精度测量线性参数最小二乘处理的 正规方程：
n
piai1li
n
piai1ai1x1
n
piai1ai2 x2
n
piai1ait xt
i 1
i 1
i 1
i 1
n
i 1
pi ai 2li
n i 1
piai2ai1x1
n i 1
piai2ai2 x2
n i 1
pi
ai
2 ai t
xt
n
n
n
n
piaitli piaitai1x1 piaitai2 x2 piaitait xt
i 1
i 1
i 1
i 1
整理得： p1a11v1 p2a21v2 pnan1vn 0
v1 l1 x
v2
l2
x
vn ln x
按照最小二乘原理可求得
n
pili
x
i 1 n
pi
i 1
结论：最小二乘原理与算术平均值原理是一致的，
算术平均值原理是最小二乘原理的特例。
第三节 精度估计
目的：给出估计量 x1, x2 ,, xt的精度
Xˆ C 1 AT L C AT A
一、测量数据精度估计
二、最小二乘估计量的精度估计
一、测量数据精度估计
A）等精度测量数据的精度估计 对 l1, l2 ,, ln进行n次等精度测量，给出 2 的估计量。

要满足最小二乘法公式，只有使：
∂v 2 ∂v 2 ∂v 2 = 0,......, =0 = 0, ∂x1 ∂x2 ∂xm
从而得到m个新的方程式，叫作“正规方程组”或“法方程组”。解 正规方程组，得出唯一的一组解，即为符合最小二乘原理的最 解。
定义：正规方程——误差方程按最小二乘法原理转化 得到的有确定解的代数方程组。
⎛ n 2⎞ ∂⎜ ∑ v i ⎟ n n n ⎫ ⎧n i ⎠ = −2 ⎝ ai1li − ∑ ai1ai1 x1 + ∑ ai1ai 2 x2 + L + ∑ ai1ait xt ⎬ = 0 ⎨∑ ∂ x1 i =1 i =1 i =1 ⎭ ⎩ i =1
15
中国地质大学（武汉）Fra bibliotek误差理论与数据处理
p1v1 + p2 v2 + L + pn vn = ∑ pi vi = 最小
2 2 2 2 i =1
n
最小二乘原理（其他分布也适用）
测量结果的最可信赖值应使残余误差平方和 （或加权残余误差平方和）最小。
8
中国地质大学（武汉）
误差理论与数据处理
第一节 最小二乘原理
三、等精度测量的线性参数最小二乘原理
中国地质大学（武汉）
残差方程
5
误差理论与数据处理
第一节 最小二乘原理
若 l1 , l2 ,L , ln 不存在系统误差，相互独立并服从正 分布，标准差分别为 σ 1 , σ 2 ,L , σ n ，则 l1 , l2 ,L , ln 出现在 相应真值附近 dδ1 , dδ 2 ,L , dδ n 区域内的概率为 1 −δ i 2 ( 2σ i 2 ) Pi = e dδ i (i = 1,2,L , n) σ i 2π 由概率论可知，各测量数据同时出现在相应区域的概 n 为 P = P P2 ......Pn = ∏ Pi 1

一、等精度测量线性参数的LSM处理的正规方 程。
❖ 线性参数的误差方程式为：
l1 a11x1 a12 x2 ... a1t xt v1
l2 a21x1 a22 x2 ... a2t xt v2
……
ln an1x1 an2 x2 ... ant xt vn
v2
第三节 精度估计
❖ 一、测量数据的精度估计
❖ （一）等精度测量数据的精度估计
❖ 对包含t个未知数的线性参数方程，进行n次独立的 等精度测量。
❖ 可以证明
❖
[V V ] ~ 2 n t
2
E[V V
2
]
n
t
❖取
s 2 v v
nt
s
v
2 i
nt
❖ V1=3-(1.28×1+0.418×2)=0.884 ❖ V2=5-(1.28×1+0.418×10)=-0.46 ❖ V3=8-(1.28×1+0.418×20)=-1.64 ❖ V4=15-(1.28×1+0.418×30)=1.18 ❖ V5=18-(1.28×1+0.418×40)=0
L
8
15
18
AT A 1052 3100024 AT L 134698
( AT
A)1
1 4616
3004 102
1502
X
( AT A)1 AT L
1 4616
3004 102
1502134698 01..42188
❖ 正规方程为： ❖ 5x+102y=49 ❖ 102x+3004y=1386 ❖ 解该方程得到 ❖ x=1.28 ❖ y=0.418
i

19
3. 回归方程的精度和相关系数
用最小二乘法确定a, b存在误差。 总结经验公式时，我们初步分析判断所假定
的函数关系是正确，为了解决这些问题，就 需要讨论回归方程的精度和相关性。 为了估计回归方程的精度，进一步计算数据
点 xi,yi 偏离最佳直线y=a+bx的大小，我们 引入概念——剩余标准差 s ，它反映着回
一种可能是各数据点与该线偏差较小，一种可能是各数据 点与该线偏差较大。
当R 1时，s 减小，一般的数据点越靠近最佳值两旁。两
变量间的关系线性相关，可以认为是线性关系，最佳直线 所反应的函数关系也越接近两变量间的客观关系。同时还 说明了测量的精密度高。
当条“R 最佳1时”，直线s 增。大然，而根，据数数据据点点与的“分最布佳，”也直许线能的得偏到差一过
14
根据二元函数求极值法，把③式对a和b分 别求出偏导数。得：
n
v2 i
i1
a n
2yi a bxi
4
v2 i
i1 2
b
yi a bxi xi
15
令④等于零，得：
n
n
yi na b xi 0
i1 n
i1
n
n
5
yixi
i1
a xi i1
b
x2 i
i1
0
解方程，得：
而且: b 1.993 0.006
31
第二节 二元线性回归
已知函数形式(或判断经验公式的函数形式)为 y a b1x1 b2x2
式中，均为独立变量，故是二元线性回归。 若有实验数据：
x1 x11, x12,......... .x1n x2 x21, x22,......... .x2n

第2页/共74页
一、问题背景
• 在多数估计和曲线拟合的问题中，不论是 参数估计还是曲线拟合，都要求确定某些(或 一个)未知量，使得所确定的未知量能最好地 适应所测得的一组观测值，即对观测值提供 一个好的拟合。
• 解决这类问题最常用的方法就是最小二乘 法。
• 在一些情况下，即使函数值不是随机变量， 最小二乘法也可使用。
数
，aˆ1
，…，
aˆ2
。这样aˆk求出的参数叫参数的最小二乘估计。
第6页/共74页
正规方程
=最小
• 根据数学分析中求函数极值的条件：
共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值
(j＝1，2，…，k)。 aˆ 等精度观测的情况，若诸观测值yi是不等精度的观测，即它们服从不 同的方差σi2的正态分布N(0，1)，那么也不难证明，在这种情况下，最小二乘 法可改为：
正规方程(5—19)组，还可表示成如下形式
表示成矩阵形式为
第23页/共74页
线性参数正规方程的矩阵形式
又因
（5-21）
有 即 若令 则正规方程又可写成 若矩阵C是满秩的，则有
（5-22）
（5-22） （5-23）
第24页/共74页
的数学期望Xˆ
因 可见 Xˆ 是X的无偏估计。
式中Y、X为列向量(n ×1阶矩阵和t×l阶矩阵)
例5．3
• 试求例5．1中铜棒长度的测量精度。
已知残余误差方程为 将ti，li，值代人上式，可得残余误差为
第43页/共74页
（二）不等精度测量数据的精度估计
不等精度测量数据的精度估计与等精度测量数据的精度估计相似，只是公 式中的残余误差平方和变为加权的残余误差平方和，测量数据的单位权方差 的无偏估计为

X 的最佳估计值
Xˆ ( AT PA)1 AT PL C 1 AT PL
例题 5-2
5-22
四、最小二乘法与算术平均值的关系
为确定一个量X的估计值x，对它进行n次直接测量，得 到n个数据 l1, l2 , , ln ,相应的权分别为 P1, P2 , , Pn 。
最佳估计值
n
Pili
x i1 n Pi i 1
V TV 最小
V L A Xˆ
l1
1
L Ml2 P 2 L
ln
v1
1
V
Mv2
P
2V
vn
a11 a12 L A a21 a22 L
M an1 an2 L
a1t
a2t
P
1 2
A
ant
5-14
线性参数的最小二乘法处理程序
误差 方程
最小二乘法
V TV 最小
求极值 的方法
x1 d11 x2 d 22
xt dtt 不定系数 C 1 ( AT PA)1对角元素
单位权的标准差
5-30
第四节 组合测量（combined measurement）
的最小二乘法处理
5-31
组合测量基本概念
组合测量是通过直接测量待测参数的各种组合量（一 般是等精度测量），然后对这些测量数据进行处理， 从而求得待测参数的估计值，并给出其精度估计。
5-28
二、最小二乘估计量
x1, x2 , , xn 的精度估计
1、等精度测量时估计量的精度估计
x1 d11 x2 d 22
xt dtt 不定系数
AT A 1 对角元素
直接测量量的标准差
5-29

vi '
则有：
li '
T
ai1 '
ai 2 '

ait '
(5 - 17) (5 - 18)
V * V * 最小 T ˆ（ ˆ （L * A * X） L * A * X） 最小
《误差理论与数据处理》
广东工业大学信息工程学院
第二节
法方程
正规方程
正规方程：误差方程按最小二乘法原理转化得到的 有确定解的代数方程组。 一、等精度测量线性参数最小二乘法处理的正规方程
vn
2 2
n
最小
《误差理论与数据处理》
广东工业大学信息工程学院
第一节
最小二乘法原理
n
①等精度测量的最小二乘法原理：
பைடு நூலகம்
v1 v2 vn vi 最小
2 2 2 2 i 1
②不等精度测量的最小二乘法原理：
p1v1 p2 v2 pn vn pi vi 最小
残差方程式
广东工业大学信息工程学院
第一节
最小二乘法原理
若 l1 , l2 ,, ln 不存在系统误差、相互独立并服从正态 分布，标准差分别为 1 , 2 ,, n ，则 l1 , l2 ,, ln 出现在 相应真值附近 d1 , d 2 ,, d n 区域内的概率为
1 i 2 Pi e i 2
(5 - 19)
特点： 主对角线分布着平方项系数，为正数 相对于主对角线对称分布的各系数两两相等
《误差理论与数据处理》 广东工业大学信息工程学院
第二节
a l [ a
i 1 ir i i 1 n n n ir i1 1

U0
h e
ν
-
A e
d h,c A
e
e
8.214 7.408 6.879 5.490 5.196 1.790 1.436 1.242 0.688 0.560
e 1.602 1019 C u0 c dν
vi li (c d )
23
第二十三页，共66页。
算例2
二、最小二乘法解算
1.790
美国统计学家S.M.Stigler：最小二乘法之于数理
统计学，犹如微积分之于数学。 第十页，共66页。
一、最小二乘法原理
1.3 基本原理
为确定 t 个未知量 X1, X 2,, Xt 的估计量
测量n个直接量 Y1,Y2 ,，,Y得n 测量数据 如下：
x1, x2,，, xt分别直接
l1, l2 ,，其, ln函数关系
待求量最可信赖，此时应满足如下关系：
12 12
2 2
2 2
2 n
2 n
=最小
v12 v22
2 1
2 2
vn2
2 n
=最小
测量结果的最可信赖值应使残余误差平方和（或加权残余误差平方和）最小；
测量误差无偏、正态分布且相互独立的条件下推导得出；
非线性参数的问题可借助于级数展开，在某一区域近似的作为线性问题进 行处理。
问题提出、发展历史、基本原理
二、最小二乘法解算
等精度、不等精度
三、精度估计
四、组合测量最小二乘法
五、非线性最小二乘法
第三页，共66页。
一、最小二乘法原理
1.1 问题的提出
➢ 历史背景
18世纪末，天文学和大地测量学得到了迅速的发展，急需

AT A C
5-17
第17页/共25页
标准差的估计
1、直接测量结果的标准差估计
残差
vi2
s i nt
2、待求量的标准差估计
wivi2
s i nt
（加权）
未知量个数 方程个数
xj d jj 误差传播系数 AT wA 1 对角元素
3、待求量的相关系数
ij
dij diid jj
第18页/共25页
1,2, ,n
测得值 落入xi
的 x概i , x率i dx
pi
i
1
2
exp( vi2 )dx
2
2 i
5-3
第3页/共25页
最小二乘法原理
测得值 x1, x2同, 时出, x现n 的概率为
P pi i
1
exp
1i ( 2 )n 2 Nhomakorabeai
vi
i
2
(dx)n
i
最可信赖值满足
i
vi2
AT L 0 0
1 0
0 1
1 0
1 1
1 1
1.020 2.016
1.981
8.014 6.033
3.032
0.500 0.250 0 6.063 1.028
xˆ 0.250
0.500
0.250
8.014
0.983
0 0.250 0.500 6.033 1.013
直接测量量的标准差
AT wA 1元素
5-18
5-19
第三节 组合测量的最 小二乘法处理
第19页/共25页
组合测量基本概念
组合测量，指直接测量一组被测量的不同组合值，从它们相互所依赖的若干函数 关系中，确定出各被测量的最佳估计值。