数值分析之最小二乘法和最佳一致逼近56页PPT

法方程GC=F存在惟一解的充要条件显然是系数矩阵 即Gram矩阵G非奇异。
由 函 数 ( x ) 和 点 集定 x , x , . . . x 义 一 个 向 量 j 0 1 m
j ( x0 ) j ( x1 ) m1 j R , j 0,1,..., n ( x ) j m
第三节 离散数据的最小二乘曲线拟合
一、问题的提法与计算
给定m 1个数据点 xi x0 , x1 , , xm , f ( xi ) f ( x0 ), f ( x1 ), , f ( xm ), 及权系数0 , 1 , ..., m ,并已知函数模型s( x , c )。用给 定的数据点，按给定的函数模型，构造拟合函数s( x ) 逼近未知函数f ( x ), 使
线 性 最 小 二 乘 问 题 ： 求 矛 盾 方 程 组 A C Y 的 最 小 二 乘 解 。
数值分析
连续函数最佳平方逼近问题的一般提法
* 在 中 寻 找 一 个 函 数 sx () c () x j j n
在 内 积 空 间 C [ a , b ] 中 ， 设 f ( x )[ C a , b ] , 但 f ( x ),
T T 0 T 0 0 T 1 A A 0, 1,..., n T T n 0 n (0 ,0 ) (0 ,n) T 0 n

d e t (A )
1 x 0 1 x 1
n x 0 n x 1

1 j i n
(x x )0
i j
n
n 1 x x n n n 1 所 以是 , , . . . , R 中 线 性 无 关 的 向 量 组 。 0 1 n

性质3 ( f1 f 2 , g) ( f1, g) ( f 2 , g); 性质4 ( f , f ) 0,切当且仅当f 0是等号成立。
称线性空间Y为内积空间，(f,g)为内积。
有可能给的条件个数n大于多项式
P(x)的待定系数个数，如，10个插值条件求
5次多项式，该问题是无解的。
有时我们所需的近似函数不一定是多项式。
在实际问题中,往往并不要求近似函
数φ(x)所表示的曲线通过这些观测点,而只
要求由已知数据(xi,yi)(i=0,1,…,n)找出x,y之 间的依赖关系,使得近似函数φ(x)能充分地
a0(n 1) a1 n xi
i0
a0
n i0
n
xi a1
i0
xi2
n
n
am xim
yi
i0
i0
n
n
am
x m 1 i
xi yi
i0
i0
a0
n i0
n
xim a2
i0
x m 1 i
n
n
m
xi2m
xim yi
i0
i0
(4―73)
写成矩阵形式
(4-74)
例8 设有一组数据表
故在基点x0,x1,x2,…,xn上φ(x)与f(x)有
误差
ri=φ(xi)-yi, i=0,1,2,…,n
(4―69)
称ri为用φ(x)拟合f(x)的偏差。
设 函 数 关 系 y=f(x) 的 一 组 观 测 数 据 为
(xi,yi)(i=0,1,2,…,n),欲求一个m(m＜n)次多项 式
Pm(x)=α0+α1x+…+αmxm

y
y = ax + b
列表计算:
目录
O
上页 下页 返回 结束
t
i 0 M 7 Σ
得法方程组
ti
0
ti2
0
yi
27.0
yiti
0
M
7 28
M
49 140
M
24.8 208.5
M
137.6 717.0
140 a + 28b = 717 28a + 8b = 208.5
y = f (t) = 0.3036t + 27.125
目录
上页
下页
返回
结束
特别, 当数据点分布近似一条直线时, 问题为确定 a, b 使 y = ax + b 满足:
M(a, b) = ( yk axk b)2 = min ∑
M = a M M = b
k =0
n
y
O
称为法方程组 (注意其特点)
x
令
+ ( ∑xk )b
得
n
( ∑xk )a
k =0
n
偏差 ri = yi f (xi ) 有正有负, 为使所有偏差的绝对 值都较小i f (xi )]2 = min ∑
i=0
n
y
O
来确定近似函数 f (x) . 最小二乘法原理: 最小二乘法原理 设有一列实验数据
x
, 它们大体
分布在某条曲线上, 通过偏差平方和最小求该曲线的方 法称为最小二乘法 找出的函数关系称为经验公式 . 最小二乘法, 最小二乘法 经验公式
－0.125 －0.018 0.189 －0.003 yi f (ti ) －0.021 0.086 0.093 －0.200

6-2
Y
在度量标准 max ri
i
（达到最小），这就是最佳一致逼近（不要产生最大误差， 均匀一些），通常仍 然取 (x)为多项式，即求多项式 (x) 使残差： r f (x ) (x )
i i i
绝对值的最大值 达到最小。或可写为：在H中求满足 (x) （f 的逼近函数 (x) ）：
a xb
max
即在H中 (x)与f(x)之差的绝对值的最大值是最小的，H中 任一ψ (x)与f(x)之差的绝对值的最大值都比它大，这样的 6-3 阜师院数科院第六章 函数逼近 (x)为f(x)在H中的最佳一致逼近函数。
W Y
§5 最佳一致逼近多项式
下，求 (x) ，使
max ri max f ( x ) ( x ) min
例如：要求区间[0,1]上y=arctgx的一次近似式 可以有多种方法： （1）Talor公式：tg－1x x,误差R(x)= tg－1x- x，在 x=0附近很小，x=1时误差最大，R(x)|x=1=0.2146； （2）插值: x=0,1作节点=>L1(x)=πx/4，tg－1x πx/4， 4 其误差在 x 1 1 . 12 处，即在1附近较大为0.0711；
定理6.6 P (x)H 是f(x)C[a,b]的最佳一致逼近多项式的 n n 充要条件是Pn(x)在[a,b]上至少有n+2个不同的依次轮流为 正，负的偏差点（这些点称为切比雪夫交错点组）。 切比雪夫定理给出了最佳一致逼近多项式的特征，性质， 在最佳一致逼近理论中起着重要作用。 推论1 如果f(x)C[a,b]，则在Hn中存在唯一的最佳一致 逼近多项式。 推论2
（3）最小二乘法（例10 §4中）
tg
阜师院数科院第六章 函数逼近

就要求矩阵 G非奇异，
而 0 ( x), 1 ( x), , n ( x)在 [a, b]上线性无关不能推出 矩阵 G非奇异，必须加上另外的条件.
8
定义10
设 0 ( x), 1 ( x), , n ( x) [a, b]的任意线
性组合在点集 {xi , i 0,1,, m}(m n) 上至多只有 n 个
只在一组离散点集 {xi , i 0,1,, m} 上给定，这就是科
学实验中经常见到的实验数据 {( xi , yi ), i 0,1,, m}的
曲线拟合.
1
问题为利用 yi f ( xi ), i 0,1,, m, 求出一个函数
y S * ( x) 与所给数据{( xi , yi ), i 0,1,, m} 拟合.
13
令 S1 ( x) a0 a1 x, 这里 m 4, n 1, 0 ( x) 1, 1 ( x) x, 故
( 0 , 0 ) i 8,
i 0 4
( 0 , 1 ) (1 , 0 ) i xi 22,
i 0
4
(1 , 1 ) i xi2 74,
这样就变成了线性模型 .
19
例2
设数据 ( xi , yi )(i 0,1,2,3,4) 由表3-1给出，
表中第4行为 ln yi yi ,通过描点可以看出数学模型为 及 b. y aebx , 用最小二乘法确定 a
表3 1 i xi yi 0 1.00 5.10 1 1.25 5.79 2 1.50 6.53 3 1.75 7.45 4 2.00 8.46
4
S ( x ) 的一般表达式为线性形式.
若 k ( x)是 k 次多项式，S ( x ) 就是 n 次多项式. 为了使问题的提法更有一般性，通常在最小二乘法中 S ( x) a00 ( x) a11 ( x) ann ( x) (n m) 考虑加权平方和

若 P x0 f x0 , 则称 x0 为“正”偏差点。 若 P x0 f x0 , 则称 x0 为“负”偏差点。
7
三、 Ca,b 上的最佳一致逼近的特征
引理4.1
设 f x 是区间a,b 上的连续函数，Pn* x 是 f x 的n次最佳一致逼近多项式，则 f x Pn* x 必同时
min f
x Pn* x
Pn xHn
f x Pn x
其中，H n代表由全体代数多项式构成的集合。
4
§2 最佳一致逼近多项式
一、最佳一致逼近多项式的存在性
定理4.9
对任意的 f xCa,b, 在 H n 中都存在对 f x 的最佳一致逼近多项式,记为 pn* x ,使得
f (x)
存在正负偏差点。
8
y
Oa
y f x En
y f x
y f x En
bx
9
定理 4.10（ Chebyshev定理）
设 f x 是区间 a,b 上的连续函数，则 Pn* x 是 f x 的n次最佳一致逼近多项式的充要条件是: f x Pn* x 在区间a,b 上存在一个至少有 n 2 个交错偏差点组成，
注： 显然， f , Pn 0 ， f , Pn 的全体组成一个
集合，记作 f , Pn ，它有下界0。
6
2、偏差点
定义
设 f xCa,b, PxHn, 若在 x x0 上有
P x0 f x0 max P x f x , a xb
则称 x0 是 P x f (x) 的偏差点。
由推论1，f x P1 x 在 a,b 上恰好有3个点构成的交错
组，且区间端点 a, b 属于这个交错点组，设另一个交错点为 x2 ,

b
(k,Q k1)a (x)kQ k1d x0
(k1,2,...)
特 别 Q k 1(x )取 j(x )： (k,j)a b(x )k(x )j(x )d x 0 (j1 ,2 ,.k . .1 )
又 (k ,k ) 2 k ( x ) 0 a b( x )2 k ( x ) d 0 x
则称(u,v)为X上的内积。 {X(线性空 ),( 间 , )}称为内积空间
Heut-lcf163
内积空间常用的范数为： u (u,u)
C[a, b]上的内积定义为：
b
(f(x )g ,(x ) ) a (x )f(x )g (x )dx
范数定义为：
f(x)
(
b
1
f2(x)dx)2
Heut-lcf163
定理3 Gram矩阵
设X为一内积空间，u1 , u2 ,...un X ,
(u1 , u1 ) (u1 , u2 ) ... (u1 , un )
G

(u2 , u1
)
(u2 , u2 )
...
(u2
,
un
)


(un , u1 ) (un , u2 )
2
a
Heut-lcf163
内积空间的重要结论 定理2 Cauchy-Schwarz不等式
设X是一内积空间 u,v,， X对 ,有 (u,v)2 (u,u)(v,v)
特别地
( x 1 y 1 x 2 y 2 x 3 y 3 ) 2 ( x 1 2 x 2 2 x 3 2 )y 1 2 y 2 2 y 3 2
于 是 得x首 n的项 系an数 2(n2(nn!))!2 .显 然 最 高 项1 系 的勒让德多项式为

10/23/2018 9:35:56 AM
第2章 最佳逼近和最小二乘法
在[0,1]上，当最佳平方逼近空间 M span 1, x, x2, , x n 时，法方程系数
矩阵为 Hilbert 矩阵
1
1 2
1 1
1
n
1
1
H 2 3
n2
1 1
1
n 1 n 2
2n 1
当 n 较大时 Hilbert 矩阵和对应的法方程组 Hx b 是病态的，用数值方法
求解方程组 Hx b 是不稳定的。为了避免求解病态方程组,通常找M 中的
一组正交多项式。常用的正交多项式有：勒让德多项式，切比雪夫多项式，
拉盖尔多项式，埃尔米特多项式等。
正交多项式:若多项式序列i
(
x),
x
[a,
b] i0
满足
j ,k
b a
(
x)
j
(
x)k
(
x)dx
0, Ak
0,
jk ( j, k 0,1, 2,
函数的最佳逼近问题：
对于给定的函数 f (x)，要求在一个简单函数类 B 中，寻找一个函数 s(x) B ，
使得 s(x) 与 f (x) 的误差在某种度量下达到最小，这一问题称为最佳逼近问题，
s(x) 称为 f (x)的最佳逼近函数。
函数最佳逼近常用的误差度量标准
2 范数: (x) f (x) s(x) min f (x) y(x) ,最佳平方逼近或均方逼近
1
f b (x) f 2(x)dx 2
2
a
其中(x) L2[a,b] 为权函数，在(a,b)上非负，且满足：
（1） b x j (x)dx a

对于有些不能化为多项式形式的函数,照此矩阵形式,计算较 简单.
9
例:给出数据
xi yi
0.1
0.2
0.3
0.4
0. 5
0.6
0.172 0.323 0.484 0.690 1.000 1.579
现在用最小二乘法求拟合曲线 作变换 z =
y=
cx 1 + ax + bx2
1 1 a b 1 1 = + + x = a0 + a1 + a2 x , Φ = span{ ,1, x} y cx c c x x 1 10 5 5 = 5.814 2 10 5 a0 3 2 3 r 0.172 ur T 1 1 1 1 1 z = 3.096 A = 1 C = a1 M a 0.1 0.2 0.3 0.4 0.5 0.6 2 0.633 ur r T T 则最小二乘法的法方程组就可以写为: A AC = A z 求得: a0 = 0.503, a1 = 0.976, a2 = −1.967
i=1 i=1
⇒a0 ∑ ϕ j ( xi )ϕ0 ( xi ) ρ ( xi ) +L+ an ∑ ϕ j ( xi )ϕn ( xi ) = ∑ f ( xi )ρ ( xi ) ϕ j ( xi )
i=1 i=1 i=1
m
m
m
j = 0,1,L, n
这就得到了一个线性方程组,这个方程组称为最小二乘法的 法方程组(又称正规方程组). 由这个法方程组的解就可得到所要求的函数 ϕ ( x ) = a 0 ϕ 0 ( x ) + a1ϕ 1 ( x ) + L + a n ϕ n ( x )

法方程组可写成：GT F T FGx GT F T b
可以验证 x GT (GGT )1(F T F )1 F T b
是法方程组的一个解，故是原方程组的一个最小二乘解
推论7.1.2 若 rankA ，r则方n程组
有无穷多个最小二乘解。
Ax b
Def 2 方程组 Ax b 的所有最小二乘解中2-范数最小
8.9
8.5
10
4
3.5
22
9
8
11
4.5
4.2
23
9.5
8.1
12
4.6
3.5
24
10
8.1
可以看出,纤维强度随 拉伸倍数增加而增加
并且24个点大致分 布在一条直线附近
因此可认为强度与 拉伸倍数之间的主 要关系是线性关系
9
8
7
6
5
4
3
2
1
1
2
3
4
5
6
7
8
9
10
y ( x ) a bx
该直线称为这一问题的数学模型。
线性无关，下面讨论正交分解的具体实现方法。
记 A [a1, a2 , , an ]，Q [q1, q2 , , qr ] 其中 a1, a2 , , ar线性无关，q1, q2 , , qr两两正交。
Gram-Schmidt正交化方法： 由 A QU 得
a1 u11q1 a2 u12q1 u22q2
y a bx c 1 x
1( x) 1;
2(x)
x;
3(x)
1 x
三、最小二乘问题解的存在性、唯一性
Def 1 设 A R，m若n 存在 x 精R确n地满足

1 1
1
12aa10
(f, 0) (f, 1)
2 3
推导在最后一页PPT
( f0 ),0 11x 2 d x 1 2ln(2 1 )2 21.14
(f1 ),0 1 x1 x 2 d x 1 3 ( 1 x 2 )3 2|1 0 22 3 10.
1 1
1
12aa10
1.147 0.609
|| f(-x s( )|x 2 2 | ) a bρ[ (f x- (s )x (2 ) d x) x
度量。
权函数
练习：
设f (x 1)，s(xx在 ,) [0,1别 ]上 求，分 ||f(x -s)(x | |)与||f(x -s)(x |2 |)(设权函
解：
| |f(- xs)(|x | )m 0x1|a1- xx|1
与拟合曲线的偏差的平方和最小,这就是最小二乘原 理。
两种逼近概念: 插值: 在节点处函数值相同. 拟合: 在数据点处误差平方和最小
问题的提出： • 函数解析式未知,通过实验观测得到的一组数据, 代
表f(x)在区间[a, b]上的一系列点的函数值 yi= f(xi) ，通常由函数表来表达。
x x0 x1 x2 … xn y y0 y1 y2 … yn
• “太阳当空照，花儿对我笑，小鸟说早早早……”
最佳平方逼近
函数逼近的类型
• 最佳一致逼近：使用多项式对连续函数进行一致 逼近。逼近误差使用范数
|f |(-s x (x ) | |) m a x b|f a(- x s x (x ) | )
度量。
这种度量太强
• 最佳平方逼近：使用多项式s(x)对连续函数f(x)进 行平方逼近。逼近误差使用范数

19
3. 回归方程的精度和相关系数
用最小二乘法确定a, b存在误差。 总结经验公式时，我们初步分析判断所假定
的函数关系是正确，为了解决这些问题，就 需要讨论回归方程的精度和相关性。 为了估计回归方程的精度，进一步计算数据
点 xi,yi 偏离最佳直线y=a+bx的大小，我们 引入概念——剩余标准差 s ，它反映着回
一种可能是各数据点与该线偏差较小，一种可能是各数据 点与该线偏差较大。
当R 1时，s 减小，一般的数据点越靠近最佳值两旁。两
变量间的关系线性相关，可以认为是线性关系，最佳直线 所反应的函数关系也越接近两变量间的客观关系。同时还 说明了测量的精密度高。
当条“R 最佳1时”，直线s 增。大然，而根，据数数据据点点与的“分最布佳，”也直许线能的得偏到差一过
14
根据二元函数求极值法，把③式对a和b分 别求出偏导数。得：
n
v2 i
i1
a n
2yi a bxi
4
v2 i
i1 2
b
yi a bxi xi
15
令④等于零，得：
n
n
yi na b xi 0
i1 n
i1
n
n
5
yixi
i1
a xi i1
b
x2 i
i1
0
解方程，得：
而且: b 1.993 0.006
31
第二节 二元线性回归
已知函数形式(或判断经验公式的函数形式)为 y a b1x1 b2x2
式中，均为独立变量，故是二元线性回归。 若有实验数据：
x1 x11, x12,......... .x1n x2 x21, x22,......... .x2n

第2页/共74页
一、问题背景
• 在多数估计和曲线拟合的问题中，不论是 参数估计还是曲线拟合，都要求确定某些(或 一个)未知量，使得所确定的未知量能最好地 适应所测得的一组观测值，即对观测值提供 一个好的拟合。
• 解决这类问题最常用的方法就是最小二乘 法。
• 在一些情况下，即使函数值不是随机变量， 最小二乘法也可使用。
数
，aˆ1
，…，
aˆ2
。这样aˆk求出的参数叫参数的最小二乘估计。
第6页/共74页
正规方程
=最小
• 根据数学分析中求函数极值的条件：
共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值
(j＝1，2，…，k)。 aˆ 等精度观测的情况，若诸观测值yi是不等精度的观测，即它们服从不 同的方差σi2的正态分布N(0，1)，那么也不难证明，在这种情况下，最小二乘 法可改为：
正规方程(5—19)组，还可表示成如下形式
表示成矩阵形式为
第23页/共74页
线性参数正规方程的矩阵形式
又因
（5-21）
有 即 若令 则正规方程又可写成 若矩阵C是满秩的，则有
（5-22）
（5-22） （5-23）
第24页/共74页
的数学期望Xˆ
因 可见 Xˆ 是X的无偏估计。
式中Y、X为列向量(n ×1阶矩阵和t×l阶矩阵)
例5．3
• 试求例5．1中铜棒长度的测量精度。
已知残余误差方程为 将ti，li，值代人上式，可得残余误差为
第43页/共74页
（二）不等精度测量数据的精度估计
不等精度测量数据的精度估计与等精度测量数据的精度估计相似，只是公 式中的残余误差平方和变为加权的残余误差平方和，测量数据的单位权方差 的无偏估计为

的系数是下述极小值问题的解：
m
minS(a0,a1,...,an): (p(xk)yk)2 k1 m (a0a1xk...anxknyk)2. k1
则 称 p(x)a0a1x...anxn为 给 定 数 据 的 n次 最 小 二 乘 拟 合 多 项 式 或 最 佳 平 方 逼 近 多 项 式 ， 也 称 p(x） 为 变 量 x和 y 之 间 的 经 验 公 式 或 数 学 模 型 。 给 定 的 数 据 也 称 为 拟 合 数 16据 。
称为正规方程组。可表示为

km1xkn
i0m
x n1 k
m
...
xk2n
k1
k 1
k 1




a0 a1
an





m
yk
k 1 m
yk xk
k 1
m
17 yk xkn
因此可以认为强度 y与拉伸倍数 x的主 要关系应是线性关 系
9
8
7
6
5
4
3
2
1
1
2
3
4
5
6
7
8
9
10
F(x)01x
其中 0,1为待定参9 数
我 们 不 要 求 y F ( x ) 经 过 所 有 点 ( x i,y i) ， 而 只 要 求 F ( x )0 1 x
与 所 有 的 数 据 点 ( 样 本 点 )( x i,y i)越 接 近 越 好 。
必须找到一种度量标准来衡量什么曲线最接近所有数据点！
令 iF (xi)yi,
在回归分析中称为残差

j0
即P( x)由a j ( j 0,1,, n)唯一确定
m
此时，|| f p ||22 i ( f ( xi )) p( xi )) 2
i 1
m
n
i ( a j j ( xi ) f ( xi )) 2
i 1
I (a0
,
a1
j,0 ,
an
),
(关于a0 ,a1,,an多元二次函数)
范数：(a)非负性: f 0, f 0 f 0
(b)齐次性: c f c f (c R)
(c)三角不等式: f , g, f g f g
注：f ( x) 0的含义是指f ( x)在x1, x2 ,, xm 上不全为零，
即当f ( x) 0时，( f f ) 0
定理2/ 连续函数组0 ( x),1 ( x),, n ( x)在点集X x1 , x2 ,, xm
S Span0( x),1( x),,n( x)其中 j ( x) j 0,1,, n关于点集
X x1,, xm 线性无关(m n), 则
n
P( x) aj j ( x) S是y f ( x)在S中最小二乘逼近函数
a*j
满j足 0 方程组Ga
d或误差函数f
p*满足正交条件:
{i ( x)}ni 1(m n),即
(i , j )
m k 1
k
i
(
xk
)
j
(
xk
)
0， 0，
当i 当i
j j
第二步：求解a*j ，从而得Pn*( x)
m
a*j
( f , j ) ( j , j )
(2)函数组1，sin x,cos x,,cos nx,sinnx在区间0，2 的任意点集