当前位置：文档之家 › 数值分析之最小二乘法与最佳一致逼近

数值分析之最小二乘法与最佳一致逼近

  • 格式：ppt
  • 大小：716.50 KB
  • 文档页数：57

下载文档原格式

  / 57

合集下载

数值分析函数逼近

数值分析函数逼近

阜师院数科院 第六章 函数k 逼 近0
第165-页1，5 本讲稿共44页
正规方程组的几种形式（续）
在(6-4)中打开和式 m 令j=0,1,2,…,m，则 正规方程组为: k 0
j0 j1
10,,00
0,1 1,1
10,,m maa10((yy,,10))
(6-5
jmm,0 m,1 m,mam (y,m)
阜师院数科院 第六章k函 0 数逼近i 1
i 1
(j0 ,1 , ,m )
（紧接下屏） 6- 第9页，9本讲稿共44页
打开和式
m
即：
多项式拟合（续）
nao
n
k 0 xi a1
n
xi2
a2
n
ximam
n
yi
i1 i1
i1
i1
n
i1
xi
n a0 i1
m
证明 : 对任意的 (x) ck k (x) 2 i ( yi ( xi ) ( xi ) ( xi )) 2
i 1
i 1
n
n
i ( yi ( xi )) 2 2 i ( yi ( xi ))( ( xi ) ( xi ))
势？首先要建立好坏的标准。
假定a0，a1已经确定，yi* = a0+a1xi(i =1,2,…,n) 是由近似
函数求得的近似值，它与观测值
y
yi 之差ri = yi yi*=yi a0a1xi
8
(i =1,2,…,n) 称为偏差。显然， 6
图6-1
* *
偏差的大小可作为衡量近似
4
*
函数好坏的标准。偏差向量
{k(x)} 线性无关 系数矩阵非奇异 唯一解:

数值分析06-平方逼近

数值分析06-平方逼近
x dx cos xdx 0
0 1 1 1 0 0 0 1 2 0 2 2
从上节知道 利用正交函数系可以简化最小二乘法的求 解，并提高解的精度，而正交多项式系，由于其计算简便 ，是函数逼近的重要工具，后面一致逼近，积分也要用到 正交多项式。 定义6.3 如果函数系{0(x), 1(x),…, m(x),…}满足:
0 k 1
( x ) 因而任一至多 0 k ( k1次多项式 Q ( x ) 均能表成它们的线性组 0且 ( x ) 0 ,1, 2 ,...) k 1
2 k 2 k
合。
根据定积分性质有： ( k , k ) ( x ) k ( x ) d x 0 设： Q k 1 ( x ) b aj j ( x ) 所以， k ( x )}为正交多项式系。0 { j
2
阜师院数科院第六章 函数逼近

b a
( k 2 ,3 , L , n )
6-11
( x ) k 2 ( x ) d x
2
下面介绍几种常用的正交多项式: （一）勒让德（Legendre）多项式 Legendre多项式的一般表示式为: n 1 d 具体表达 2 n Pn ( x ) n [( x 1) ] n 式为: 2 n! dx
W Y
设 0， 1， ， n 是线性相关的
, 即存在不全为
c 0 ( 0 , i ) c 1 ( 1 , i ) c n ( n , i ) c i ( i , i ) 0
0， 1， ， n 在 [ a , b ]上线性无关。
0 ( j , k ) ( x ) j ( x ) k ( x ) dx a Ak 0

4数值分析之最小二乘法

4数值分析之最小二乘法

( 0 , n ) c0 ( f , 0 ) (1, n ) c1 ( f ,1 ) ( n , n ) cn ( f , n )
这个叫正则方程组或法方程组. 如果取的是正交基（正交函数系）则可保证系数矩阵是对角阵.
c dx
b a i i 1 i 0
n
b
a
f 1dx
b
c
i i 0
n
b
a
i1dx f 1dx
a
连续函数的最佳平方逼近
c
i i 0
n i i 0
n
b
a
i1dx f 1dx
a
1 1
b
c ( , ) ( f , )
a b 1 2
g
[ห้องสมุดไป่ตู้( xi ) g 2 ( xi )]1/2
i 1
m
最小二乘法

在科学实验中,得到函数y=f(x)的一组实验数 据: ( xi , yi ) (i 1,2,...m) ,求曲线y=f(x)的近似 曲线.
2
f ( x ) g ( x ) ( xi )[ f ( xi ) g ( xi )]
1 0) c0 2 / 3) 0 1 / 12 c 1 / 15 1 c0 10 / 15) c 12 / 15 1
对角阵
例题
10 12 g ( x) 1( x) 0 ( x) 15 15 10 12 ( x 1 / 2) 15 15 4 12 x 15 15
连续函数的最佳平方逼近
f(x) - g (x) = min f(x) - g(x)

计算方法最佳平方逼近-最小二乘法

计算方法最佳平方逼近-最小二乘法

i0
i0
为最小。
这种要求误差（偏差）平方和最小的拟合称为 曲线拟合的最小二乘法。
（1）直线拟合
设已知数据点 (xi , yi ), i 1, 2, … , m 分布大致为 一条直线。作拟合直线 y(x) a0 a1x, 该直线
不是通过所有的数据点 (xi , yi ) ,而是使偏差平方和
F(a0 , a1 )
计算方法 (Numerical Analysis)
第5次 最佳平方逼近与曲线拟合的最小二乘法
主要内容
• 最佳平方逼近 • 曲线拟合的最小二乘法
最佳平方逼近
函数逼近的类型
• 最佳一致逼近：使用多项式对连续函数进行一致 逼近。逼近误差使用范数
||
f(x)
-
s(x)
||
max
a x b
|
f(x)
-
1(1 x2 )dx 1(0.934 0.426x) 1 x2dx
0
0
0.0026
最大值误差 :
同学们自己求一下
|| δ(x) || max | 1 x2 (0.934 0.426x) | 0.066
例题 求f(x) x在[1/4,1]上的在Φ span{1, x} 中的关于ρ(x) 1的最佳平方逼近多项式。
10 27
88 x 135
平方误差 :|| δ(x) ||22
1xdx
1
( 10 27
7 12
31 80
) 88
135
4
1.02
p1* (x)
10 27
88 x. 135
1
f(x) x
平方误差 : || δ(x) ||22 0.0001082.

数值分析学习课件

数值分析学习课件
t 0 = cos
n= 4
3π 5π 7π 9π , t 2 = cos , t 3 = cos , t 4 = cos 10 10 10 10 10 a+b b−a 1 x= t = ( t + 1) + 2 2 2 1 π 1 3π x0 = (cos + 1) ≈ 0.98 , x1 = (cos + 1) ≈ 0.79 2 10 2 10 1 5π 1 7π x2 = (cos + 1) ≈ 0.50 , x3 = (cos + 1) ≈ 0.21 2 10 2 10 1 9π x4 = (cos + 1) ≈ 0.02 为节点作L 以 x0, …, x4 为节点作 4(x) 2 10 , t1 = cos
Take it easy. It’s very Didn’t you say it’s anot so difficult if we consider difficult problem? polynomials only.
§1.最佳一致逼近 1.最佳一致逼近
最佳一致逼近多项式 /* optimal uniform approximating polynomial */ 的构造：求 n 阶多项式 Pn(x) 使得 || Pn − y ||∞ 最 的构造： 小。
第二讲
§1.最佳一致逼近 1.最佳一致逼近
§1.最佳一致逼近 1.最佳一致逼近
偏差
最佳一致逼近 最佳一致逼近 /* uniform approximation*/
意义下， 最小。 在 || f ||∞ = max | f ( x ) | 意义下，使得 || P − y ||∞ 最小。也称 为minimax problem。 。 偏差点。 若 P ( x0 ) − y( x0 ) = ± || P − y ||∞ ，则称 x0 为± 偏差点。

数值分析之最小二乘法与最佳一致逼近

数值分析之最小二乘法与最佳一致逼近

就要求矩阵 G非奇异，
而 0 ( x), 1 ( x), , n ( x)在 [a, b]上线性无关不能推出 矩阵 G非奇异，必须加上另外的条件.
8
定义10
设 0 ( x), 1 ( x), , n ( x) [a, b]的任意线
性组合在点集 {xi , i 0,1,, m}(m n) 上至多只有 n 个
只在一组离散点集 {xi , i 0,1,, m} 上给定，这就是科
学实验中经常见到的实验数据 {( xi , yi ), i 0,1,, m}的
曲线拟合.
1
问题为利用 yi f ( xi ), i 0,1,, m, 求出一个函数
y S * ( x) 与所给数据{( xi , yi ), i 0,1,, m} 拟合.
13
令 S1 ( x) a0 a1 x, 这里 m 4, n 1, 0 ( x) 1, 1 ( x) x, 故
( 0 , 0 ) i 8,
i 0 4
( 0 , 1 ) (1 , 0 ) i xi 22,
i 0
4
(1 , 1 ) i xi2 74,
这样就变成了线性模型 .
19
例2
设数据 ( xi , yi )(i 0,1,2,3,4) 由表3-1给出，
表中第4行为 ln yi yi ,通过描点可以看出数学模型为 及 b. y aebx , 用最小二乘法确定 a
表3 1 i xi yi 0 1.00 5.10 1 1.25 5.79 2 1.50 6.53 3 1.75 7.45 4 2.00 8.46
4
S ( x ) 的一般表达式为线性形式.
若 k ( x)是 k 次多项式，S ( x ) 就是 n 次多项式. 为了使问题的提法更有一般性，通常在最小二乘法中 S ( x) a00 ( x) a11 ( x) ann ( x) (n m) 考虑加权平方和

【2019年整理】数值分析06-一致逼近

【2019年整理】数值分析06-一致逼近
a x b
即在H中 (x)与f(x)之差的绝对值的最大值是最小的，H中 任一ψ (x)与f(x)之差的绝对值的最大值都比它大，这样的 6-3 阜师院数科院第六章 函数逼近 ( x )为 f(x )在 H 中的最佳一致逼近函数。
W Y
§5 最佳一致逼近多项式
max ri max f ( x) ( x) min
a x b
则称x0为ψ (x)的偏差点，偏差点为正，称为正偏差点， 偏差点为负，称为负偏差点 可以从下面例中理解有关概念。
阜师院数科院第六章 函数逼近 6-4
W Y
最佳一致逼近多项式（续）
H H n span 1, x, , x

n

a
k 0
n
k
x
k
称为f(x)在[a,b]上的 n次最佳一致逼近多项式。
6-2
Y
在度量标准 max ri 下，求 (x) ，使
i
（达到最小），这就是最佳一致逼近（不要产生最大误差， 均匀一些），通常仍 然取 (x)为多项式，即求多项式 (x) 使残差： r f (x ) (x )
i i i
绝对值的最大值 达到最小。或可写为：在H中求满足 (x) （f 的逼近函数 (x) ）： max f ( x) ( x) min max f ( x) ( x)
好的近似直线：偏差均匀（一样大），即在0,,1三个点 （偏差点）处偏差值相同且最小。所以可利用偏差点使 偏差值最小，例题说明：一次最佳一致逼近多项式容易 6-8 阜师院数科院第六章 函数逼近 求，因为偏差点偏差能找到。
按偏差，最佳一致逼近问题为： 在n次多项式中，求一 最佳一致逼近概念 （按偏差） 个 max (x) ，在[a,b ]上使 (x)对f(x)的偏差 f ( x) ( x)

最佳平方逼近与最小二乘拟合

最佳平方逼近与最小二乘拟合

最佳平方逼近与最小二乘拟合——两者的区别与联系 函数逼近是用一个多项式无限接近原函数，而拟合是将函数中的元素联系起来。

也就是说，最佳平方逼近是针对函数，最小二乘法是针对离散的点，二者在形式上基本一致。

另外，最小二乘拟合也称为离散型最佳平方逼近，两者的解法有很多相似之处。

一、 函数的最佳平方逼近 （一）最佳平方逼近函数的概念对[]b a C x f ,)(∈及[]b a C ,中的一个子集{}n span ϕϕϕφ,,,10⋯=，若存在φ∈)(*x S，使[]dx x S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ，则称)(*x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。

（二）最佳平方逼近函数的解法为了求)(*x S ，由[]dxx S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ可知，一般的最佳平方逼近问题等价于求多元函数dxx f x a x a a a I banj j j n 2010)()()(),,,(⎰∑⎥⎦⎤⎢⎣⎡-=⋯=ϕρ的最小值问题。

由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数，利用多元函数极值的必要条件),,1,0(0n k a Ik⋯==∂∂，即),,,,1(2nn x x x G G =n),,1,0(0)()()()(20⋯==⎥⎦⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a Ik b a n j j j kϕϕρ，于是有()()),,1,0(,,0n k f a k j nj j k ⋯==∑=ϕϕϕ。

()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ是关于n 10,,,a a a ⋯的线性方程组，称其为法方程。

由于n ϕϕϕ,,,10⋯线性无关，故系数行列式()0,,,10≠⋯n G ϕϕϕ，于是方程组()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ有唯一解),,1,0(*n k a a k k ⋯==，从而得到)()()(*0*0*x a x a x S n n ϕϕ+⋯+=。

数学建模讲座(1)——数据的最小二乘逼近

数学建模讲座(1)——数据的最小二乘逼近
LOGO
线性最小二乘拟合 f(x)=a1r1(x)+ …+amrm(x)中函数 中函数 {r1(x), …rm(x)}的选取 r (x)}的选取 一、最小二乘逼近理论
f(x)； 1. 通过机理分析建立数学模型来确定 f(x)； 作图， 2. 将数据 (xi,yi) i=1, …n 作图，通过直观判断确定 f(x)： ： f=a1+a2x + + + + + f=a1+a2x+a3x2 + + + + + f=a1+a2x+a3x2 + + + + +
LOGO
二、利用MATLAB实现最小二乘逼近 利用 实现最小二乘逼近
计算结果：Ａ 2）计算结果：Ａ = -9.8108 20.1293 -0.0317
f ( x ) = − 9 . 8108 x 2 + 20 . 1293 x − 0 . 0317
12 10
8
6
4
2
0
-2 0
原始数据及拟合曲线
0.2
可化为线性最小二乘 f=a1+a2/x + + + + + f=aebx + + + + + f=ae-bx + + + + +
LOGO
一、最小二乘逼近理论
非线性最小二乘逼近
如果要用非线性模型对离散数据进行最小二乘逼近， 如果要用非线性模型对离散数据进行最小二乘逼近，如果 线性化， 可以线性化得可以先将其线性化 可以线性化得可以先将其线性化，然后求解线性化以后的最小二 乘逼近问题。 乘逼近问题。 可线性化的非线性最小二乘逼近（ 可线性化的非线性最小二乘逼近（线性化后为 Y = a1 X + a） 2

数值分析ch2最佳逼近和最小二乘法

数值分析ch2最佳逼近和最小二乘法

10/23/2018 9:35:56 AM
第2章 最佳逼近和最小二乘法
在[0,1]上，当最佳平方逼近空间 M span 1, x, x2, , x n 时，法方程系数
矩阵为 Hilbert 矩阵
1
1 2
1 1
1
n
1
1
H 2 3
n2
1 1
1
n 1 n 2
2n 1
当 n 较大时 Hilbert 矩阵和对应的法方程组 Hx b 是病态的，用数值方法
求解方程组 Hx b 是不稳定的。为了避免求解病态方程组,通常找M 中的
一组正交多项式。常用的正交多项式有：勒让德多项式，切比雪夫多项式，
拉盖尔多项式，埃尔米特多项式等。
正交多项式:若多项式序列i
(
x),
x
[a,
b] i0
满足
j ,k
b a
(
x)
j
(
x)k
(
x)dx
0, Ak
0,
jk ( j, k 0,1, 2,
函数的最佳逼近问题：
对于给定的函数 f (x)，要求在一个简单函数类 B 中，寻找一个函数 s(x) B ，
使得 s(x) 与 f (x) 的误差在某种度量下达到最小，这一问题称为最佳逼近问题，
s(x) 称为 f (x)的最佳逼近函数。
函数最佳逼近常用的误差度量标准
2 范数: (x) f (x) s(x) min f (x) y(x) ,最佳平方逼近或均方逼近
1
f b (x) f 2(x)dx 2
2
a
其中(x) L2[a,b] 为权函数，在(a,b)上非负，且满足：
（1） b x j (x)dx a

数值计算方法_最佳平方逼近

数值计算方法_最佳平方逼近

25数值分析—最佳逼近━基于ＭＡＴＬＡＢ的实现与分析§１ 引 言所谓函数最佳逼近就是从指定的一类简单的函数中寻找一个和给定的函数“最贴近”的函数，从几何（空间）的角度看，函数最佳逼近就是从指定的一类简单的函数（点的集合）中寻找一个与给定的函数（定点）距离最短的函数（点）。

由于在函数空间中可以定义不同的距离，不同意义下的距离度量定义了不同的逼近准则。

令P 表示指定的一类简单的函数集合 １、函数最佳一致逼近： 基于的距离度量如下()[]()()d f P f x P x x a b ，，=-∈max （１）逼近准则：()[]()()x P x f P f d b a x P P -=∈P ∈P∈，max min ,min （２）２、函数最均方逼近：基于的距离度量如下()()()[][]d f P f x P x dx ab，=-⎰212（３）逼近准则()=P∈P f d P ,min minP ∈P()()[][]f x P x dx ab-⎰212（４）如果给定的是函数在若干点处的函数值：()()x f x i i ，，i =0，1，， n ，那么还有称为：３、最小二乘逼近： 基于的距离度量如下()()()[]d f P f x P x i i i n ，=-⎡⎣⎢⎤⎦⎥=∑012（５）逼近准则26()=P ∈P f d P ,min min P ∈P ()()[]f x P x i i i n-⎡⎣⎢⎤⎦⎥=∑012（６）４、插值逼近，其逼近准则为：()()i i x f x P =， ()n i x P ，，，， 10=P ∈ （７）对于函数最佳逼近问题而言，用于逼近的简单的函数集合一般选取次数不超过n 次的多项式函数全体()()()(){}P n k k x P x P x k n ==≤deg （８）即用多项式函数逼近给定的函数，其原因在于只需对自变量做加法、减法和乘法运算就能得到函数值是多项式函数显著的特点之一，因此，从计算的角度来说多项式函数是最简单的。

第三章函数逼近及最小二乘法

第三章函数逼近及最小二乘法

第三章 函数逼近及最小二乘法 §1 内积空间及函数的范数定义1 设)(x ρ是定义在(a,b)上的非负函数，且满足：1）dx x x nba )(ρ⎰存在 （n=0,1,2,…）2）对非负的连续函数g(x)，若0)()(=⎰dx x x g ba ρ则在(a,b)上有g(x)=0，则称)(x ρ为(a,b)上的权函数。

定义2 设f(x),g(x)为[a,b]上的连续函数，)(x ρ为(a,b)上的权函数，称),(g f =dx x x g x f ba)()()(ρ⎰为函数f(x)与g(x)在[a,b]的内积。

特别当)(x ρ=1时，上式变为 ),(g f =dx x g x f ba⎰)()(设],[b a C 表示在区间[a,b]上连续函数的全体，那么定义了内积之后，],[b a C 就变成了一个内积空间。

显然有),(f f =dx x x f ba)()(2ρ⎰为一个非负值，因此我们有定义3 对],[)(b a C x f ∈，称),()(2f f x f = 为)(x f 的欧氏范数（又称2-范数）。

其实，我们还经常用到函数的其他范数。

比如，)(max)(xfxfbxa≤≤∞=dxxxfxf ba)()()(1ρ⎰=n维向量空间中两个向量正交的定义也可以推广到连续内积空间],[baC中.定义4 若],[)(),(baCxgxf∈,满足),(gf = dxxxgxf ba)()()(ρ⎰=0则称函数f(x)与g(x)在[a,b]上带权)(xρ正交.若函数族),(,),(),(1xxxnϕϕϕ满足⎰⎩⎨⎧=>≠==bakkjkj kjAkjdxxxx)()()(),(ϕϕρϕϕ则称函数族{})(xkϕ是[a,b]上带权)(xρ的正交函数族.特别地,若1=kA,就称之为标准正交函数族.由高等数学的知识，我们知道, Foureir级数展开中函数族1,cosx,sinx,cos2x,sin2x,……即为],[ππ-上带权)(xρ=1的正交函数族.如同线性代数中的向量组线性无关概念一样,在此也有函数组的线性无关概念.定义5设函数组)(,),(),(11xxxn-ϕϕϕ 在[a,b]上连续,若)()()(1111=+++--xaxaxannϕϕϕ当且仅当011====-naaa 时成立,则称函数族)(,),(),(11xxxn-ϕϕϕ 在[a,b]上是线性无关的.否则称为线性相关函数组。

数值分析 第七章最小二乘法

数值分析 第七章最小二乘法

对于有些不能化为多项式形式的函数,照此矩阵形式,计算较 简单.
9
例:给出数据
xi yi
0.1
0.2
0.3
0.4
0. 5
0.6
0.172 0.323 0.484 0.690 1.000 1.579
现在用最小二乘法求拟合曲线 作变换 z =
y=
cx 1 + ax + bx2
1 1 a b 1 1 = + + x = a0 + a1 + a2 x , Φ = span{ ,1, x} y cx c c x x 1 10 5 5 = 5.814 2 10 5 a0 3 2 3 r 0.172 ur T 1 1 1 1 1 z = 3.096 A = 1 C = a1 M a 0.1 0.2 0.3 0.4 0.5 0.6 2 0.633 ur r T T 则最小二乘法的法方程组就可以写为: A AC = A z 求得: a0 = 0.503, a1 = 0.976, a2 = −1.967
i=1 i=1
⇒a0 ∑ ϕ j ( xi )ϕ0 ( xi ) ρ ( xi ) +L+ an ∑ ϕ j ( xi )ϕn ( xi ) = ∑ f ( xi )ρ ( xi ) ϕ j ( xi )
i=1 i=1 i=1
m
m
m
j = 0,1,L, n
这就得到了一个线性方程组,这个方程组称为最小二乘法的 法方程组(又称正规方程组). 由这个法方程组的解就可得到所要求的函数 ϕ ( x ) = a 0 ϕ 0 ( x ) + a1ϕ 1 ( x ) + L + a n ϕ n ( x )

分析06-一致逼近 数值分析 教学课件 ppt-西南交通大学

分析06-一致逼近 数值分析 教学课件 ppt-西南交通大学

，F为切 点，作为近似直线：
Y
图6-3
OA是不是最好的？回答是否
arctgx
B
定的！
E
∵在x=α处产生较大偏差
A
或者说误差最大。
那么CB是不是最好的？
C
结论仍然是否定的！
D
X
第章
O
α
1 6-6
W
C∵B在的x中=0线，）x=，1处在产OA生到较引D大E间偏，例差C不（B仅到续如DE此2间：）直作线D都E（不O是A最与好
Y
的，∵若最好的近似直线在OA到DE间，必然在x=α处产
ቤተ መጻሕፍቲ ባይዱ
生较大偏差，若在CB到DE间则必然在x=0及x=1处产生较
大偏差。∴只有DE才是符合这里“标准”的最好近似直
线
（误差均匀），不产生最大偏差标准下的使最大偏差达到
了最小。
这样的DE如何求：设为a0+a1x，误差YR(x)=arctgx-a0-图a61-x3。
推论2
（∵n+2个点是唯一的）
设f(x)C[a,b]，则f(x)在Hn中的最佳一致逼近多项 式Pn(x)，就是f (x)在[a,b]上的某个n次Lagrange插 值多项式。
第章
（推论2证明下屏）6-10
W
Y
切比雪夫定理（续1）
∵Pn(x)有n+2个偏差点，亦即使f (x) －Pn (x)在[a,b]上至 少有n+2个点交替换正负号，亦就是说f(x) Pn(x)=0在 [a,b]上有n+1个根存在n+1个点：a x0<…< xn b 使f (xi) Pn (xi)=0 即：f (xi)=Pn(xi) (i =0,1,2,…,n) , 所以， 以此作为插值条件可得到Pn(x)，因此，Pn(x)就是以 x0,x1,…,xn为插值节点的n次值多项式 。

数值分析3-4(最小二乘法)

数值分析3-4(最小二乘法)
i F ( xi ) yi (i 0,1,..., m)
按某种标准最小。
度量标准不同，将导致不同的拟合结果，常用的准则有如下三种：
(1)使残差的最大绝对值为最小
max i
ei
max i
yi
F(xi )
min
(2)使残差的绝对值之和为最小
ei min i
(3)使残差的平方和为最小
ei2 min i
A 4.48072, b 1.0567 a e A 11.3253103
y 11.3253 103 e1.0567t F (2) (t )
请回答: 怎样比较这两个数学模型的好坏呢？ 答：只要分别计算这两个数学模型的误差，从中挑选误差较小的模型即可。
本例经过计算可得
max i
|
(1) i
三、求解步骤
确定拟合曲线的形式 确定变量对应的数据
确定法方程 求解法方程
最困难！
四、举例
例1. 已知一组实验数据如下，求它的拟合曲线.
xi
1
2
3
4
5
fi
4 4.5 6
8 8.5
ωi
21311
解
根据所给数据，在坐标纸上标出，从图中看到各点在一条直线附近，故
可选择线性函数作拟合曲线，即令
S1( x) a0 a1 x
|
0.568
103
, max i
可由原始数据
计算出来。
拟合S数1(据x) a bx
。
( xi , yi ) (i 1,...,16) ( xi , yi )
(ti , yi )
这里0( x) 1,1( x) x 可求得 (k , j ),( y,代j入),法j方, 程k 得 0,1

数值分析 第五章 曲线拟合和函数逼近

数值分析 第五章 曲线拟合和函数逼近

an xi n yi ) 0 an xi n yi ) xi 0
an xi n yi ) xi n 0
6
可以化为如下的法方程组或正则方程组：
1 xi n 1 xi
x x
i
i 2
x x x
i
2 3
i i
x x
x
,n 1
( xPk , Pk ) 由 ( Pk 1 , Pk ) 0 k 1 ( Pk , Pk )
2 x P i i k ( xi ) i 0 m
m
P ( x )
i 0 2 i k i
， k 0,1, 2,
, n 1
由 ( Pk 1 , Pk 1 ) 0 k
12
y 1 /(ax b) y x /(ax b) y 2 ax2 bx c y x /(ax bx c)
2
设y 1 / y 设y 1 / y , x 1 / x 设y y 2 x 设y y 设x 1 / x
b c y a 2 x x
求解线性方程组有 a 2, b 1.05 。
3
最小二乘原理
曲线拟合问题：对给定的数据 ( xi , yi ) (i 0,1,
, m) ，在取定的函 , m)
(i 0,1, 数类 中， 求函数 P( x) ， 使偏差 ri P( xi ) yi ，
的平方和最小，即
2 r ( P ( x ) y ) i i i min 2 i 0 i 0 m m
,x 。
n
11
非线性最小二乘拟合
可化为线性拟合问题的常见函数类型

数值分析(西北工业大学出版社) 最佳一致逼近

数值分析(西北工业大学出版社) 最佳一致逼近

n 1,2,
性质2 : Tn ( x )是n次代数多项式
性质3 : Tn ( x )的最高次幂 n的系数为 n1 x 2
性质4 : | Tn ( x ) | 1, | x | 1
性质5 : n为奇数, Tn ( x )为奇函数 ; n为偶数, Tn ( x )为偶函数.
性质6： Tn ( x )是[1，上带权 ( x ) 1] 1 1 x2 的正交多项式
1 1 x
2
的正交多项式
证：由
1
Tn ( x ) cos n
n m
得到
1
( x )T ( x )T
0
( x )dx
1

1
Tm ( x )Tn ( x ) 1 x
2
dx
x cos
cos m cos n sin ( sin )d , m n 0 cos m cos nd , m n 0 2 0 0, m n
Tn ( x ) cos(n arccos x ), 1 x 1 Tn ( x ) cos n , 0
有了明确的认识。 在这里给出契贝晓夫多项式是为了解决前面提出的 最佳一致逼近问题：
max | f ( x ) ci* x i | max | f ( x ) ci x i |
2、正交多项式
关于多项式族：
gk ( x ) Ak x k Ak 1 x k 1 A1 x A0
如果存在权函数 ( x ), 使得
b
Ak 0, k 0,1,2,
mn 0, b 2 ( x ) gm ( x ) gn ( x )dx ( x ) gn ( x )dx 0, a a

数值分析17离散数据的最小二乘逼近

数值分析17离散数据的最小二乘逼近



( 0 , y ) a0 ( 1 , 1 ) a 1 ( 1 , y )
( 1 , y ) a1 ( 1 , 1 )

( 0 , y ) ( 1 , y ) ( x) 0( x) 1( x) ( 0 , 0 ) ( 1 , 1 )
(x)= a + b x
GX=F GTGX=GTF 5a + 15b = 31.5 15a +55b =108 a =2.25, b= 1.35
8/18
(x)= 2.25+1.35 x
残差向量:
10 8
6
4
(1)－4= －0.40 (2)－4.5= 0.45 (3)－6= 0.30 (4)－8=－0.35 (5)－9= 0
已知数据表
x f(x)
x1
x2
···· xm ··· ···
y1 y2
···· ym ··· ···
求拟合函数:
(x) = a + b x
1 1 1 x1 y1 x 2 a y 2 b xm ym
多项式求值命令: y1=polyval(P, x) 其中,P是n次多项式的系数,x是自变量的值,y1是多 项式在x处的值
17/18
多项式拟合命令实现插值
2
1.5
1
0.5
0
-0 . 5
x=-5:5;y=1./(1+x.^2); t=-5:.05:5;y0=1./(1+t.^2); p=polyfit(x,y,10);y1=polyval(p,t); plot(t,y0,x,y,'o',t,y1,‘r.')
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

下面用归纳法证明这样给出的 {Pk是(x正)}交的.
28
Pk 1(x) (x k 1)Pk ( x) k Pk 1( x)
(k 1,2, , n 1).
由
的表达式，有1
(P0 , P1) (P0 , xP0 ) 1(P0 , P0 )
( P0
,
x P0
)
( xP0 , P0 ) (P0 , P0 )
函Hale Waihona Puke 族，即( j ,k )m i0
(xi ) j (xi )k (xi )
0,
Ak
0,
j k, j k,
25
则方程的n 解(为k , j )a j dk
(k 0,1, , n).
j 0
m
ak*
( f ,k ) (k ,k )
(xi ) f (xi )k (xi )
i0
m
(
xi
)
2 k
1, (x
1
)
P0
(
x),
Pk 1(x) (x k 1)Pk ( x) k Pk 1( x)
(k 1,2, , n 1).
这里 Pk (是x)首项系数为1的 次k多项式， 正交性，得
根据 Pk (的x)
27
m
k 1
( xi ) xi Pk2 ( xi )
i0
m
( xi )Pk2 ( xi )
( P0
,
P0
)
0.
假定 (Pl , Ps ) 对0(l s) 及s 0,1, , l 1 l 0,1, , k,
k n 均成立，要证 (Pk1, Ps对) 0 s 均 成0,1立,. , k
有
(Pk 1, Ps ) (( x k 1)Pk , Ps ) k (Pk 1, Ps ) (xPk , Ps ) k 1(Pk , Ps ) k (Pk 1, Ps ).
4
S的(x一) 般表达式为线性形式.
若 是k (x次) 多k项式，
S (x) 就是 n次多项式.
为了使问题的提法更有一般性，通常在最小二乘法中
考虑S加(x权) 平 a方0和0 (x) a11(x) ann (x) (n m)
m
( , ) (xi )[S (xi ) yi ]2 , i0
(1,1) i xi2 74, i0
4
(0 , f ) i fi 47, i0
4
(1, f ) i xi fi 145.5. i0
0 (x) 1,
14
n
(k , j )a j dk
j 0
可得方程组
(k 0,1, , n).
82a20a0 227a41a14174, 5.5.
8.46 2.135
21
4
(0 , y) yi 9.404, i0
4
(1, y) xi yi 14.422. i0
故有法方程
解得
5A 7.50b 9.404, 7.50A 11.875b 14.422.
A1.122, b 0.505, a eA 3.071.
于是得最小二乘拟合曲线为
求解法方程时将出现系数矩阵
为G 病态的问题，
我们在下面考虑用正交多项式的方法解决。
通常对 n 的1简单情形都可通过求法方程得到
S *(x).
n
(k , j )a j dk
j 0
(k 0,1, , n).
11
例1 已知一组实验数据如下，求它的拟合曲线.
xi 1 2 3 4 5 fi 4 4.5 6 8 8.5
m
m
(xi )[S *(xi ) f (xi )]2 (xi )[S (xi ) f (xi )]2 ,
i0
i0
故 S *(确x)是所求最小二乘解.
S(x) a00 (x) a11(x) ann (x) (n m)
10
给定 f的(x离) 散数据 {( xi , yi ), i， 0,1, , m} 一般可取 span{1, x，,但,这xn样} 做当 时， n 3
0 (x) 1,1(x) x,(x) 1,
得
表3 1
(0 ,0 ) 5,
i
0
41
2
3
4
xi
(10.,001) 1.2x5i 71.5.5, 0 i0
1.75
2.00
yi
yi
5.10 54.79 6.53 7.45
(1.16,219) 1i.70 5x6i2 111.8.87765, 2.008
6
若记
m
( j ,k ) (xi ) j (xi )k (xi ), i0 m
( f ,k ) (xi ) f (xi )k (xi ) dk i0 (k 0,1, , n).
上式可改写为
n
(k , j )a j dk
j 0
(k 0,1, , n).
这个方程称为法方程，可写成矩阵形式
( xPk ( x), Pk ( x)) (Pk ( x), Pk ( x))
i0
( xPk , Pk )
(Pk , Pk )
m
k
( xi )Pk2 ( xi )
i0
m
(
xi
)
P2 k 1
(
xi
)
(Pk , Pk ) (Pk 1, Pk 1 )
i0
(k 1,2, , n 1).
n
不同的零点，则称 0 (x),1(x),在 点,集n (x)
{xi , i 0,1, , m}上满足哈尔(Haar)条件.
显然 1, x,在任, x意n
个m点(m上满n足) 哈尔条件.
如果 0 (x),1(x), ,在n (x)上[满a,足b] {xi}0m
哈尔条件，则法方程 的系数矩阵 非奇异，
7
Ga d,
其中 a (a0 , a1, , an )T , d (d0 , d1, , dn )T ,
(0 ,0 ) (0 ,1)
G
(1
,
0
)
(1 , 1 )
(0 ,n )
(1
,
n
)
.
n (n ,0 ) (n ,1) (n ,n )
(k , j )a j dk (k 0,1, , n).
这里
m
m
2 i
[S * (xi ) yi ]2
i0
i0
m
min
S ( x)
i0
[S (xi )
yi ]2 ,
S(x) a00 (x) a11(x) ann (x) (n m).
3
这个问题称为最小二乘逼近，几何上称为曲线拟合的 最小二乘法.
用最小二乘求拟合曲线时,首先要确定 S的(形x)式. 确定 S的(x形) 式问题不仅是数学问题, 还与问题的 实际背景有关. 通常要用问题的运动规律及给定的数据进行数据描图, 确定S (的x)形式, 然后通过实际计算选出较好的结果.
于是
方程存在唯一的解
ak ak* , k 0,1, , n. 从而得到
函数 f (x的) 最小n二乘解为
(k , j )a j dk (k 0,1, , n).
j 0
9
S *(x) a0*0 (x) a1*1(x) an*n (x).
这样得到的 S *(，x) 对任何的
S (x) 都有
记误差
i S *(xi ) yi , i 0,1, , m, 则 δ (0 ,1,的,各 m分)T量分别为 个数据m点上的误差.
2
设 0 (x),1(x是), ,n上(x线) 性无C[关a,函b]数族， 在 span{0 (x),1(中x)找,一,函n数(x)} ，
使误差平方和
S * ( x)
§4 曲线拟合的最小二乘法
1 最小二乘法及其计算
在函数的最佳平方逼近中 f (x) C如[a果, b],
f (x)
只在一组离散点集 {xi , i 0,1,上给, m定}，这就是科 学实验中经常见到的实验数据 {( xi , yi ), i 0的,1, , m} 曲线拟合.
1
问题为利用 yi f (xi ), i 求0出,1一,个, m函,数 y S*(x) 与所给数据{( xi , yi ), i 0,拟1,合. , m}
i 2 1 3 1 1
12
解 将所给数据在坐标纸上标出，见图3-4.
图3-4 从图中看到各点在一条直线附近，故可选择线性函数作 拟合曲线，
13
令 S1(x) a0 a1x, 这里 m 4, n 1,
1(x) x, 故
4
(0 ,0 ) i 8, i0
4
(0 ,1) (1,0 ) i xi 22, i0 4
29
由归纳法假定，当 0 s k时 2
(
xi
)
(k 0,1, , n).
i0
且平方误差为
n
( , ) ( f , f ) Ak (ak* )2. k 0
26
接下来根据给定节点 x0 , x1,及权,函xm数
构造带权 ( x正)交的多项式 {P. n (x)}
注意 n，用m递推公式表示 ，P即k (x)
(x) 0,
PP10((xx))
y 3.071e0.505x.
22
利用下面的程序，可在Matlab中完成曲线拟合.
x=[1.00 1.25 1.50 1.75 2.00]; y=[5.10 5.79 6.53 7.45 8.46]; y1=log(y); aa=poly(x,y1,1); a=aa(1); b=exp(aa(2)); y2=b*exp(a*x); plot(x,y,’r+’,x,y2,’k’) xlabel(‘x’); ylabel(‘y’); gtext(‘y=a*exp(bx))’;