当前位置：文档之家 › 【精品】第三章函数逼近及最小二乘法

【精品】第三章函数逼近及最小二乘法

  • 格式：doc
  • 大小：930.50 KB
  • 文档页数：24

下载文档原格式

  / 24

合集下载

数值分析之最小二乘法与最佳一致逼近

数值分析之最小二乘法与最佳一致逼近
i 0 m
这里 ( x) 0是 [a, b]上的权函数，它表示不同点 ( xi , f ( xi ))
处的数据比重不同.
5
S ( x) a00 ( x) a11 ( x) ann ( x) (n m) 用最小二乘法求拟合曲线的问题，就是在
S ( x )中求一函数 y S * ( x)， 使误差取得最小.
23
结果如下：
24
2
用正交多项式做最小二乘拟合
用最小二乘法得到的法方程组，其系数矩阵
n . G是病态的
(
(k 0,1,, n). （5.6） j 0 如果 0 ( x), 1 ( x), , n ( x) 是关于点集
k
, j )a j d k
{xi } (i 0,1,, m) 带权 ( xi ) (i 0,1,, m)
4 2.00 8.46 2.135
21
( 0 , y ) yi 9.404,
i 0 4
4
(1 , y ) xi yi 14.422.
i 0
故有法方程
5 A 7.50b 9.404, 7.50 A 11.875b 14.422.
解得
A 1.122, b 0.505, a e A 3.071.
使误差平方和
* 2 [ S ( x ) y ] i i i 0 2 i i 0 m m m
min
S ( x )
2 [ S ( x ) y ] , i i i 0
这里
S ( x) a00 ( x) a11 ( x) ann ( x)
(n m).
y S * ( x) 与所给数据{( xi , yi ), i 0,1,, m} 拟合.

《数学函数逼近》PPT课件

《数学函数逼近》PPT课件

---------(2)
a0 * 0(x) a1 * 1(x) an * n(x)
使得 * 2 2
m
(S * ( xi ) yi )2
i0
m
min S ( x)
2 2

min
S ( x)
i0
( S ( xi
)

yi
)2
n
其中S(x) a j j (x)为中的任意函数。
j0
---------(3)
EAST CHINA INSTITUTE OF TECHNOLOGY
理学院
n
称满足条件(3)的求函数S *(x) a*j j (x)的方法为 j0
数据拟合的最小二乘法.
n
S *(x) a*j j (x)为最小二乘解. j0 n
S(x) a j j (x)为拟合函数, a j ( j 0,1, , n)为拟合系数. j0 * 2 称为最小二乘解的平方误差. 2
解: 从数据的散点图可以看出
y与x之间具有三角函数关系 cos x y与x之间还具有指数函数关 系ex
y与x之间还具有对数函数关 系ln x 因此假设拟合函数与基函数分别为
设x, y的关系为
y S(x)
其中S(x)来自函数类 如(1)中y(x)来自线性函数类
设函数类 的基函数为 i(x)(i 0,1,,n) 一般要求n m
也称是由i(x)(i 0,1,, n)生成的函数集 ,即
span{0(x),1(x),,n(x)}
n
i0
k 0,1,,n 即
m
m
m
a0 0(xi )k (xi ) a1 1(xi )k (xi ) an n(xi )k (xi )

数值计算方法(宋岱才版)课后答案

数值计算方法(宋岱才版)课后答案

第一章 绪论一 本章的学习要求（1）会求有效数字。

（2）会求函数的误差及误差限。

（3）能根据要求进行误差分析。

二 本章应掌握的重点公式（1）绝对误差：设x 为精确值，x *为x 的一个近似值，称e x x **=-为x *的绝对误差。

（2）相对误差：r e e x***=。

（3）绝对误差限：e x x ε***==-。

（4）相对误差限：r x x xxεε*****-==。

（5）一元函数的绝对误差限：设一元函数()()()0,df f x f x dx εε***⎛⎫==⋅ ⎪⎝⎭则。

（6）一元函数的相对误差限：()()1r df f x dx f εε****⎛⎫=⋅ ⎪⎝⎭。

（7）二元函数的绝对误差限：设一元函数()()(),0,f f x y f y y εε***⎛⎫∂==⋅ ⎪∂⎝⎭则。

（8）二元函数的相对误差限：()()()1r f f f x y x y f εεε******⎡⎤⎛⎫∂∂⎛⎫⎢⎥=⋅+⋅ ⎪ ⎪∂∂⎝⎭⎢⎥⎝⎭⎣⎦。

三 本章习题解析1. 下列各数都是经过四舍五入得到的近似值，（1）试指出它们有几位有效数字，（2）分别估计1123A X X X ***=及224X A X **=的相对误差限。

12341.1021,0.031,385.6,56.430x x x x ****====解：（1）1x *有5位有效数字，2x *有2位有效数字，3x *有4位有效数字，4x *有5位有效数字。

（2）1111123231312123,,,,A A AA x x x x x x x x x x x x ∂∂∂====∂∂∂由题可知：1A *为1A 的近似值，123,,x x x ***分别为123,,x x x 近似值。

所以()()111rA A Aεε***=()()()12311111123A A A x x x A X X X εεε*******⎡⎤⎢⎥=++⎢⎥⎢⎥⎣⎦⎛⎫⎛⎫⎛⎫∂∂∂ ⎪ ⎪ ⎪∂∂∂⎝⎭⎝⎭⎝⎭43123131212311111010100.215222x x x x x x x x x **-**-**-***⎡⎤=⨯⨯+⨯⨯+⨯⨯=⎢⎥⎣⎦()222222424441,,,X A Ax A X x x x x ∂∂===-∂∂则有同理有2A *为2A 的近似值，2x *，4x *为2x ，4x 的近似值，代入相对误差限公式：()()222rA A Aεε***=()()24212224A A X X A X X εε*****⎡⎤⎢⎥=+⎢⎥⎢⎥⎣⎦⎛⎫⎛⎫∂∂ ⎪ ⎪∂∂⎝⎭⎝⎭()33542224411*********X X X X X **--***⎡⎤⎢⎥=⨯⨯+⨯⨯=⎢⎥⎣⎦2. 正方形的边长大约为100cm ，怎样测量才能使其面积误差不超过21cm ? 解：设正方形的边长为x ，则面积为2S x =，2dsx dx=，在这里设x *为边长的近似值，S *为面积的近似值：由题可知：()()1ds s x dx εε***=≤⎛⎫ ⎪⎝⎭即：()21x x ε**⋅≤ 推出：()10.005200xcm ε*≤=。

数值分析第二次作业答案answer2

数值分析第二次作业答案answer2

S4 = 0.11157238253891，S8 = 0.11157181325263。 同学们根据自己理解计算 S4 ，S8 都可。 复合梯形公式和复合 Simpson 公式的代码已重复多次，同学们自己整 理。 3. 用 Simpson 公式计算积分 误 差 为 |R(f )| = | − η ∈ (0, 1)。 4. 推导下列三种矩形求积公式： ∫b f (x)dx ∫a b f (x)dx ∫a b a f (x)dx = (b − a)f (a) + = (b − = (b −
14.7 53.63 从而 a = −7.855048，b = 22.25376。 2. 已知实验数据如下： 。 xi 19 25 31 38
44
yi 19.0 32.3 49.0 73.3 97.8 用最小二乘法求形如 y = a + bx2 的经验公式。 答案：两个待定常数，只能两个 φ。 φ0 ，φ1 也必须形如 y = a + bx2 。 可设 φ0 = 1，φ1 = x2 。法方程为： ( 5 5327 )( a b ) = ( 271.4 369321.5 )
第三章 函数逼近 1. 观测物体的直线运动，得出以下数据： 时间 t(s) 0 0.9 1.9 3.0 3.9 5.0 距离 s(m) 0 求运动方程。 ( 10 φ0 = 1，φ1 = t。法方程为： 6 14.7 )( a b ) = ( 280 1078 )
6
1. 用 LU 分解及列主元高斯消去法解线性方程组 8 10 −7 0 1 x1 −3 2.099999 6 2 x 5.900001 2 = 5 5 − 1 5 − 1 x 3 x4 1 2 1 0 2 输出 Ax = b 中系数 A = LU 分解的矩阵 L 及 U ，解向量 x 及 det A；列 主元法的行交换次序，解向量 x 及 det A；比较两种方法所得的结果。 代码： A=[10,-7,0,1;-3,2.099999,6,2;5,-1,5,-1;2,1,0,2]; b=[8,5.900001,5,1]'; x=A\b;x(1) 结果：1.7764e-016 LU分解代码： A=[10,-7,0,1;-3,2.099999,6,2;5,-1,5,-1;2,1,0,2]; b=[8,5.900001,5,1]'; [m,n] = size(A); if m~=n, error('A matrix needs to be square'); end for i=1:n-1 pivot = A(i,i); if abs(pivot)<50*eps, error('zero pivot encountered'); end for k = i+1:n A(k,i) = A(k,i)/pivot; A(k,i+1:n) = A(k,i+1:n) - A(k,i)*A(i,i+1:n); end end 7

最佳平方逼近与最小二乘拟合

最佳平方逼近与最小二乘拟合

最佳平方逼近与最小二乘拟合——两者的区别与联系 函数逼近是用一个多项式无限接近原函数，而拟合是将函数中的元素联系起来。

也就是说，最佳平方逼近是针对函数，最小二乘法是针对离散的点，二者在形式上基本一致。

另外，最小二乘拟合也称为离散型最佳平方逼近，两者的解法有很多相似之处。

一、 函数的最佳平方逼近 （一）最佳平方逼近函数的概念对[]b a C x f ,)(∈及[]b a C ,中的一个子集{}n span ϕϕϕφ,,,10⋯=，若存在φ∈)(*x S，使[]dx x S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ，则称)(*x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。

（二）最佳平方逼近函数的解法为了求)(*x S ，由[]dxx S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ可知，一般的最佳平方逼近问题等价于求多元函数dxx f x a x a a a I banj j j n 2010)()()(),,,(⎰∑⎥⎦⎤⎢⎣⎡-=⋯=ϕρ的最小值问题。

由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数，利用多元函数极值的必要条件),,1,0(0n k a Ik⋯==∂∂，即n),,1,0(0)()()()(20⋯==⎥⎦⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a Ik b a n j j j kϕϕρ，于是有()()),,1,0(,,0n k f a k j nj j k ⋯==∑=ϕϕϕ。

),,,,1(2n n x x x G G Λ=()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ是关于n 10,,,a a a ⋯的线性方程组，称其为法方程。

由于n ϕϕϕ,,,10⋯线性无关，故系数行列式()0,,,10≠⋯n G ϕϕϕ，于是方程组()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ有唯一解),,1,0(*n k a a k k ⋯==，从而得到)()()(*0*0*x a x a x S n n ϕϕ+⋯+=。

最小二乘法及其应用

最小二乘法及其应用
AT Ax ATb
（3-2-4）
这就是书中例2-4-1中所得到的法方程 若使用配方法，则有：
g(x) xT AT Ax 2bT Ax bTb
( AT Ax ATb)T ( AT A)1( AT Ax ATb)
bTb bT A( AT A)1 ATb
min AT Ax ATb
可以看出，
gmin bT b bT A( AT A)1 AT b
本例中介绍的两个向量求导公式中，
提到了对于向量x求导的梯度算符 x ,我
们还可以引入对矩阵 A aij 求导的梯度算
符 A
：
a11
L
a12
a1n
L
A
L
L L L
L
L
L
（3-2-5）
an1 an2 L ann
需要说明的是，算符A 只有作用在关于 aij 的标量函数上才有意义。例如对于二次型
在上述解法中，卡享南-洛厄维变换被 选用并不是偶然的，因为这种变换消除了 原始信号x的诸分量间的相关性，从而使 数据压缩能遵循均方误差最小的准则实施。 上述数据压缩方法告诉我们应该压缩掉y 中那些方差大的分量，这称为数据压缩的 方差准则。
J1(A) || Y XA ||2 tr[(Y XA)T (Y XA)] min （3-3-12）
式（3-3-12）的形式与（3-3-9）类似，但 应注意在此处 J1(A)是标量函数。她可以
完全类似于式（3-3-10）那样来配方而求 解，也可体用求导法来求解。由于
J1( A) tr(Y TY ) 2tr(Y T XA) tr(AT X T XA) （3-3-13）
M
M
A
yT (m) xT (m)
或简记为

函数逼近

函数逼近

3-1
3与预备知识
什么是函数逼近
对于一个给定的复杂函数 f (x), 在某个表达式较简单的函数类 Φ 中寻找一个函数 p(x), 使其在某种 度量下距离 f (x) 最近, 即最佳逼近. 这就是函数逼近. • • • • 函数 f (x) 通常较复杂, 但一般是连续的. 我们这里主要考虑 [a, b] 上的连续函数, 即 f (x) ∈ C [a, b]; 函数类 Φ 通常为多项式函数, 或分段多项式函数, 或有理函数, 或三角多项式函数, 等等; 在不同的度量下, f (x) 的最佳逼近可能不一样; 函数逼近通常采用基函数法.
2
例 3.1 常见的线性空间 • • • • • 3.1.4 Rn : 数域 R 上的 n 为线性空间; Cn : 数域 C 上的 n 为线性空间; C [a, b]: 定义在 [a, b] 上的实系数连续函数全体构成 R 上的线性空间; Hn : 次数不超过 n 的实系数多项式全体构成 R 上的 n + 1 维线性空间; C p [a, b]: 定义在 [a, b] 上的实系数 p 阶连续可导函数全体构成 R 上的线性空间; 范数与赋范线性空间
3.1 基本概念与预备知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 3.1.1 3.1.2 3.1.3 3.1.4 3.1.5 3.1.6 3.2 什么是函数逼近 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 多项式逼近的理论基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 线性空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 范数与赋范线性空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2 内积与内积空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-3 最佳逼近多项式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-8

数值分析第3章

数值分析第3章
(3) (u v, w) (u, w) (v, w), u, v, w X; (4) (u,u) 0, 当且仅当u 0 时，(u,u) 0. 则称 (u,为v)X上 与u 的内v 积.
20
定义了内积的线性空间称为内积空间. 定义中（1）的右端 (u称, v为) 的(u共,轭v)， 当K为实数域R时 (u, v) .(v, u) 如果 (u, v，) 则 称0 与 正交u ，这v 是向量相互垂 直概念的推广.
b a
f
2
(
x)dx
2
33
若 0 ,1,,n是 C[a, b]中的线性无关函数族，记 span{0 ,1,,n}, 它的格拉姆矩阵为
G G(0 ,1,,n )
(0 ,0 ) (0 ,1) (0 ,n )
(1
,
0
)
(1 , 1 )
(1
,
n
)
(n ,0 )
(n ,1 )
(
n
,
n
)
（1.17）
Hn span{1, x,, xn},
且 (a0 , a1,, an ) 是 p(x) 的坐标向量，H n 是 n 1维的.
8
对连续函数 f (x) C[a,b]，它不能用有限个线性无关的 函数表示，故 C[a,b]是无限维的，但它的任一元素 f (x) 均可用有限维的 p(x) Hn逼近，使误差
与数的乘法构成实数域上的线性空间， 记作 R n，称为 n维
向量空间.
4
对次数不超过 n( n为正整数)的实系数多项式全体，
按通常多项式与多项式加法及数与多项式乘法也构成数域
R上一个线性空间，用
H
表示，称为多项式空间.
n
所有定义在 [a,b] 上的连续函数集合，按函数加法和

第3讲-函数逼近

第3讲-函数逼近

5
函数插值是插值函数 p(x) 与被插函数 f(x) 在节点处函数 值相同，即 P ( x i )
f ( x i )， ( i 0 ,1, , n ) ；而曲线拟合函数 ( x ) 不
要求严格地通过所有数据点 ( x i , y i ) 。 即，拟合函数 (x) 在xi处的偏差(亦称残差）
5
4
实 验 数 据
3
y
2 1
0
1
2
3
4
5
x
17
例 设某实验数据如下： i xi yi 1 0 5 2 1 2 3 2 1 4 3 1 5 4 2 6 5 3
6 6 6 2 a0m a1 xi a2 xi yi i 1 i 1 i 1 6 6 6 6 2 3 a0 xi a1 xi a2 xi xi yi i 1 i 1 i 1 i1 6 6 6 6 2 3 4 2 a0 xi a1 xi a2 xi xi yi i 1 i 1 i 1 i1
13.8434
70.376
i
i 1 4
2 i
i
a0 3.9374 a1 7.4626
4 a 0 7 .32 a1 70 .376 7 .32 a 0 13 .8434 a1 132 .12985
x y
i
132.12985
y 3.9374 7.4626 x
2
2
即
e

1 2


i0
n
2 i

( x
i0
n
i
) f ( x i )
2
最小。
这种要求误差（偏差）平方和最小的拟合称为曲线拟合的 最小二乘法。

最小二乘问题的解法

最小二乘问题的解法
的线性组合考虑个已经函数上取值的并假定给出在定义残量为此能最佳地逼近数据估计参数则问题转化为量形式则残量可表示为下列向和向量若用引入矩阵问题简记为该问题称为最小二乘问使得确定及向量给定矩阵定义squaresleastlsayaxth的解存在的充分必要条方程组定理得证即有于是这里充分性必有由此即知这说明即有的列向量的线性组合设存在必要性axth是其任一给并且假定的解存在方程组如果反之于是有满足方程组如果axazaxayaxth的充要条件是解唯一而且其是存在的的最小二乘问题的解总线性方程组axax的充分必要条件是因此注意到达到最小达到最小当且仅当故此从而正交于是对任意其中可以唯一地表示为所以向量要条件是的最小二乘解的充分必那么其中注意到于是那么的最小二解正则化算法正则化算法的基本步骤如下
Hx
x
u
w
proof
(1)显然成立， ( 2)和(3)可直接得出， 事实上 H T H H 2 ( I 2 ww T )( I 2 ww T ) I 4 ww T 4 ww T ww T I
2
w
令w ( x y ) / x y 2 , 构 造Householde r变 换 2 H I 2 ww T I ( x y )( x y ) T 2 x y 2 注意到 x T x y T y (已 知),于 是 2 x y 2 ( x y ) T ( x y ) 2( x T x y T x ) 2 ( x y ) T x 从而 2 Hx x ( x y )( x y ) T x x ( x y ) y 2 x y 2 proof
i 1 T n
这 里A a i ,, a n .
于 是, 令x ( x1 , , x n ) ,即 有Ax b. 定理得证 Th3.1.2 方程 组 Ax b的解 存在 , 并且 假定 x是其 任一 给 定的 解 , 则方 程组 的全 部解 的集 合是 x N ( A) proof : 如 果y满 足 方 程 组 , 则A( y x ) 0,即( y x ) N ( A), 于是有 y x ( y x ) x N ( A).反 之, 如 果y x N ( A),则 存 在z N ( A),使y x z, 从 而 有 Ay Ax Az Ax b. 证 毕.

数值分析—第3章函数逼近与数据拟合法

数值分析—第3章函数逼近与数据拟合法
j 0
称为广义多项式。
数值分析
三、函数的最佳平方逼近 对于给定的函数 f ( x) C[a, b] 如果存在 使
* ( x) Span 0 , 1 , , n } {

b
a
( x) f ( x) ( x) dx min
* 2
( x ) a
mn mn0 mn0
(2) 递推关系
相邻的三个切比雪夫多项式具有三项递推关系式： T0 ( x ) 1, T1 ( x ) x (n 1, 2, ) Tn1 ( x ) 2 x Tn ( x ) Tn1 ( x ) Tn (x) 的最高次项系数为 2n-1 (n = 1, 2, …)。
连续函数在[a, b]上线性无关的充分必要条件是它们 的Gramer行列式Gn 0，其中
( 0 , 0 ) ( 0 , 1 ) ( 0 , n ) G n G n ( 0 , 1 , , n ) (1 , 0 ) (1 , 1 ) (1 , n ) ( n , 0 ) ( n , 1 ) ( n , n )
(n 1, 2, )
(3) 奇偶性： 当n为偶数时，Pn (x)为偶函数； 当n为奇数时，Pn (x)为奇函数。 (4) Pn (x)的n个零点都是实的、相异的，且全
部在区间[-1, 1]内部。
数值分析
2．切比雪夫(Tchebyshev)多项式 称多项式
Tn ( x) cos(narc cos x)
Span{ 0 , 1 , , n }
并称 0 ( x), 1 ( x), , n ( x) 是生成集合的一个基底。 设函数系{
0 ( x), 1 ( x), , n ( x) ，…}线性无关，

数值逼近

数值逼近
i 1
证明： (b) (a ) [ F ( x i ) yi ] [ P ( xi ) yi ]2
2 i 1
m
m
m
i 1
[F ( xi ) P( xi ) P( xi ) yi ] [ P( xi ) yi ]2
2
m
[F ( xi ) P( xi )] 2 [F ( xi ) P( xi )][P( xi ) yi ]
| P ( xi ) yi |2 最小
i 1
m
i 1 m
一、 最小二乘拟合多项式
确定多项式 P( x) a0 a1 x ... an x n ，对于一组数据(xi, yi)
(i = 1, 2, …, n)
使得 [ P ( xi ) yi ]2 达到极小，这里 n << m。
3 4 15 32
15 32 a0 21 a 64 1
a0 10 , * 7 10 88 27 12 , p1 ( x ) x. 31 88 27 135 a1 135 . 80
1
i 1
m
m 法方程组(或正规方程组) ( a 0 , a1 , ... , a n ) a 0 a1 x i ... a n x in y i
实际上是 a0, a1, …, an 的多元函数，即 回归系数
在 的极值点应有 0 , k 0, ... , n
f ( x0 ) f ( n ) ( x0 ) Pn ( x ) f ( x0 ) ( x x0 ) ( x x0 ) n 1! n!
就是的一种近似公式．用它求 x0 附近的函数值误差较小，当|x-x0 | 较

最佳平方逼近

最佳平方逼近

同时，还需要给出连续函数
空间上的一个度量标准，下面通过内积给出平方范数。
二、连续函数的平方范数
已知所有连续函数构成的集合C[a,b]是一个线性
空间，对于C[a,b]中的任意函数
、 ，定义
实数
可以证明此实数满足性质：
这时，称
为与
的内积。
并称 为函数
（3.1） 的平方范数， 且满足以下性质：
（1）
，当且仅当
xi 1 2 3 4 5 6 7 8 zi 2.72 3.02 3.31 3.60 3.89 4.18 4.48 4.77
对
作线性拟合曲线，取
得正则方程组
解得 于是有 拟合曲线为：
练习 三
3-1 利用Legendre多项式
求函数
在
上的最佳均方逼近，并估计误差。
3-2 求 上权函数为
的正交多项
式前四项 3-3 求 ，使
由 得到法方程组第 j 行的元素为：
于是法方程组的系数矩阵为： 令右端第二个矩阵为：
则系数矩阵可以表示为： 再看法方程组的右端项：
由 得到
最后可以将法方程组表示为： 其中
这样会更快的写出法方程组来。
如果所求得最小二乘拟合函数为n次多项式，则： 这时：
误差：
三、数值例子
例3.3 根据如下离散数据拟合曲线并估计误差 x1 2 3 4 6 7 8
使得对于一切
都有：
不等式
说明，所求的 满足等式：
(3.2)
而
是由系数
唯一确定的，因此，只要我
们求出了满足(3.2)的
，就可以求出
f(x)最佳平方逼近。
令
(3.3)
则
这时等式

第三章函数逼近1

第三章函数逼近1

6.7941 -5.3475
-653..32457859
5.1084 -49.0086
63.2589 10-0429..50086

-2126...763718262837
Go!
用Gauss列主元消去法,得

a b c


0--.0113..020467113035
y(x) a0 a1x
为拟合函数，其基函数为
0(x) 1 1(x) x
建立法方程组 根据内积公式，可得
(0 ,0 ) 24 (0 , f ) 113.1
法方程组为
(0 ,1 ) 127.5 (1 ,1 ) 829.61 (1 , f ) 731.6
m

*
2 2

(S * ( xi ) yi )2
i0
m
min S ( x)
2 2

min
S ( x)
i0
(S(xi )

yi
)2
m
其中S(x) a j j (x)为中的任意函数 j0
---------(3)
n
称满足条件(3)的求函数S * (x) a*j j (x)的方法为 j0
mn
m
a j j (xi )k (xi ) yik (xi )
i0 j0
i0
mn
m
a j j (xi )k (xi ) yik (xi )
i0 j0
i0
nm
m
[ j (xi )k (xi )]a j yik (xi )
mn
是 (a0 , a1 , , an ) ( a j j ( xi ) yi )2 的最小值 i0 j0

第三章函数逼近及最小二乘法

第三章函数逼近及最小二乘法

第三章 函数逼近及最小二乘法 §1 内积空间及函数的范数定义1 设)(x ρ是定义在(a,b)上的非负函数，且满足：1）dx x x nba )(ρ⎰存在 （n=0,1,2,…）2）对非负的连续函数g(x)，若0)()(=⎰dx x x g ba ρ则在(a,b)上有g(x)=0，则称)(x ρ为(a,b)上的权函数。

定义2 设f(x),g(x)为[a,b]上的连续函数，)(x ρ为(a,b)上的权函数，称),(g f =dx x x g x f ba)()()(ρ⎰为函数f(x)与g(x)在[a,b]的内积。

特别当)(x ρ=1时，上式变为 ),(g f =dx x g x f ba⎰)()(设],[b a C 表示在区间[a,b]上连续函数的全体，那么定义了内积之后，],[b a C 就变成了一个内积空间。

显然有),(f f =dx x x f ba)()(2ρ⎰为一个非负值，因此我们有定义3 对],[)(b a C x f ∈，称),()(2f f x f = 为)(x f 的欧氏范数（又称2-范数）。

其实，我们还经常用到函数的其他范数。

比如，)(max)(xfxfbxa≤≤∞=dxxxfxf ba)()()(1ρ⎰=n维向量空间中两个向量正交的定义也可以推广到连续内积空间],[baC中.定义4 若],[)(),(baCxgxf∈,满足),(gf = dxxxgxf ba)()()(ρ⎰=0则称函数f(x)与g(x)在[a,b]上带权)(xρ正交.若函数族),(,),(),(1xxxnϕϕϕ满足⎰⎩⎨⎧=>≠==bakkjkj kjAkjdxxxx)()()(),(ϕϕρϕϕ则称函数族{})(xkϕ是[a,b]上带权)(xρ的正交函数族.特别地,若1=kA,就称之为标准正交函数族.由高等数学的知识，我们知道, Foureir级数展开中函数族1,cosx,sinx,cos2x,sin2x,……即为],[ππ-上带权)(xρ=1的正交函数族.如同线性代数中的向量组线性无关概念一样,在此也有函数组的线性无关概念.定义5设函数组)(,),(),(11xxxn-ϕϕϕ 在[a,b]上连续,若)()()(1111=+++--xaxaxannϕϕϕ当且仅当011====-naaa 时成立,则称函数族)(,),(),(11xxxn-ϕϕϕ 在[a,b]上是线性无关的.否则称为线性相关函数组。

数值分析--第3章 函数逼近和快速傅里叶变换

数值分析--第3章 函数逼近和快速傅里叶变换

（1.3）
ln i m B n (m )(f,x)f(m )(x).
这个结果不但证明了定理1，而且由(1.3)给出了 f (x) 的一个逼近多项式，但它收敛太慢，实际中很少使用.
2020/5/8
课件
11
更一般地，可用一组在 C[a,b] 上线性无关的函数集合
i(x)in0 来逼近 f(x)C[a,b]，此时元素
在 C[a,b]上也可以类似定义带权内积.
（1.14）
2020/5/8
课件
30
定义4 设 [a, b] 是有限或无限区间，在 [a, b] 上的非负 函数 (x)满足条件：
（1）
b
a
xk
(x)dx存在且为有限值
(k0,1,),
（2） 对 [a, b] 上的非负连续函数 g (x) ，如果
bg(x)(x)dx0, a
(x ,y ) x 1 y 1 x n y n .
（1.5）
若将它推广到一般的线性空间 ，X则有下面的定义.
2020/5/8
课件
19
定义3 X 是数域K(R或C)上的线性空间，对 u,vX, 有K中一个数与之对应，记为 (u, v，) 它满足 以下条件：
(1)(u ,v ) (v ,u ), u ,v X ;
mafx (x)p(x)
axb
( 为任给的小正数)，这就是著名的魏尔斯特拉斯定理.
2020/5/8
课件
9
定理1 设 f(x)C[a,b]，则对任何 0，总存在一
个代数多项式 p(x) ， 使
f(x)p(x)
在 [a , b ] 上一致成立.
伯恩斯坦1912年给出的证明是一种构造性证明.
他根据函数整体逼近的特性构造出伯恩斯坦多项式

第3章 函数逼近与计算

第3章 函数逼近与计算
x
0 ( x) 1
2 2 ( x , ) ( x , 1 ) 2 0 2 ( x) x 0 1 ( x) (0 , 0 ) (1 , 1 )
1 1 ( 0 , 0 ) ln dx ln xdx 1 0 0 x 1
( x, 0 )

b
a
f 2 ( x)dx
函数的平方模满足 (1) 20,而且2=0(x)=0;
(2) c2=|c|2;
(3) +g22+g2 (4) (,g)2 g2
权函数 考虑到(x)在区间[a,b]上各点的函数值比重不同, 常引进加权形式的定义
什么是函数逼近
对函数类A中给定的函数 f(x),记作f(x)∈A,
要求在另一类简单的便于计算的函数类 B
中求函数 p(x)∈B ,使 p(x)与 f(x)的误差在 某种意义下最小.函数类A通常是区间[a, b] 上的连续函数,记作C[a, b],称为函数逼近空 间;而函数B通常为n次多项式,有理函数或分
续函数空间---- C[a, b]
3.1 函数逼近的基本概念
1)线性无关
设集合S是数域P上的线性空间,元素x1,x2,…,xn∈S, 如果存在不全为零的数a1,a2,…,an∈P,使得
a1 x1 a2 x2 ... an xn 0,
则称x1,x2,…,xn线性相关.
关的.
若 0 ( x), n1 ( x)
n n ! d ~ 2 n P ( x ) [( x 1 ) ]. n n ( 2n)! dx
勒让德多项式的性质
(1)正交性
m n; 0, 1 1 Pn ( x) Pm ( x)dx 2 ， m＝n. 2n 1
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第三章函数逼近及最小二乘法第三章 函数逼近及最小二乘法 §1 内积空间及函数的范数定义1 设)(x ρ是定义在(a,b)上的非负函数，且满足：1）dx x x nba )(ρ⎰存在 （n=0,1,2,…） 2）对非负的连续函数g(x)，若0)()(=⎰dx x x g b a ρ则在(a,b)上有g(x)=0，则称)(x ρ为(a,b)上的权函数。

定义2 设f(x),g(x)为[a,b]上的连续函数，)(x ρ为(a,b)上的权函数，称),(g f = dx x x g x f ba )()()(ρ⎰为函数f(x)与g(x)在[a,b]的内积。

特别当)(x ρ=1时，上式变为),(g f = dx x g x f b a ⎰)()(设],[b a C 表示在区间[a,b]上连续函数的全体，那么定义了内积之后，],[b a C 就变成了一个内积空间。

显然有),(f f = dx x x f ba )()(2ρ⎰为一个非负值，因此我们有定义3 对],[)(b a C x f ∈，称),()(2f f x f =为)(x f 的欧氏范数（又称2-范数）。

其实，我们还经常用到函数的其他范数。

比如，)(max)(xfxfbxa≤≤∞=dxxxfxf ba)()()(1ρ⎰=n维向量空间中两个向量正交的定义也可以推广到连续内积空间],[baC中.定义4 若],[)(),(baCxgxf∈,满足),(gf = dxxxgxf ba)()()(ρ⎰=0则称函数f(x)与g(x)在[a,b]上带权)(xρ正交.若函数族),(,),(),(1xxxnϕϕϕ满足⎰⎩⎨⎧=>≠==bakkjkj kjAkjdxxxx)()()(),(ϕϕρϕϕ则称函数族{})(x kϕ是[a,b]上带权)(xρ的正交函数族.特别地,若1=kA ,就称之为标准正交函数族.由高等数学的知识，我们知道, Foureir级数展开中函数族 1,cosx,sinx,cos2x,sin2x,……即为],[ππ-上带权)(xρ=1的正交函数族.如同线性代数中的向量组线性无关概念一样,在此也有函数组的线性无关概念.定义5设函数组)(,),(),(11xxxn-ϕϕϕ 在[a,b]上连续,若)()()(1111=+++--xaxaxannϕϕϕ当且仅当011====-naaa 时成立,则称函数族)(,),(),(11xxxn-ϕϕϕ 在[a,b]上是线性无关的.否则称为线性相关函数组。

若函数族 ),(,),(),(10x x x n ϕϕϕ满足任何有限个)(x k ϕ组成的函数组都是线性无关的。

则称此函数族为线性无关函数族。

例如：1， ,,,,2n x x x 即为任意区间[a,b]上的线性无关函数族。

若)(,),(),(110x x x n -ϕϕϕ 在[a,b]上是线性无关的函数组，且110,,,-n a a a 是任意实数，则)()()()(111100x a x a x a x s n n --+++=ϕϕϕ的全体是C[a,b]中的一个子集，记作)}(,),(),({110x x x span n -=ϕϕϕϕ称为由)(,),(),(110x x x n -ϕϕϕ 生成的连续函数空间。

判断)(,),(),(110x x x n -ϕϕϕ 线性无关的条件由下定理给出，定理 )(,),(),(110x x x n -ϕϕϕ 在[a,b]上线性无关的充要条件为0),(),(),(),(),(),(),(),(),(111101111101101000≠------n n n n n n ϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕ。

§2 正交多项式一般地，给定区间[a,b]及权函数)(x ρ后，由1，n x x x ,,,2 可以用Schmidt 正交化方法构造出n 次正交多项式，其公式为：1)(0=x ϕ，)())(),(())(,()(1x x x x x x x j k j j j j k k k ϕϕϕϕϕ∑-=-= （2-1）n k ,,2,1 =这样构造的正交多项式有以下性质：① )(x k ϕ是最高项系数为1的k 次多项式； ② 任何k 次多项式均可表示为前k+1个多项式)(,),(),(10x x x k ϕϕϕ 的线性组合；③ 对于l k ≠，有0),(=l k ϕϕ，并且k ϕ与任一次数小于k 的多项式正交。

例： 给定区间[0,1]及权函数x xx ln 1ln)(-==ρ，由1，n x x x ,,,2 用Schmidt 正交化方法构造出前3个正交多项式)(),(),(210x x x ϕϕϕ。

解 由公式（2-1）知，1)(0=x ϕ，)(),(),()(00001x x x x ϕϕϕϕϕ-=，--=)(),(),()(0000222x x x x ϕϕϕϕϕ)(),(),(11112x x ϕϕϕϕ，其中，11ln ),(1000==⎰dx x ϕϕ，411ln ),(100==⎰dx x x x ϕ，911ln ),(10202==⎰dx x x x ϕ，由此得41)(1-=x x ϕ14451ln )41(),(10212=-=⎰dx x x x x ϕ，14471ln )41(),(10211=-=⎰dx x x ϕϕ 得)41(7591)(22---=x x x ϕ=25217752+-x x 。

2-1 Legendre 正交多项式Legendre 正交多项式为区间[-1,1]及权函数1)(=x ρ时，由1，n x x x ,,,2 用Schmidt 正交化方法构造出的n 次正交多项式。

它是由Legendre 于1785年首先引入的，1814年Rordrigul 给出了更简单的表示式，即,1)(0=x p {}nnn nn x dx d n x p )1(!21)(2-= ,2,1=n （2-2） 易见，)(x p n 的最高次项的系数与nnn nx dxd n 2!21的系数是相同的，所以)(x p n 的最高次项，n x 的系数为2)!(2)!2(n n n ，从而得到最高次项系数为1的Legendre 正交多项式为{}nnnn x dxd n n x p )1()!2(!)(~2-= （2-3）以下是Legendre 正交多项式的几个重要性质： 性质1 正交性⎰-⎪⎩⎪⎨⎧=+≠=111220)()(n m n n m dx x p x p m n （2-4）证明 令n x x )1()(2-=ϕ，显然0)1()(=±k ϕ)10(-≤≤n k 设)(x Q 是[-1,1]上 n 阶连续可导函数，由分部积分⎰-=11)()(dx x Q x p n ⎰-11)()()(!21dx x x Q n n n ϕ ⎰--='-=11)1()()(!21 dx x x Q n n n ϕ⎰--=11)()()(!2)1(dx x x Q n n nn ϕ 若)(x Q 是次数小于n 的单项式时，0)()(=x Q n ，故得 ⎰-=11,0)()(dx x p x p m n 当n m ≠时。

若)()(x p x Q n =)(!21)(x n n n ϕ= +=nn x n n 2)!(2)!2( 则 )()()()(x p x Q n nn =!2)!2(n n n =⎰-=112)(dx x p n 22)!(2)!2()1(n n nn -⎰--112)1(dx x n22)!(2)!2(n n n =⎰--112)1(dx x n 22)!(2)!2(2n n n =⎰-102)1(dx x n又 ⎰-102)1(dx x n)12(31)2(42+⋅⋅=n n 代入上式得⎰-=112)(dx x p n 122+n ，得证。

性质2 奇偶性 )()1()(x p x p n n n -=-证明 由于n x )1(2-为偶函数，n 为偶数时，相当于偶函数求偶次导数，结果仍为偶函数。

n 为奇数时，相当于偶函数求奇次导数，结果为奇函数。

性质3 递推关系 ,1)(0=x p ,)(1x x p =)()()12()()1(11x np x xp n x p n n n n -+-+=+ 1>n （2-5）证明 由于)(x xp n 为一个n+1次多项式，所以它可以表示成)()()()(111100x p a x p a x p a x xp n n n +++++= （2-5）两边乘以)(x p k ，并在[-1，1]上积分，再由正交性知⎰⎰--=11211)()()(dx x p a dx x p x xp k k k n （2-6）当2-≤n k 时，)(x xp k 为一个次数小于等于n-1的多项式，)(x xp k 为)(,),(),(110x p x p x p n - 的线性组合，)(x p n 与它们正交，所以（2-6）式左端等于0，得0=k a ，2,,2,1,0-=n k当n k =时，（2-6）式中)()()(2x xp x p x xp n k n =为奇函数，（2-6）式左端等于0，∴0=n a 。

由以上讨论知（2-5）式变为)()()(1111x p a x p a x xp n n n n n ++--+= （2-7）比较（2-7）两端1+n x的系数，得1211++=+n n a n ，在（2-7）式中取x=1，并注意到Legendre 正交多项式)(x p n 满足1)1(=n p （),2,1,0 =n 得到111+-+=n n a a ，∴121+=-n na n 。

得证。

性质4 )(x p n 在[-1，1]内有n 个不同的零点。

性质5 在[-1,1]区间上，所有最高项系数为1的n 次多项式中，Legendre 正交多项式{}nnnn x dxd n n x p )1()!2(!)(~2-=的欧氏范数（2-范数）最小。

即 2)(2)(min )(~x q x p Jx q n ∈= 。

其中J={最高项系数为1的n 次多项式}。

2-2 Chebyshev 正交多项式Chebyshev 正交多项式为区间[-1,1]及权函数211)(x x -=ρ时，由1，n x x x ,,,2 用Schmidt 正交化方法构造出的n 次正交多项式。

其表达式为)arccos cos()(x n x T n = 1≤x （2-8）若令θcos =x ，则有θn x T n cos )(= ],0[πθ∈ Chebyshev 正交多项式有如下性质： 性质1 )(x T n 有以下递推关系,1)(0=x T ,)(1x x T =)()(2)(11x T x xT x T n n n -+-= （2-9）证明 ∵=+θ)1cos(n θθcos cos n θθsin sin n -=-θ)1cos(n θθcos cos n θθsin sin n +两式相加，得 =+θ)1cos(n θθcos cos 2n θ)1cos(--n ，并由θcos =x 及θn x T n cos )(=得证。