当前位置：文档之家 › 高等代数第九章 7第七节 向量到子空间的距离.最小二乘法

高等代数第九章 7第七节 向量到子空间的距离.最小二乘法

  • 格式：ppt
  • 大小：154.50 KB
  • 文档页数：1

下载文档原格式

  / 1

合集下载

高等代数-9第九章 欧几里得空间

高等代数-9第九章 欧几里得空间
3) ( , ) , ( , )
（线性性）
4) ( , ) 0, 当且仅当 o 时 ( , ) 0. （非负性）
则称 ( , )为 和 的内积,称这种定义了内积的 实数域 R上的线性空间V为欧几里得空间.
§1 定义与基本性质
b
§1 定义与基本性质
线性性 ( k f lg , h) a k f ( x ) lg ( x ) h( x )dx
b
k f ( x )h( x )dx l g ( x )h( x )dx
a a
b
b
k ( f , h ) l ( g , h)
非负性 ( f , f ) f ( x ) f ( x ) dx f 2 ( x ) dx 0 a a 且 ( f , f ) 0 f ( x ) 0. 故( f , g) 为一内积, C (a , b) 构成欧氏空间.
注1 欧几里得空间 V是特殊的线性空间. (1)V为实数域 R上的线性空间; (2)V既有向量的线性运算,还有内积运算; (3) , V ,( , ) R. 注2 欧几里得空间,Euclidean Space, 简称欧氏空间. 欧几里得(Euclid,约公元前330 年—前275年),古希腊数学家,是几 何学的奠基人,被称为“几何之 父”. 他最著名的著作是《几何原本》.
b b
§1 定义与基本性质
2. 内积的运算性质 设V为欧氏空间, , , , i V , k , l , ki R
1) ( , k ) k ( , ) 2) ( , ) ( , ) ( , ) 3) ( , k l ) k ( , ) l ( , ) 4) ( k l , ) k ( , ) l ( , )

§9.7向量到子空间的距离

§9.7向量到子空间的距离
故所得的方程是： y = −1.05 x + 4.81 。 ⎧106.75a + 27.3b = 19.675 求解。 也可以直接解方程： ⎨ 27.3a + 7b = 5.12 ⎩ ⎛ 1.00 ⎞ ⎛ 3.6 1 ⎞ ⎜ ⎟ ⎜ ⎟ 0.90 ⎟ 3.7 1 ⎟ ⎜ ⎜ ⎜ 0.90 ⎟ ⎜ 3.8 1 ⎟ ⎜ ⎟ ⎜ ⎟ B = ⎜ 0.81 ⎟ A = ⎜ 3.9 1 ⎟ , ⎜ 0.60 ⎟ ⎜ 4.0 1 ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ 0.56 ⎟ ⎜ 4.1 1 ⎟ ⎜ 0.35 ⎟ ⎜ 4.2 1 ⎟ ⎝ ⎠ ⎝ ⎠
r r i =1 i =1
,r
对 ∀ξ ∈ W , ξ = ∑ kiα i , 则 (α , ξ ) = (α , ∑ kiα i ) = ∑ ki (α , α i ) = 0 故 α 与W中任意一个向量垂直。
第九章 欧几里得空间
对给定的 β , 设 γ 是W中的向量，若 β − γ 垂直于 W , 则 β − γ 是 β 到W的垂线(如下图)，下面要证明： 结论2 向量 β 到W中各向量的距离中以垂线最短。 证明：对 ∀δ ∈ W , β − δ 表示向量 β 与 δ 的距离。由于 β − δ = ( β − γ ) + (γ − δ ) 其中 γ ∈ W , 则 γ − δ ∈ W 。 由于 β − γ 垂直于 γ − δ , 由欧氏空间中的勾股定理，有
§9.7 向量到子空间的距离
§9.7 向量到子空间的距离
一、向量到子空间的距离 二、最小二乘法
第九章 欧几里得空间
一、向量到子空间的距离 在解析几何中，两个点 α = ( x1 , y1 , z1 ) 和 β = ( x2 , y2 , z2 ) 的距 离等于向量 α − β 的长度，即有

高等代数【北大版】9

高等代数【北大版】9

| 1 | 2,
|
3
|
3
4 10
,
| 2 |
2, 6
|
4
|
5
4 14
.
§9.2 标准正交基
于是得 R[ x]4的标准正交基
1
|
1
1
| 1
2 ,
2
2
|
1
2
|
2
6 x
2
3
|
1
3
| 3
10 4
14 (5x3 3x) 4
§9.2 标准正交基
4.标准正交基间的基变换
设 1, 2 , , n与 1,2 , ,n 是 n 维欧氏空间V中的
1. 定义
设 A (aij ) Rnn , 若Ａ满足 则称A为正交矩阵.
AA E
2. 简单性质
1）A为正交矩阵 A 1. 2）由标准正交基到标准正交基的过渡矩阵是正交
矩阵.
§9.2 标准正交基
3）设 1, 2 , , n 是标准正交基，A为正交矩阵，若 (1,2 , ,n ) (1, 2 , , n ) A
（6）
§9.2 标准正交基
由公式（3）, 有
(i , j ) a1i1 j a2i 2 j
aninj
1 0
i i
j j
， （7）
把A按列分块为 A A1, A2, , An
由（7）有
A1
AA
A2
A1
,
A2
,
An
, An En
（8）
§9.2 标准正交基
三、正交矩阵
注:
① 由正交基的每个向量单位化, 可得到一组标准 正交基.

高等代数向量到子空间的距离.最小二乘法

高等代数向量到子空间的距离.最小二乘法

ω = (sin x, ε1)ε1 + (sin x, ε2)ε2 + (sin x, ε3)ε3
+ (sin x, ε4)ε4 + (sin x, ε5)ε5
(1)
= 0.987862x − 0.155271x3 + 0.00564312x5,
此处我们把精确解中出现的那些 π 换成了一个适当的十进制的 进似值. 上面的多项式是 sin x 在区间 [−π, π] 上最佳的 5 次多项式逼近. 要看出这个逼近有多好，图 2 显示了 sin x 和我们的逼近在区间 [−π, π] 上的图像.
Figure: 图 1
. . . .... .... .... . . . . .... .... .... . .
. .. . . ..
垂线最短原理
证 β − δ = (β − γ) + (γ − δ). 因 W 是子空间，γ ∈ W, δ ∈ W， 则 γ − δ ∈ W. 故 β − γ 垂直于 γ − δ. 由勾股定理，
. .. . . ..
垂线最短原理
在中学所学几何中知道一个点到一个平面（或一条直线）上所有 点的距离以垂线最短. 下面可以证明一个固定向量和一个子空间 中各向量间的距离也是以“垂线最短”.
. . . .... .... .... . . . . .... .... .... . .
. .. . . ..
. . . .... .... .... . . . . .... .... .... . .
. .. . . ..
最小二乘法
例 已知某种材料在生产过程中的废品率 y 与某种化学成分 x 有关. 下列表中记载了某工厂生产中 y 与相应的 x 的几次数值：

《高等代数》考试大纲

《高等代数》考试大纲

《高等代数》考试大纲一、《高等代数》的课程性质高等代数是数学与应用数学专业、信息与计算机科学专业和统计学专业一门重要基础课，是中学代数的继续和提高，但是又与中学代数有很大不同，表现在内容的深度和广度上，更主要表现在观点和方法上。

具体表现在内容的高度抽象性、推理的严密性和解题技巧的独特性。

本课程最活跃研究内容：数域上一元多项式理论、行列式、线性方程组、二次型、线性空间、线性变换矩阵、欧氏空间和双线性函数。

方法的特点：在阐述上更强调一般性原则，广泛使用公理化方法，用结构化方法揭示代数系统的内部构造，用矩阵表示作为主线，受整体、统一思想的支配，逐步抽象出高等代数的各个基本概念，揭示代数研究问题的基本方法。

二、《高等代数》课程的教学目的和要求高等代数的教学目的要求是：通过本课程的学习，不仅要求学生掌握一元多项式和线性代数的基础知识、基本理论和基本技能，而且要求学生初步熟悉和掌握抽象的、严格的代数方法，理解具体与抽象、特殊与一般、有限与无限的辩证关系。

培养学生整体思考问题的能力，使之理解代数思想、公理化方法，把握概念的内涵和外延，提高抽象思维、逻辑推理、分析问题和解决问题的能力，为进一步后继课程的学习及继续深造或从事教学工作打下坚实的基础。

三、《高等代数》课程的知识点与考核要求第一章：多项式1、考核知识点：（1）、一元多项式的定义、运算、性质，次数的定义和次数公式；（2）、多项式整除的定义，整除的性质，带余除法；（3）、最大公因子的定义、性质和求法；（4）、多项式互素的概念和性质；（5）、多项式的可约性，因式分解及唯一性定理，标准分解式；（6）、重因式的概念与判别法，求多项式重因式的方法；（7）、多项式函数、多项式根的概念，根的个数定理，多项式相等与根的关系，判别某数是多项式根的综合除法；（8）、复数域和实数域上不可约多项式的特征，因式分解定理；（9）、有理系数多项式是否可约的判别法，根与系数的关系，有理根的求法。

高等代数-欧几里得空间

高等代数-欧几里得空间

2) (, ) (, ) (, )
s
s
推广： ( , i ) ( , i )
i 1
i 1
3) (0, ) 0
§9.1 定义与基本性质
二、欧氏空间中向量的长度
1. 引入长度概念的可能性
1）在 R3向量 的长度（模） . 2) 欧氏空间V中， ,V , (, ) 0
使得 有意义.
③ ( , ) R.
§9.1 定义与基本性质
例1．在 Rn 中，对于向量
a1,a2, ,an , b1,b2, ,bn
1）定义 ( , ) a1b1 a2b2 anbn
（1）
易证 ( , ) 满足定义中的性质 1 ～ 4 .
所以, ( , ) 为内积. 这样Rn 对于内积 ( , ) 就成为一个欧氏空间.
2. 向量长度的定义
,V , ( , ) 称为向量 的长度. 特别地，当 1时，称 为单位向量.
§9.1 定义与基本性质
3. 向量长度的简单性质
1) 0; 0 0
2) k k
3）非零向量 的单位化：
1.
（3）
§9.1 定义与基本性质
三、欧氏空间中向量的夹角
1. 引入夹角概念的可能性与困难
注：
① 零向量与任意向量正交.
②
, ,
2
即 cos, 0
.
§9.1 定义与基本性质
5. 勾股定理
设V为欧氏空间， , V
2 2 2
证： 2 , , 2, ,
2 2 2
( , ) 0
.
§9.1 定义与基本性质
推广：若欧氏空间V中向量1,2 , ,m 两两正交，
当 n 3 时，1）即为几何空间 R3中内积在直角 坐标系下的表达式 . ( , )即 .

高等代数使用教材及辅导材料

高等代数使用教材及辅导材料

高等代数使用教材及辅导材料课程：高等代数高等代数北京大学数学系几何与代数教研室高等教育出版社 1978高等代数丘维声高等教育出版社 1996高等代数张禾瑞郝炳新高等教育出版社 1983高等代数习题课教材钱芳华黎有高卜淑云邓培民广西师范大学出版社 1997高等代数解题方法许甫华张贤科清华大学出版社 2001高等代数习题课参考书张均本高等教育出版社 1991线性代数试题选解魏宗宣中南工业大学出版社 1986用MAPLEV学习线性代数丘维声（译）高等教育出版社施普林格出版社 2001高等代数教学大纲数学与应用数学专业《高等代数》教学大纲一、课程说明：《高等代数》是河北师范大学数学与应用数学专业（数学系）的一门重要的基础课，其主要任务是使学生获得数学的基本思想方法和多项式理论、行列式、线性方程组、矩阵论、二次型、线性空间、线性变换、欧氏空间等方面的系统知识。

它一方面为后继课程（如近世代数、数论、离散数学、计算方法、微分方程、泛涵分析）提供一些所需的基础理论和知识；另一方面还对提高学生的思维能力，开发学生智能、加强“三基”（基础知识、基本理论、基本理论）及培养学生创造型能力等重要作用。

二、教学目的及要求：通过本课程教学的主要环节（讲授与讨论，习题课，作业，辅导等），使学生对多项式理论、线性代数的“解析理论”、与“几何理论”及其思想方法有较深的认识和理解，从而有助于学生正确理解高等代数的基本概念和论证方法及提高分析问题解决问题的能力。

三、教学重点及难点：带余除法、最大公因式的性质、不可约多项式的定义及性质、重因式、多项式的有理根等；计算行列式的一些方法；线性方程组及其相关理论的理解及应用；矩阵理论的灵活应用；正定二次型的等价条件及二次型的标准形；向量空间一些基本概念的理解及相关理论的灵活应用；线性变换与矩阵的联系、矩阵相似、线性变换在不同基下的矩阵、矩阵的特征值、特征向量及子空间理论；一些基本概念(内积空间、欧氏空间、正交矩阵、酉空间)的理解。

高等代数教学大纲

高等代数教学大纲

高等代数课程教学大纲一、课程说明1、课程性质：高等代数是高等院校数学系数学与应用数学专业的一门重要基础课。

对学生数学思想的形成有着重要意义，是进一步学习近世代数、常微分方程等后继课的基础，也为深入理解中学数学打下必要的基础。

高等代数是现代数学的基础知识，是学习其它数学学科和现代科学知识的必备基础和重要工具，尤其在本世纪，计算机技术、通讯信息技术和现代生物工程技术已成为最热门的学科领域，这些学科的发展均需要代数学的知识与支持。

高等代数也是师范院校数学与应用数学专业的一门重要基础课程，既是中学代数的继续和提高，对于中学数学教学工作具有重要的理论指导作用，又是输送更高层次优秀人才的专业知识保证。

2、课程教学目的要求（1）使学生掌握多项式理论、线性代数理论的基础知识和基本理论，着重培养学生解决问题的基本技能。

(2) 使学生熟悉和掌握本课程所涉及的现代数学中的重要思想方法，提高其抽象思维、逻辑推理和代数运算的能力。

(3) 使学生进一步掌握具体与抽象、特殊与一般、有限与无限等辩证关系，培养其辩证唯物主义观点。

(4) 逐步培养学生的对真理知识的发现和创新的能力，训练其对特殊实例的观察、分析、归纳、综合、抽象概括和探索性推理的能力。

(5) 使学生对中学数学有关内容从理论上有更深刻的认识，以便能够居高临下地掌握和处理高级中学数学教材，进一步提高中学数学教学质量。

(6) 根据教学的实际内容的需要，对大纲所列各章内容，分别提出了具体的目的要求，教学时必须着重抓住重点内容进行教学。

本课程分以一元多项式为主体的多项式理论和线性代数两部分。

线性代数部分涉及行列式、矩阵、线性方程组、二次型、线性空间、线性变换、λ-矩阵、欧几里得空间等。

本课程教学重点应放在多项式理论与线性代数理论。

多项式理论以一元多项式的因式分解唯一性定理为主体介绍了有关多项式的一些必要的知识，为后继课提供准备；线性代数部分则较为系统地介绍了线性方程组，线性空间与线性变换理论。

高等代数第9章习题参考答案

高等代数第9章习题参考答案

第九章 欧氏空间1.设()ij a =A 是一个n 阶正定矩阵,而),,,(21n x x x =α, ),,,(21n y y y =β,在n R 中定义内积βαβα'A =),(,1) 证明在这个定义之下, n R 成一欧氏空间； 2) 求单位向量)0,,0,1(1 =ε, )0,,1,0(2 =ε, … , )1,,0,0( =n ε，的度量矩阵；3) 具体写出这个空间中的柯西—布湿柯夫斯基不等式。

解 1)易见βαβα'A =),(是n R 上的一个二元实函数，且 (1) ),()(),(αβαβαββαβαβα='A ='A '=''A ='A =， (2) ),()()(),(αβαββαβαk k k k ='A ='A =，(3) ),(),()(),(γβγαγβγαγβαγβα+='A '+'A ='A +=+， (4) ∑='A =ji j i ijy x a,),(αααα，由于A 是正定矩阵，因此∑ji j i ijy x a,是正定而次型，从而0),(≥αα，且仅当0=α时有0),(=αα。

2)设单位向量)0,,0,1(1 =ε, )0,,1,0(2 =ε, … , )1,,0,0( =n ε，的度量矩阵为)(ij b B =，则)0,1,,0(),()( i j i ij b ==εε⎪⎪⎪⎪⎪⎭⎫ ⎝⎛nn n n n n a a a a a aa a a212222211211)(010j ⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛ =ij a ，),,2,1,(n j i =， 因此有B A =。

4) 由定义，知∑=ji ji ij y x a ,),(βα，α==β==故柯西—布湿柯夫斯基不等式为2.在4R 中,求βα,之间><βα,(内积按通常定义)，设: 1) )2,3,1,2(=α, )1,2,2,1(-=β， 2) )3,2,2,1(=α, )1,5,1,3(-=β， 3) )2,1,1,1(=α, )0,1,2,3(-=β。

高等代数课件(北大版)第九章-欧式空间9.5

高等代数课件(北大版)第九章-欧式空间9.5
Vi Vj , i j
(i ,0) (i ,1 2 s ) (i ,i ) 0 由内积的正定性，可知 i 0, i 1,2, , s.
§9.5 子空间
二、子空间的正交补
1．定义：
如果欧氏空间V的子空间 V1,V2 满足 V1 V2 , 并且 V1 V2 V , 则称 V2 为 V1 的正交补.
但一般地，子空间W的余子空间未必是其正交补.
§9.5 子空间
3．内射影
设W是欧氏空间V的子空间，由 V W W ,
对 V , 有唯一的 1 W , 2 W , 使 1 2
称 1 为 在子空间W上的内射影.
§9.5 子空间
(1,1 ) 0 由此可得 1 0, 即有 V3
同理可证 V3 V2 , V2 V3 .
§9.5 子空间
V2 V3 . 唯一性得证.
注：① 子空间W的正交补记为 W . 即
W V W
② n 维欧氏空间V的子空间W满足: i) (W ) W ii) dimW dimW dimV n iii) W W V ⅳ) W的正交补 W 必是W的余子空间.
V1 V2 ( , ) 0 0.
③ 当 V1 且 V1 时，必有 0.
§9.5 子空间
2．两两正交的子空间的和必是直和．
证明：设子空间 V1,V2 , ,Vs 两两正交， 要证明 V1 V2 Vs , 只须证：
V1 V2 Vs 中零向量分解式唯一．
设 1 2 s 0, i Vi , i 1, 2, , s
2．n 维欧氏空间V的每个子空间 V1 都有唯一正交补.
证明：当 V1 {0} 时，V就是 V1 的唯一正交补． 当 V1 {0} 时，V1 也是有限维欧氏空间.
取 V1 的一组正交基 1, 2 , , m ,

高等代数(第9章)

高等代数(第9章)

第9章 欧几里得空间
定义与简单性质 标准正交基

* 同构
正交变换 子空间 对称矩阵的标准形 * 向量到子空间的距离最小二乘法

§9.1 定义与基本性质
几何空间R3中向量与的内积是指实数 (, )=||| |cos= a1b1+ a2b2+a3b3 ||,| |分别为向量与的模(长度),为与的夹角. 利用内积概念也可以表示向量的长度及两个非 零向量的夹角： ( , ) | | (, )=0, 且具有以下 性质： (, )= (, ) (k , )=k (, ) (+ ,)= (, )+ (, ) (, )0,当且仅当=0时,(, )=0.
3.度量矩阵 定义 设V是n维欧氏空间, 1, 2,…,n为V的一组基.称 ( 1 , 1 ) ( 1 , 2 ) ( 1 , n ) ( , ) ( , ) ( , ) 2 1 2 2 2 n A ( n , 1 ) ( n , 2 ) ( n , n ) 为基1, 2,…,n的度量矩阵.
性质 (i) AT=A (ii) 对V中任意向量
基的度量矩阵完 全确定了内积！
x1 y1 = x11+x22+…+xnn , x 2 , Y y 2 . = y11+y22+…+ynn , 其中X x y 有 ( ,) =XTAY. n n
知 [2( , )]2 4( , )( , ) 0 即( , ) 2 ( , )( , ) 0
|( , ) |<|| | |.
(ii)若 , 线性相关,则当 , 至少有一为零向量时, 等号显然成立，否则可设 =k.由 |( ,)|=|(k ,)|= |k( , )| = |k|| |2 = |k|| || |= ||| | 即等号成立； 反之若等号成立，则为零向量时,,线性相关，

高等代数9.5 子空间

高等代数9.5 子空间

xm1 m1 xn n V2 ,
m
n
mn
( , ) ( xii , x j j )
xi x j ( i , j ) 0
i 1
jm1
i1 jm1
V1 V2 . 即 V2 为 V1的正交补.
再证唯一性. 设 V2 ,V3 是V1 的正交补，则 V V1 V2 V1 V3
(1,1 ) 0 由此可得 1 0, 即有 V3 V2 V3 .
同理可证 V3 V2 , V2 V3 . 唯一性得证.
注：① 子空间W的正交补记为 W . 即
W V W
② n 维欧氏空间V的子空间W满足: i) (W ) W ii) dimW dimW dimV n iii) W W V ⅳ) W的正交补 W 必是W的余子空间.
V1 V2 ( , ) 0 0.
③ 当 V1 且 V1 时，必有 0.
2．两两正交的子空间的和必是直和．
证明：设子空间 V1,V2 ,,Vs 两两正交， 要证明 V1 V2 Vs , 只须证：
V1 V2 Vs 中零向量分解式唯一．
对 V2 , 由上式知 V1 V3 即有 1 3 , 1 V1, 3 V3 又 V1 V2 , V1 V3 1 3 , 1, 从而有 ( ,1 ) (1 3 ,1 ) (,1 ) (3 ,1 )
§1 定义与基本性质 §2 标准正交基
§3 同构
§4 正交变换
§5 子空间
§6 对称矩阵的标准形
§7 向量到子空间的 §8 酉空间介绍
距离─最小二乘法 小结与习题

高等代数第九章 7第七节 向量到子空间的距离.最小二乘法

高等代数第九章 7第七节 向量到子空间的距离.最小二乘法
返回
β β-δ γ γ-δ -
β-γ W
上页
下页
这就证明了，向量到子空间各向量间的距离 这就证明了，向量到子空间各向量间的距离 各向量间的 以垂线最短. 以垂线最短 这个几何事实可以用来解决一些实际问题. 这个几何事实可以用来解决一些实际问题 其 几何事实可以用来解决一些实际问题 就是解决最小二乘法问题 中的一个应用就是解决最小二乘法问题. 中的一个应用就是解决最小二乘法问题 已知某种材料在生产过程中的废品率 废品率y与 例 已知某种材料在生产过程中的废品率 与某种化 学成分x有关 下列表中记载了某工厂生产中y与相 有关. 记载了某工厂生产中 学成分 有关 下列表中记载了某工厂生产中 与相 应的x的几次数值： 应的 的几次数值：
返回
上页
下页
分别记成 由它们生成的 把A的各列向量分别记成 1, α2,…,αs. 由它们生成的 的各列向量分别记成α 子空间为 就是L(α 子空间为L(α1, α2,…,αs). Y就是 1, α2,…,αs)中的向 就是 中的向 于是最小二乘法问题可叙述成： 最小二乘法问题可叙述成 量. 于是最小二乘法问题可叙述成：
返回 上页 下页
最小， 找X使(1)最小，就是在L(α1, α2,…,αs)中找一向 使(1)最小 就是在 中找一向 使得B到它的距离比到子空间 1, α2,…,αs) 到它的距离比到子空间L(α 量Y ，使得 到它的距离比到子空间 中其它向量的距离都短. 中其它向量的距离都短 应用前面所讲的结论， 应用前面所讲的结论，设 结论 Y = AX = x1α 1 + x 2α 2 + L + x sα s 是所求的向量， 是所求的向量，则 C=B-Y=B-AX 必须垂直于子空间L(α1, α2,…,αs). 为此只须而且必 为此只须而且必 只须而且 必须垂直于子空间 须内积

向量到子空间的距离

向量到子空间的距离
易知
§9.7 向量到子空间的距离
3.6 1
3.7 1
3.8 1
A 3.9 1 ,
4.0 1

4.1 4.2
11
1.00
0.90
0.90
B 0.81
0.60

0.56 0.35

最小二乘解 a,b 所满足的方程就是
n
ai1x1 ai2 x2
i 1
ain xn bi 2
不等于零．
（2）
§9.7 向量到子空间的距离
设法找实数组
x10 ,
x0, 2
, x0 使（2）最小, n
这样的
x10 二乘解， n
此问题叫最小二乘法问题.
最小二乘法的表示:
设
n
§9.7 向量到子空间的距离
解：把表中数值画出图来看，发现它的变化趋势 近于一条直线．因此我们决定选取 x 的一次式 ax b 来表达．当然最好能选到适当的 a,b, 使得下面的等式
3.6a b 1.00 0, 3.7a b 0.9 0 3.8a b 0.9 0, 3.9a b 0.81 0, 4.0a b 0.60 0, 4.1a b 0.56 0, 4.2a b 0.35 0 都成立.
(2) 向量到子空间中的各向量的距离以垂线为最短.
如图示意，对给定 ，设 是W 中的满足 W 的向量，则 对 W 有
.

§9.7 向量到子空间的距离
证明： ,
因 W 是子空间， W , W , 则 W, 故 .
(C ,1) (C,2 ) (C,s ) 0, 即 1C 0,2C 0, ,sC 0,

向量到子空间的距离最小二乘法

向量到子空间的距离最小二乘法

+
+
y=f(x) +
x i 为点（xi,yi) 与曲线 y=f(x) 的距离
最临近插值、线性插值、样条插值与曲线拟合结果：
0
2
4
6
8
10
12
14
16
18
0
5
ÒÑÖªÊý¾Ýµã 10
25
ÒÑÖªÊý¾Ýµã 20
15
È ý ´ Î ¶ à Ï î Êlin½es²t å Ö µ
10
5
0
0
2
4
6
8
已知一室模型快速静脉注射下的血药浓度数据(t=0注射300mg) t (h) 0.25 0.5 1 1.5 2 3 4 6 8
c (g/ml) 19.21 18.15 15.36 14.10 12.89 9.32 7.45 5.24 3.01
求血药浓度随时间的变化规律c(t).
作半对数坐标系(semilogy)下的图形
除了线性最小二乘法还有其它拟合问题
拟合问题引例1
已知热敏电阻数据：温度t(0C) 20.5 32.7 51.0 73.0 95.7 电阻R() 765 826 873 942 1032
求600C时的电阻R。
1100
1000
设 R=at+b
900
a,b为待定系数
800
700
20
40
60
80
100
拟合问题引例2
1 2
A


4
71921 11 Nhomakorabea ,
1
1 1

1.5 3.9
B

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
返回 上页 下页
(3.6a+b–1.00)2 + (3.7a+b–0.9)2 + (3.8a+b–0.9)2 +(3.9a+b–0.81)2 + (4.0a+b–0.60)2 + (4.1a+b–0.56)2 +(4.2a+b–0.36)2 最小. 这里讨论的是误差的平方 二乘方， 误差的平方即 最小 这里讨论的是误差的平方即二乘方，故称为 最小二乘法. 现在转向一般的 最小二乘法 现在转向一般的
第七节
向量到子空间的最小 距离·最小二乘法
间的距离等于向量 在解析几何中，两个点 和β间的距离等于向量 解析几何中 两个点α和 间的距离等于 α-β的长度 在欧氏空间中我们同样可引入 - 的长度. 定义13 长度|α-β|称为向量α和β的距离, 记为d(α, 称为向量 定义13 长度|α-β|称为向量α和β的距离, 记为d(α, β). 不难证明距离 不难证明距离d(α, β)=|α-β|的三条性质： 距离 - 的三条性质： 1) d(α, β)=d(β, α); 2) d(α, β)≥0，并且仅当 ，并且仅当α=β时等号才成立； 时等号才成立； 三角不等式） 3) d(α, β)≤d(α, γ)+d(γ, β) （三角不等式） (证明留给大家作练习 证明留给大家作练习.) 证明留给大家作练习
分别记成 由它们生成的 把A的各列向量分别记成 1, α2,…,αs. 由它们生成的 的各列向量分别记成α 子空间为 就是L(α 子空间为L(α1, α2,…,αs). Y就是 1, α2,…,αs)中的向 就是 中的向 于是最小二乘法问题可叙述成： 最小二乘法问题可叙述成 量. 于是最小二乘法问题可叙述成：
可能无解. 可能无解 即任何一组数 x1,x2,…,xs 都可能使
(a i 1 x1 + a i 2 x 2 + L + a is x s − bi ) 2 ∑
i =1 n
(1)
不等于零. 我们设法找实数组 设法找实数组x (1)最 不等于零 我们设法找实数组 10,x20,…,xs0使(1)最 这样的x 称为方程组的最小二乘解. 小，这样的 10,x20,…,xs0称为方程组的最小二乘解 这种问题就叫最小二乘法问题 这种问题就叫最小二乘法问题. 最小二乘法问题
返回 上页 下页
在中学所学几何中知道一个点到一个平面（或 在中学所学几何中知道一个点到一个平面（ 几何中知道一个点 一条直线）上所有点的距离以垂线最短. 距离以垂线最短 一条直线）上所有点的距离以垂线最短 下面可以 一个固定向量和 证明一个固定向量 证明一个固定向量和一个子空间中各向量间的距离 也是以“垂线最短” 也是以“垂线最短”. 先设一个子空间 ，它是由向量 1, α2,…,αk所 先设一个子空间W，它是由向量α 子空间 向量 生成，即W=L(α1, α2,…,αk). 说一个向量 垂直于子 说一个向量 向量α垂直于子 生成， 空间W 就是指向量 垂直于W中任何一个向量. 向量α垂直于 空间 ，就是指向量 垂直于 中任何一个向量 易证α垂直于 的充分必要条件是 垂直于 中的每 垂直于W中的 易证 垂直于W的充分必要条件是α垂直于 中的每 垂直于 个向量α 个向量 i(i=1,2,…,k).
返回 上页 下页
现给定β 中的向量 现给定 ，设γ是W中的向量，满足 -γ垂直于 是 中的向量，满足β- 垂直于 W. 要证明 到W中各向量的距离以垂线最短，就 证明β到 中各向量的距离以垂线最短， 是要证明，对于 中任一向量 ，有 要证明，对于W中任一向量δ |β-γ| ≤ |β-δ|. 我们可以画出下面的示意图： 我们可以画出下面的示意图： 示意图 证明 由 β-δ=(β-γ)+(γ-δ) 是子空间， 因W是子空间，γ∈W,δ∈W, 是子空间 ∈ ∈ 垂直于γ则γ-δ∈W. 故β-γ垂直于 -δ. - ∈ - 垂直于 δ 由勾股定理， 由勾股定理， |β-γ|2+|γ-δ|2=|β-δ|2. 证毕. 故 |β-γ| ≤ |β-δ|. 证毕
返回 上页 下页
回到前面的例子， 回到前面的例子，易知 前面的例子
3 .6 3 .7 3 .8 A = 3 .9 4 .0 4 .1 4 .2 1 1 1 1 , 1 1 1 1.00 0.90 0.90 B = 0.81 0.60 0.56 0.35
(2)
返回
上页
下页
距离的概念，(1)就是 用距离的概念，(1)就是 |Y-B|2 . 最小二乘法就是找 就是找x 最小二乘法就是找 10,x20,…,xs0使Y与B的距离最短 与 的距离最短. 向量Y就是 但从(2)，知道向量 但从 ，知道向量 就是
a11 a12 a1 s a 21 a 22 a2 s Y = x1 + x 2 + L + xs M . M M a a a n1 n2 ns
最小二乘解a, 所满足的方程就是 最小二乘解 b所满足的方程就是 T a A A − AT B = 0 b
返回 上页 下页
即为
106.75a + 27.3b − 19.675 = 0 , 27.3a + 7b − 5.12 = 0 .
解得 a=-1.05，b=4.81 （取三位有效数字）. 三位有效数字） ，
返回
上页
下页
最小二乘法问题： 最小二乘法问题：线性方程组
a11 x1 + a12 x 2 + L + a1 s x s − b1 = 0 , a x + a x + L + a x − b = 0 , 21 1 22 2 2s s 2 LLLLLL a n1 x1 + a n 2 x 2 + L + a ns x s − bn = 0
(C , α 1 ) = (C , α 2 ) = L = ( C , α s ) = 0 .
返回 上页 下页
回忆矩阵乘法规则，上述一串等式可以写成矩阵 回忆矩阵乘法规则，上述一串等式可以写成矩阵 矩阵乘法规则 等式可以 相乘的式子， 相乘的式子，即 α1TC=0, α2TC=0, …, αsTC=0 . 按行正好排成矩阵A 上述一串等 而α1T, α2T,…,αsT按行正好排成矩阵 T，上述一串等 合起来就是 式可合起来就是 AT(B-AX)=0 . (BATAX=ATB 或 这就是最小二乘解所满足的代数方程 最小二乘解所满足的代数方程， 这就是最小二乘解所满足的代数方程，它是一个 线性方程组，系数矩阵是 线性方程组，系数矩阵是ATA，常数项是ATB. 这种 ，常数项是 线性方程组总是有解的. 线性方程组总是有解的
返回 上页 下页
下面利用欧氏空间的概念来表达最小二乘法， 下面利用欧氏空间的概念来表达最小二乘法， 欧氏空间 来表达最小二乘法 并给出最小二乘解所满足的代数条件 最小二乘解所满足的代数条件. 并给出最小二乘解所满足的代数条件 令
a11 a 21 A= M a n1 L a1 s b1 a 22 L a 2 s b2 ,B = M , M M b a n 2 L a ns n s ∑ a1 j x j j =1 x1 s x2 a x X = , Y = ∑ 2 j j = AX . j =1 M M x s s ∑ a nj x j j =1 a12
返回
上页
下页
y(%) x(%) 1.00 3.6 0.9 3.7 0.9 3.8 0.81 3.9 0.60 4.0 0.56 4.1 0.35 4.2
我们想找出 对 的一个近似公式. 我们想找出y对x的一个近似公式 找出
返回 上页 下页
把表中数值画出图 发现它的变化趋势近于一 画出图， 变化趋势近于 解 把表中数值画出图，发现它的变化趋势近于一 条直线. 因此我们决定选取 决定选取x的一次式ax+b来表达 条直线 因此我们决定选取 的一次式 来表达. 当然最好能选到适当的a, b使得下面的等式 当然最好能选到适当的 使得下面的等式 3.6a+b–1.00=0 ， 3.7a+b–0.9=0 ， 3.8a+b–0.9=0 ， 3.9a+b–0.81=0 ， 4.0a+b–0.60=0 ， 4.1a+b–0.56=0 ， 4.2a+b–0.36=0 . 都成立. 实际上是不可能的. 任何a, 代入上面各式 都成立 实际上是不可能的 任何 b代入上面各式 都发生些误差. 于是想到找 使得各式的平方和 都发生些误差 于是想到找 a, b 使得各式的平方和 最小，即找a, 使 最小，即找 b使
返回 上页 下页
最小， 找X使(1)最小，就是在L(α1, α2,…,αs)中找一向 使(1)最小 就是在 中找一向 使得B到它的距离比到子空间 1, α2,…,αs) 到它的距离比到子空间L(α 量Y ，使得 到它的距离比到子空间 中其它向量的距离都短. 中其它向量的距离都短 应用前面所讲的结论， 应用前面所讲的结论，设 结论 Y = AX = x1α 1 + x 2α 2 + L + x sα s 是所求的向量， 是所求的向量，则 C=B-Y=B-AX 必须垂直于子空间L(α1, α2,…,αs). 为此只须而且必 为此只须而且必 只须而且 必须垂直于子空间 须内积
返页
这就证明了，向量到子空间各向量间的距离 这就证明了，向量到子空间各向量间的距离 各向量间的 以垂线最短. 以垂线最短 这个几何事实可以用来解决一些实际问题. 这个几何事实可以用来解决一些实际问题 其 几何事实可以用来解决一些实际问题 就是解决最小二乘法问题 中的一个应用就是解决最小二乘法问题. 中的一个应用就是解决最小二乘法问题 已知某种材料在生产过程中的废品率 废品率y与 例 已知某种材料在生产过程中的废品率 与某种化 学成分x有关 下列表中记载了某工厂生产中y与相 有关. 记载了某工厂生产中 学成分 有关 下列表中记载了某工厂生产中 与相 应的x的几次数值： 应的 的几次数值：