计算方法 最佳平方逼近-最小二乘法

最小二乘法的原理及其应用-CAL-FENGHAI.-(YICAI)-Company One1最小二乘法的原理及其应用一、研究背景在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。

其中，最小二乘法是一种最基本、最重要的计算技巧与方法。

它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。

随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。

本文着重讨论最小二乘法在化学生产以及系统识别中的应用。

二、最小二乘法的原理人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。

如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。

为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型,q个相关变量或p个附加的相关变量去拟和。

通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。

参数x是为了使所选择的函数模型同观测值y相匹配。

（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。

其目标是合适地选择参数，使函数模型最好的拟合观测值。

一般情况下，观测值远多于所选择的参数。

其次的问题是怎样判断不同拟合的质量。

高斯和勒让德的方法是，假设测量误差的平均值为0。

令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。

人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。

除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。

确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。

第5章 多项式逼近与曲线拟合教学目的 1. 理解连续函数空间，正交多项式理论；2. 掌握最佳平方逼近及最小二乘逼 近函数的求解方法；3. 理解非线性模型举例的有关知识的基础上会求模型的逼近函数。

教学重点及难点 重点是最佳平方逼近及最小二乘逼近函数的求解。

难点是会求非线性模型的逼近函数。

教学时数 6学时 教学过程§1 引言在科学计算中有下述两类逼近问题。

1．关于数学函数的逼近问题由于电子计算机只能做算术运算，因此，在计算机上计算数学函数（例如x x f e x f x sin )(,)(==等在有限区间上计算）必须用其他简单的函数来逼近（例如用多项式或有理分式来逼近数学函数，）且用它来代替原来精确的数学函数的计算。

这种函数逼近的特点是：（a ）要求是高精度逼近；（b ）要快速计算（计算量越小越好）。

2．建立实验数据的数学模型给定函数的实验数据，需要用较简单和合适的函数来逼近（或拟合实验数据）。

例如，已知)(x f y =实验数据mm y y y x f x x x x 2121)(希望建立)(x f y =数学模型（近似表达式），这种逼近的特点是： （a ）适度的精度是需要的； （b ）实验数据有小的误差；（c ）对于某些问题，可能有某些特殊的信息能够用来选择实验数据的数学模型。

事实上，我们已经学过一些用多项式逼近一个函数)(x f y =的问题，例如 （1）用在0x x =点Taylor 多项式逼近函数 设)(x f y =在[a,b]上各阶导数)1,,1,0)(()(+=n i x fi 存在且连续，],[0b a x ∈，则有)()(!)())((')()(00)(000x R x x n x f x x x f x f x f n n n +-++-+=)()(x R x P n n +≡其中εε],,[,)()!1()()(10)1(b a x x x n f x R n n ∈-+=++在0x 和x 之间。

第二章 最佳平方逼近为了便于计算和分析，常常需要用一个简单的函数()x ϕ来近似代替给定的函数()f x ，这类问题称为函数逼近问题。

插值问题以及Taylor 展开问题都属于这类问题。

本章介绍另一种函数逼近问题，即最佳平方逼近。

最佳平方逼近问题的提法是：设()f x 是[],a b 上的连续函数，n H 是所有次数不超过n 的多项式的集合，在n H 中求()n P x *逼近()f x ，使()()()()()1/2222infnb n naP x H f Px f x P x dx f Pρ**∈⎡⎤-=-=-⎣⎦⎰此时称()n P x *为()f x 在[],a b 上的最佳平方逼近多项式。

我们将要研究()n P x *是否存在？是否唯一？如何求得()n P x *？首先介绍正交多项式及其性质。

§1、正交多项式正交多项式是函数逼近的重要工具，在数值积分中也有广泛的应用。

1.1正交函数系的概念定义1 设()x ρ定义在[],a b 上（有限或无限），如果满足条件：（1）()[]0,,x x a b ρ≥∈； （2）()()0,1,bnax x dx n ρ=⎰存在；（3）对非负连续函数()f x ，若()()0ba f x x dx ρ=⎰，则在[],a b 上一定有()0f x ≡那么称()x ρ是区间[],a b 上的权函数。

简称为权函数。

权函数()x ρ的一种解释是物理上的密度函数，相应的()bax dx ρ⎰表示总质量。

当()x ρ=常数时，表示质量分布是均匀的。

下面引进内积定义。

定义2 给定()[]()(),,,,f x g x C a b x ρ∈是[],a b 上的权函数，称 ()()(),()ba f g x f x g x dx ρ=⎰ ()1.1为函数()f x 与()g x 在[],a b 上的内积。

内积具有下列简单性质： ()f g g f （1）、（，）=，；()()()1212,)(,00.f g f g R f f g f g f g f f f ααα∈++≠>（2）、（，）=，；（3）、 （，）=（4）、 当时，， 此外，还有如下Cauchy-Schwarz 不等式()()()2,,,.f g f f g g ≤⋅ ()1.2我们知道，一个向量的长度的几何概念，对于函数空间及逼近有许多自然的应用。

最小二乘拟合算法最小二乘定义一般情况下，最小二乘问题求的是使某一函数局部最小的向量 x，函数具有平方和的形式，求解可能需要满足一定的约束：信赖域反射最小二乘要理解信赖域优化方法，请考虑无约束最小化问题，最小化 f(x)，该函数接受向量参数并返回标量。

假设您现在位于 n 维空间中的点 x 处，并且您要寻求改进，即移至函数值较低的点。

基本思路是用较简单的函数 q 来逼近 f，该函数需能充分反映函数 f 在点 x 的邻域 N 中的行为。

此邻域是信赖域。

试探步 s 是通过在 N 上进行最小化（或近似最小化）来计算的。

以下是信赖域子问题如果f(x + s) < f(x)，当前点更新为 x + s；否则，当前点保持不变，信赖域 N 缩小，算法再次计算试探步。

在定义特定信赖域方法以最小化 f(x) 的过程中，关键问题是如何选择和计算逼近 q（在当前点 x 上定义）、如何选择和修改信赖域 N，以及如何准确求解信赖域子问题。

在标准信赖域方法中，二次逼近 q 由 F 在 x 处的泰勒逼近的前两项定义；邻域 N 通常是球形或椭圆形。

以数学语言表述，信赖域子问题通常写作公式2其中，g 是 f 在当前点 x 处的梯度，H 是 Hessian 矩阵（二阶导数的对称矩阵），D 是对角缩放矩阵，Δ是正标量，∥ . ∥是 2-范数。

此类算法通常涉及计算 H 的所有特征值，并将牛顿法应用于以下久期方程它们要耗费与 H 的几个分解成比例的时间，因此，对于信赖域问题，需要采取另一种方法。

Optimization Toolbox 求解器采用的逼近方法是将信赖域子问题限制在二维子空间 S 内。

一旦计算出子空间 S，即使需要完整的特征值/特征向量信息，求解的工作量也不大（因为在子空间中，问题只是二维的）。

现在的主要工作已转移到子空间的确定上。

二维子空间 S 是借助下述预条件共轭梯度法确定的。

求解器将 S 定义为由 s1 和 s2 确定的线性空间，其中 s1 是梯度 g 的方向，s2 是近似牛顿方向，即下式的解或是负曲率的方向，以此种方式选择 S 背后的理念是强制全局收敛（通过最陡下降方向或负曲率方向）并实现快速局部收敛（通过牛顿步，如果它存在）。

最佳平方逼近与最小二乘拟合——两者的区别与联系 函数逼近是用一个多项式无限接近原函数，而拟合是将函数中的元素联系起来。

也就是说，最佳平方逼近是针对函数，最小二乘法是针对离散的点，二者在形式上基本一致。

另外，最小二乘拟合也称为离散型最佳平方逼近，两者的解法有很多相似之处。

一、 函数的最佳平方逼近 （一）最佳平方逼近函数的概念对[]b a C x f ,)(∈及[]b a C ,中的一个子集{}n span ϕϕϕφ,,,10⋯=，若存在φ∈)(*x S，使[]dx x S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ，则称)(*x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。

（二）最佳平方逼近函数的解法为了求)(*x S ，由[]dxx S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ可知，一般的最佳平方逼近问题等价于求多元函数dxx f x a x a a a I banj j j n 2010)()()(),,,(⎰∑⎥⎦⎤⎢⎣⎡-=⋯=ϕρ的最小值问题。

由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数，利用多元函数极值的必要条件),,1,0(0n k a Ik⋯==∂∂，即n),,1,0(0)()()()(20⋯==⎥⎦⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a Ik b a n j j j kϕϕρ，于是有()()),,1,0(,,0n k f a k j nj j k ⋯==∑=ϕϕϕ。

),,,,1(2n n x x x G G Λ=()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ是关于n 10,,,a a a ⋯的线性方程组，称其为法方程。

由于n ϕϕϕ,,,10⋯线性无关，故系数行列式()0,,,10≠⋯n G ϕϕϕ，于是方程组()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ有唯一解),,1,0(*n k a a k k ⋯==，从而得到)()()(*0*0*x a x a x S n n ϕϕ+⋯+=。

数值计算方法课后习题答案吕同富【篇一：《数值计算方法》(二)课程教学大纲】txt>课程编号： l124008课程类别：专业必修学分数： 3 学时数：48 适用专业：信息与计算科学应修(先修)课程：数学分析、高等代数一、本课程的地位和作用数值分析(二)为数值分析课程的第二部分，它是信息与计算科学专业的一门专业必修课。

主要内容包括函数最佳逼近、数值积分、数值微分、常微分方程数值解法。

通过本课程的学习，学生将初步具备用计算机去有效地解决实际问题的能力。

二、本课程的教学目标通过本课程的学习，使学生了解和掌握求解函数最佳逼近、数值积分、数值微分、常微分方程等问题所涉及的各种常用的数值计算方法、数值方法的构造原理及适用范围。

本课程坚持理论与实践教学并重的原则，理论上主要讲述求解函数最佳逼近、数值积分、数值微分、常微分方程等问题的基本理论和基本方法。

与此同时，通过上机实验加深学生对各种计算方法的理解，为今后用计算机去有效地解决实际问题打下基础。

三、课程内容和基本要求(“*”记号标记难点内容，“▽”记号标记重点内容，“▽*”记号标记既是重点又是难点的内容)第六章函数最佳逼近 1．教学基本要求（1）理解：几类常用的正交多项式。

（2）掌握：最佳一致逼近和最佳平方逼近。

（3）掌握：曲线拟合的最小二乘法。

2．教学内容（1）*正交多项式。

（2）▽*最佳一致逼近。

（3）▽最佳平方逼近。

（4）正交多项式的逼近性质。

（5）▽曲线拟合的最小二乘法。

第七章数值积分 1．教学基本要求（1）理解：机械求积公式的基本思想、插值型求积公式的特点。

（2）掌握：newton-cotes求积公式、复合求积公式。

（3）掌握：romberg求积公式、gauss求积公式。

2．教学内容（1）*机械求积公式。

（2）▽newton-cotes求积公式。

（3）▽复合求积公式。

（4）变步长求积公式。

（5）▽romberg求积公式。

（6）▽*gauss求积公式第八章数值微分 1．教学基本要求（1）了解：数值微分的中点法。