拟牛顿法(Quasi-Newton Methods)是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W. C. Davidon所提出来。Davidon 设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R. Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。在之后的20年里，拟牛顿方法得到了蓬勃发展，出现了大量的变形公式以及数以百计的相关论文。
拟牛顿法和最速下降法(Steepest Descent Methods)一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法(Newton's Method)更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。
拟牛顿法的基本思想如下。首先构造目标函数在当前迭代$x_k$的二次模型：m_k(p)=f_k+g_k^T p+p^T B_k p/2，这里f_k=f(x_k)，g_k=▽f(x_k)，B_k是一个对称正定矩阵。于是我们取这个二次模型的最优解p_k=-B_k^{-1} g_k作为搜索方向，并且得到新的迭代点x_{k+1}=x_k+a_k p_k，其中我们要求步长a_k满足Wolfe条件。这样的迭代类似与牛顿法，区别就在于用近似的Hesse矩阵B_k代替真实的Hesse矩阵。所以拟牛顿法最关键的地方就是每一步迭代中矩阵B_k的更新。现在假设得到一个新的迭代x_{k+1}，并得到一个新的二次模型：m_{k+1}(p)=f_{k+1}+g_{k+1}^T p + p^T B_{k+1} p/2。我们尽可能地利用上一步的信息来选取B_{k+1}。具体地，我们要求g_{k+1}-g_k=a_k B_{k+1} p_k，从而得到B_{k+1}s_k=y_k，其中s_k=x_{k+1}-x_k，y_k=g_{k+1}-g_k。这个公式被称为割线方程。下面主要介绍这几种方法：DFP方法，BFGS方法，SR1方法，Broyden族方法。
纯形法，求解线性规划问题的通用方法。单纯形是美国数学家G.B.丹齐克于1947年首先提出来的。它的理论根据是：线性规划问题的可行域是n维向量空间Rn中的多面凸集，其最优值如果存在必在该凸集的某顶点处达到。顶点所对应的可行解称为基本可行解。单纯形法的基本思想是：先找出一个基本可行解，对它进行鉴别，看是否是最优解；若不是，则按照一定法则转换到另一改进的基本可行解,再鉴别；若仍不是，则再转换,按此重复进行。因基本可行解的个数有限，故经有限次转换必能得出问题的最优解。如果问题无最优解也可用此法判别。根据单纯形法的原理，在线性规划问题中，决策变量（控制变量）x1，x2， (x)
n的值称为一个解,满足所有的约束条件的解称为可行解。使目标函数达到最大值（或最小值）的可行解称为最优解。这样，一个最优解能在整个由约束条件所确定的可行区域内使目标函数达到最大值（或最小值）。求解线性规划问题的目的就是要找出最优解。
最优解可能出现下列情况之一：①存在着一个最优解；②存在着无穷多个最优解；
③不存在最优解，这只在两种情况下发生，即没有可行解或各项约束条件不阻止目标函数的值无限增大（或向负的方向无限增大）。
单纯形法的一般解题步骤可归纳如下：①把线性规划问题的约束方程组表达成典范型方程组，找出基本可行解作为初始基本可行解。②若基本可行解不存在，即约束条件有矛盾，则问题无解。③若基本可行解存在，从初始基本可行解作为起点，根据最优性条件和可行性条件，引入非基变量取代某一基变量，找出目标函数值更优的另一基本可行解。④按步骤3进行迭代,直到对应检验数满足最优性条件（这时目标函数值不能再改善），即得到问题的最优解。⑤若迭代过程中发现问题的目标函数值无界，则终止迭代。
用单纯形法求解线性规划问题所需的迭代次数主要取决于约束条件的个数。
现在一般的线性规划问题都是应用单纯形法标准软件在计算机上求解，对于具有106个决策变量和104个约束条件的线性规划问题已能在计算机上解得
题目一：多项式插值 某气象观测站在8：00（AM ）开始每隔10分钟对天气作如下观测，用三次多项式插值函数（Newton ）逼近如下曲线，插值节点数据如上表，并求出9点30分该地区的温度（x=10）。 二、数学原理 假设有n+1个不同的节点及函数在节点上的值（x 0，y 0），……（x n ，y n ），插值多项式有如下形式： ）（） ）（（）（）（）（n 10n 102010n x -x )(x -x x -x x P x x x x x x -??-+??+-++=αααα（1） 其中系数i α（i=0,1,2……n ）为特定系数，可由插值样条i i n y x P =） （（i=0,1,2……n ）确定。 根据均差的定义，把x 看成[a,b]上的一点,可得 f(x)=f （0x ）+f[10x x ，]（0x -x ） f[x,0x ]=f[10x x ，]+f[x,10x x ，]（1x -x ） …… f[x,0x ，…x 1-n ]=f[x,0x ，…x n ]+f[x,0x ，…x n ](x-x n ) 综合以上式子，把后一式代入前一式，可得到： f(x)=f[0x ]+f[10x x ，]（0x -x ）+f[210x x x ，，]（0x -x ）（1x -x ）+ …+f[x,0x ，…x n ]（0x -x ）…(x-x 1-n )+f[x,0x ，…x n ,x ]）（x 1n +ω=N n （x ）+） （x n R 其中 N n （x ）=f[0x ]+f[10x x ，]（0x -x ）+f[210x x x ，，]（0x -x ）（1x -x ）+ …+f[x,0x ，…x n ]（0x -x ）…(x-x 1-n )（2） ）（x n R =f(x)-N n （x ）=f[x,0x ，…x n ,x ]） （x 1n +ω（3） ） （x 1n +ω=（0x -x ）…(x-x n ) Newton 插值的系数i α（i=0,1,2……n ）可以用差商表示。一般有 f k =α[k 10x x x ??，]（k=0,1,2，……，n ）（4）
拟牛顿法（变尺度法）DFP算法的c/c++源码 #include "iostream.h" #include "math.h" void comput_grad(double (*pf)(double *x), int n, double *point, double *grad); //计算梯度 double line_search1(double (*pf)(double *x), int n, double *start, double *direction); //0.618法线搜索 double line_search(double (*pf)(double *x), int n, double *start, double *direction); //解析法线搜索 double DFP(double (*pf)(double *x), int n, double *min_point); //无约束变尺度法 //梯度计算模块 //参数：指向目标函数的指针，变量个数，求梯度的点，结果 void comput_grad(double (*pf)(double *x), int n, double *point, double *grad) { double h=1E-3; int i; double *temp; temp = new double[n]; for(i=1;i<=n;i++) { temp[i-1]=point[i-1]; } for(i=1;i<=n;i++) { temp[i-1]+=0.5*h; grad[i-1]=4*pf(temp)/(3*h); temp[i-1]-=h; grad[i-1]-=4*pf(temp)/(3*h); temp[i-1]+=(3*h/2); grad[i-1]-=(pf(temp)/(6*h)); temp[i-1]-=(2*h); grad[i-1]+=(pf(temp)/(6*h)); temp[i-1]=point[i-1]; } delete[] temp; }
Matlab实现数值分析插值及积分 摘要： 数值分析(numerical analysis)是研究分析用计算机求解数学计算问题的数值计算方法及其理论的学科，是数学的一个分支，它以数字计算机求解数学问题的理论和方法为研究对象。在实际生产实践中，常常将实际问题转化为数学模型来解决，这个过程就是数学建模。学习数值分析这门课程可以让我们学到很多的数学建模方法。 分别运用matlab数学软件编程来解决插值问题和数值积分问题。题目中的要求是计算差值和积分，对于问题一，可以分别利用朗格朗日插值公式，牛顿插值公式，埃特金逐次线性插值公式来进行编程求解，具体matlab代码见正文。编程求解出来的结果为：=+。 其中Aitken插值计算的结果图如下： 对于问题二，可以分别利用复化梯形公式，复化的辛卜生公式，复化的柯特斯公式编写程序来进行求解，具体matlab代码见正文。编程求解出来的结果为： 0.6932 其中复化梯形公式计算的结果图如下：
问题重述 问题一：已知列表函数 表格 1 分别用拉格朗日，牛顿，埃特金插值方法计算。 问题二：用复化的梯形公式，复化的辛卜生公式，复化的柯特斯公式计算积分，使精度小于5。 问题解决 问题一：插值方法 对于问题一，用三种差值方法：拉格朗日，牛顿，埃特金差值方法来解决。 一、拉格朗日插值法： 拉格朗日插值多项式如下： 首先构造1+n 个插值节点n x x x ,,,10 上的n 插值基函数，对任一点i x 所对应的插值基函数 )(x l i ，由于在所有),,1,1,,1,0(n i i j x j +-=取零值，因此)(x l i 有因子 )())(()(110n i i x x x x x x x x ----+- 。又因)(x l i 是一个次数不超过n 的多项式，所以只 可能相差一个常数因子，固)(x l i 可表示成： )())(()()(110n i i i x x x x x x x x A x l ----=+- 利用1)(=i i x l 得：
几种拟牛顿算法综述 摘要: 拟牛顿方法是求解无约束优化问题有效而著名的算法。在拟牛顿法中，有根据矫正公式的不同分为几类方法。本文主要针对SR1、SR1的一种修改、BFGS、MBFGS、非单调的CBFGS、LBFGS这几种矫正公式产生方法进行理论阐述，包括其收敛性，收敛速度的证明并检验其在正定二次问题上的等价性。最后通过C#编程语言检验上述方法在收敛速度上的差异性。 关键字：拟牛顿法、矫正公式、收敛性、非线性方程 引言： 考虑无约束问优化题minf(x)（0.1）f是连续可微的函数。牛顿法利用 Newton方法最突出的优点是其收敛速度快，凡是目标函数的Hessian矩阵 较简单的问题都可以采用Newton方法,1- 。对于那些Hessian矩阵复杂的问题而 言，求解Hessian矩阵无疑是一项艰巨的工程，这是很多学者选择采用拟牛顿的方法来解决现实中较复杂的问题的原因所在。拟牛顿法和Newton法的主要区别于求解迭代方向。拟牛顿法的主要思路是通过构造一个矩阵序列*H（k）+去逼近 原问题迭代方向中的Hessian矩阵*G(k)?1+，这很好的避免了复杂矩阵求逆的问题。在算法上很好的降低了计算量，从而提高计算速度。为了寻找与G有某种近似的，我们需要来考察的各种相关关系。为此目的，我们将f(x)的梯度在处作Taylor 展开， (δ)()δ(x) f(x) 当δ充分小时，可得到近似关 δ()δ(δ)() 或δγ，γ 1 1(δ)（0.2） 关系式（1）对二次函数f(x)恒成立，但对于不一定成立。现在我们研究与寻找，使它满足关系式（1）。为讨论与计算上的方便，当得到 1 δ时，δ，γ已知，我们求得 1，它满足关系: 1 δγ （0.3）为了叙述方便，我们引入=?1那么有以下式子成立
实验五多项式插值逼近 信息与计算科学金融崔振威201002034031 一、实验目的： 拉格朗日插值和牛顿插值的数值实现 二、实验内容：p171.1、p178.1、龙格现象数值实现 三、实验要求： 1、根据所给题目构造相应的插值多项式， 2、编程实现两类插值多项式的计算 3、试分析多项式插值造成龙格现象的原因 主程序 1、拉格朗日 function [c,l]=lagran(x,y) %c为多项式函数输出的系数 %l为矩阵的系数多项式 %x为横坐标上的坐标向量 %y为纵坐标上的坐标向量 w=length(x); n=w-1; l=zeros(w,w); for k=1:n+1 v=1; for j=1:n+1 if k~=j v=conv(v,poly(x(j)))/(x(k)-x(j)) %对多项式做卷积运算end end l(k,:)=v; end c=y*l; 牛顿插值多项式主程序 function [p2,z]=newTon(x,y,t) %输入参数中x,y为元素个数相等的向量 %t为插入的定点 %p2为所求得的牛顿插值多项式 %z为利用多项式所得的t的函数值。 n=length(x); chaS(1)=y(1); for i=2:n x1=x;y1=y; x1(i+1:n)=[];
y1(i+1:n)=[]; n1=length(x1); s1=0; for j=1:n1 t1=1; for k=1:n1 if k==j %如果相等则跳出循环 continue; else t1=t1*(x1(j)-x1(k)); end end s1=s1+y1(j)/t1; end chaS(i)=s1; end b(1,:)=[zeros(1,n-1) chaS(1)]; cl=cell(1,n-1); %cell定义了一个矩阵 for i=2:n u1=1; for j=1:i-1 u1=conv(u1,[1 -x(j)]); %conv()用于多项式乘法、矩阵乘法 cl{i-1}=u1; end cl{i-1}=chaS(i)*cl{i-1}; b(i,:)=[zeros(1,n-i),cl{i-1}]; end p2=b(1,:); for j=2:n p2=p2+b(j,:); end if length(t)==1 rm=0; for i=1:n rm=rm+p2(i)*t^(n-i); end z=rm; else k1=length(t); rm=zeros(1,k1); for j=1:k1 for i=1:n rm(j)=rm(j)+p2(i)*t(j)^(n-i); end
Newton迭代法求解非 线性方程
一、 Newton 迭代法概述 构造迭代函数的一条重要途径是用近似方程来代替原方程去求根。因此，如果能将非线性方程f (x )=0用线性方程去代替，那么，求近似根问题就很容易解决，而且十分方便。牛顿(Newton)法就是一种将非线性方程线化的一种方法。 设k x 是方程f (x )=0的一个近似根，把如果)(x f 在k x 处作一阶Taylor 展开，即： )x x )(x ('f )x (f )x (f k k k -+≈ (1-1) 于是我们得到如下近似方程： 0)x x )(x ('f )x (f k k k =-+ (1-2) 设0)('≠k x f ，则方程的解为： x ?=x k +f (x k ) f (x k )? (1-3) 取x ~作为原方程的新近似根1+k x ，即令： ) x ('f ) x (f x x k k k 1k -=+, k=0,1,2,… (1-4) 上式称为牛顿迭代格式。用牛顿迭代格式求方程的根的方法就称为牛顿迭代法，简称牛顿法。 牛顿法具有明显的几何意义。方程： )x x )(x ('f )x (f y k k k -+= (1-5) 是曲线)x (f y =上点))x (f ,x (k k 处的切线方程。迭代格式(1-4)就是用切线式(1-5)的零点来代替曲线的零点。正因为如此，牛顿法也称为切线法。 牛顿迭代法对单根至少是二阶局部收敛的，而对于重根是一阶局部收敛的。一般来说，牛顿法对初值0x 的要求较高，初值足够靠近*x 时才能保证收敛。若
要保证初值在较大范围内收敛，则需对)x (f 加一些条件。如果所加的条件不满足，而导致牛顿法不收敛时，则需对牛顿法作一些改时，即可以采用下面的迭代格式： ) x ('f ) x (f x x k k k 1k λ -=+, ?=,2,1,0k (1-6) 上式中，10<λ<，称为下山因子。因此，用这种方法求方程的根，也称为牛顿下山法。 牛顿法对单根收敛速度快，但每迭代一次，除需计算)x (f k 之外，还要计算 )x ('f k 的值。如果)x (f 比较复杂，计算)x ('f k 的工作量就可能比较大。为了避免计算导数值，我们可用差商来代替导数。通常用如下几种方法： 1. 割线法 如果用 1 k k 1k k x x ) x (f )x (f ----代替)x ('f k ，则得到割线法的迭代格式为： )x (f ) x (f )x (f x x x x k 1k k 1 k k k 1k --+---= (1-7) 2. 拟牛顿法 如果用 ) x (f )) x (f x (f )x (f k 1k k k ---代替)x ('f k ，则得到拟牛顿法的迭代格式为： )) x (f x (f )x (f ) x (f x x 1k k k k 2k 1k -+--- = (1-8) 3. Steffenson 法 如果用 ) x (f ) x (f ))x (f x (f k k k k -+代替)x ('f k ，则得到拟牛顿法的迭代格式为： ) x (f ))x (f x (f ) x (f x x k k k k 2k 1 k -+- =+
MATLAB程序设计期中作业 ——编程实现牛顿插值 成员:刘川（P091712797）签名＿＿＿＿＿ 汤意（P091712817）签名＿＿＿＿＿ 王功贺（P091712799）签名＿＿＿＿＿ 班级:2009信息与计算科学 学院:数学与计算机科学学院 日期:2012年05月02日
牛顿插值的算法描述及程序实现 一：问题说明 在我们的实际应用中，通常需要解决这样的问题，通过一些已知的点及其对应的值，去估算另外一些点的值，这些数据之间近似服从一定的规律，于是，这就引入了插值法的思想。 插值法是利用函数f (x)在某区间中若干点的函数值，作出适当的特定函数，在这些点上取已知值，在区间的其他点上用这特定函数的值作为函数f (x)的近似值。如果这特定函数是多项式，就称它为插值多项式。利用插值基函数很容易得到拉格朗日插值多项式，公式结构紧凑，在理论分析中甚为方便，但当插值节点增减时全部插值基函数均要随之变化，整个公式也将发生变化，这在实际计算中是很不方便的，为了克服这一缺点，提出了牛顿插值。 二：算法分析 newton 插值多项式的表达式如下： 010011()()()()()n n n N x c c x x c x x x x x x -=+-+???+--???- 其中每一项的系数c i 的表达式如下： 12011010 [,,,][,,,] [,,,]i i i i i f x x x f x x x c f x x x x x -???-???=???= - 即为f (x)在点01,,,i x x x ???处的i 阶差商，（[]()i i f x f x =，1,2,,i n = ），由差商01[,,,]i f x x x ???的性质可知： () 010 1 [,,,]()i i i j j k j k k j f x x x f x x x ==≠???=-∑∏ 牛顿插值的程序实现方法： 第一步：计算[][][][]001012012,,,,,,,n f x f x x f x x x f x x x x 、、、 、。 第二步：计算牛顿插值多项式中01[,,,]i f x x x ???011()()()i x x x x x x ---???-，1,2,,i n = ，得到n 个多项式。
拟牛顿法的研究现状 文献综述 姓名:孟媛媛 学号：112111215 指导老师：肖伟 前言 求解非线性方程组 0)(=x F 的方法有很多，最速下降法具有结构简单，计算量小的优点，但是它的收敛速度较慢；牛顿法及其改进牛顿法，虽然收敛速度快，但在迭代过程中的每一步构造搜索方向时，首先要计算目标函数的Hessian 矩阵，然后需要解一个线性方程组，计算工作量很大，这就抵消了牛顿法收敛速度快的优点。为了克服牛顿法的缺点，人们提出了拟牛顿法，拟牛顿法在构造搜索方向时，只需要利用目标函数及其一阶导数的信息，避免了Hessian 矩阵的计算，减少了计算量，并且具有超线性收敛的优点，经理论证明和实践检验，拟牛顿法已经成为一类公认的比较有效的算法. 拟牛顿法 一、求解非线性方程组的拟牛顿法 设R R n n F →：是连续可微映射．考虑下面的非线性方程组： 0)(=x F )1.1( 牛顿法是求解方程组)1.1(的经典的方法之一，其迭代格式为： d x x k k k +=+1，)()(1 x x d k k k F F -'-=， 其中)(x k F '是F 在x k 处的Jacobian 阵.牛顿法的一个显著优点就是具有局部的超线性甚至二阶收敛速度，由于牛顿法这一优点，使其成为颇受欢迎的算法之一， 然而，当Jacobian 矩阵)(x k F '奇异时，牛顿方向可能不存在．克服牛顿法的这一缺陷的一个主要途径就是采用拟牛顿法，其基本思想是利用某个矩阵B k 作为 )(x k F '的近似取代)(x k F '.拟牛顿法的一般格式为： d x x k k k k α+ =+1， )2.1(
《工程常用算法》综合实践作业二 完成日期： 2013年 4月 14 日 班级 学号 姓名 主要工作说明 自评成绩 0718 2010071826 崔洪亮 算式与程序的编写 18 0718 2010071815 侯闰上 流程图的编辑，程序的审查 0718 2010071809 赵化川 报告的整理汇总 一.作业题目：三次样条插值与分段插值 已知飞机下轮廓线数据如下： x 3 5 7 9 11 12 13 14 15 y 0 1.2 1.7 2.0 2.1 2.0 1.8 1.2 1.0 1.6 飞机下轮廓线形状大致如下图所示： 要求分别用拉格朗日插值法、Newton 插值法、分段线性插值法和三次样条插值法计算x 每改变0.5时y 的值，即x 取 0.5, 1, 1.5, … , 14.5 时对应的y 值。比较采用不同方法的计算工作量、计算结果和优缺点。 二.程序流程图及图形 1.拉格朗日插值法 开始 x,y,x0 Length (x)==l Ength (y)? n=length (x) i=1:n,l=1。 j=1:i-1&j=i+1:n l=l.*(x0-x(j)/x(i)-x(j) f=f+l*y(i) 结束 否 是 机翼 下轮廓线
2.牛顿插值法 开始 x,y,xi Length(x)==l ength(y)? n=length(x)Y=zeros （n),Y （：1）=y,f=0 a=1:n-1,b=1:n-a,Y(b,a+1)=（Y （b+1，a)-Y(b,a))/(x （b+a)-x(b)) i=1:n,z=1 结束 j=1:i-1,z=z.*(xi-x(j)) f=f+Y(1,i)*z 否 是 3.分段线性插值法 开始 x ，y ，x0 length （x ）==length(y)? k=1:n-1 x(k)<=x0&x0《=x(k+1) temp=x(k)-x(k+1) f=(x0-x(k+1))/temp*y(k)+(x0-x(k))/(-temp)*y(k+1) 结束 否否 是 是 三.matlab 程序及简要的注释（m 文件） 1.拉格朗日插值法 2.牛顿插值法 function f=newdun(x,y,xi) %x 为已知数据点的x 坐标向量 %y 为已知数据点的y 坐标向量 function f=lang(x,y,x0) %x 为已知数据点的x 坐标向量 %y 为已知数据点的y 坐标向量
拟牛顿法 牛顿法的收敛速度虽然较快，但要求海森矩阵要可逆，要计算二阶导数和逆矩阵，就加大了就算机计算量。为了克服牛顿法的缺点，同时保持较快收敛速度的优点，就产生了拟牛顿法。拟牛顿法是牛顿法的直接推广，通过在试探点附近的二次逼近引进牛顿条件来确定线搜索方向，它主要有DFP 和BFGS 两种形式，拟牛顿法的一般步骤为： （1） 给定初始点(0)x ，初始对称正定矩阵0H ，(0) 0()g g x =及精度0ε>； （2） 计算搜索方向() k k k p H g =-； （3） 作直线搜索(1) ()()(,)k k k x F x p +=，计算(1)(1)11(),()k k k k f f x g g x ++++==， (1)()1,k k k k k k S x x y g g ++=-=- （4） 判断终止准则是否满足； （5） 令1k k k H H E +=+置1k k =+，转步骤（2）； 不同的拟牛顿法对应不同的k E ，主要介绍DFP 和BFGS 两种拟牛顿法。 1. DFP 法 （1） 算法原理 DFP 算法中的校正公式为： 1k k k k T T k k k k k k T T k k k S S H y y H H H S y y H y +=+ - 为了保证k H 的正定性，在下面的算法中迭代一定次数后，重置初始点和迭代矩阵再进行迭代。 （2） 算法步骤 1） 给定初始点(0)x ，初始矩阵0n H I =及精度0ε>； 2） 若() (0) f x ε?≤，停止，极小点为(0)x ；否则转步骤3）； 3） 取() (0)(0)0p H f x =-?，且令0k =； 4） 用一维搜索法求k t ，使得() ()()()0 ()min ()k k k k k k t f X t p f X tp α≥+=+，令 (1)()()k k k x x tp +=+，转步骤5）； 5） ( ) (1) k f x ε+?≤，停止，极小值点为(1)k x +；否则转步骤6）； 6） 若1k n +=，令(0) ()n x x =，转步骤3）；否则转步骤7）；
(){} 2 1 ()(11),5,10,20: 1252 1()1,(0,1,2,,)()2,(0,1,2,,)() ()2 35,20:1100 (i i i i n n k k k Newton f x x n x f x x i i n f x n x y i n Newton N x S x n x k y f x = -≤≤=+=-+====-+ = 题目：插值多项式和三次样条插值多项式。已知对作、计算函数在点处的值；、求插值数据点 的插值多项式和三次样条插值多项式；、对计算和相应的函数值),()() (1,2,,99)4:()max ()()max ()n k n k n k n k n k n k k k N x S x k E N y N x E S y S x ==-=- 和； 、计算，； 解释你所得到的结果。 算法组织: 本题在算法上需要解决的问题主要是：求出第二问中的Newton 插值多项式 )(x N n 和三次样条插值多项式()n S x 。如此，则第三、四问则迎刃而解。计算两 种插值多项式的算法如下： 一、求Newton 插值多项式)(x N n ，算法组织如下： Newton 插值多项式的表达式如下： )())(()()(110010--???--+???+-+=n n n x x x x x x c x x c c x N 其中每一项的系数c i 的表达式如下： 1102110) ,,,(),,,(),,,(x x x x x f x x x f x x x f c i i i i i -???-???= ???=- 根据i c 以上公式，计算的步骤如下： ?? ??? ?? ?????+??????? ???????????----) ,,,,(1) ,,,(),,,,(),(,),,(2)(,),(),(11101111011010n n n n n n n n x x x x f n x x x f x x x f n x x f x x f x f x f x f 、计算、计算、计算、计算 二、求三次样条插值多项式)(x S n ，算法组织如下：
本文链接：https://www.doczj.com/doc/8c11247723.html,/miaowei/52925.html 最近在看条件随机场中的优化算法。其中就设计到了无约束化的最优化方法，也就是牛顿法。在CRF （conditional random field）中，使用的是L-BFGS法。费了好大的劲把算法的原理及推导算是看明白了，可是到了具体实现上，又碰到问题了，比如在求搜索方向的时候，使用 但是程序中如何实现呢？ 现在转载一篇文章，看过之后，会非常受益。 使用导数的最优化算法中，拟牛顿法是目前为止最为行之有效的一种算法，具有收敛速度快、算法稳定性强、编写程序容易等优点。在现今的大型计算程序中有着广泛的应用。本文试图介绍拟牛顿法的基础理论和若干进展。 牛顿法(Newton Method) 牛顿法的基本思想是在极小点附近通过对目标函数做二阶Taylor展开，进而找到的极小点的估计值[1]。一维情况下，也即令函数为 则其导数满足 因此 (1) 将作为极小点的一个进一步的估计值。重复上述过程，可以产生一系列的极小点估值集合。一定条件下，这个极小点序列收敛于的极值点。 将上述讨论扩展到维空间，类似的，对于维函数有 其中和分别是目标函数的的一阶和二阶导数，表现为维向量和矩阵，而后者又称为目标函数在处的Hesse矩阵。设可逆，则可得与方程(1)类似的迭代公式： (2) 这就是原始牛顿法的迭代公式。 原始牛顿法虽然具有二次终止性（即用于二次凸函数时，经有限次迭代必达极小点），但是要求初始点需要尽量靠近极小点，否则有可能不收敛。因此人们又提出了阻尼牛顿法[1]。这种方法在算法形式上等同于所有流行的优化方法，即确定搜索方向，再沿此方向进行一维搜索，找出该方向上的极小点，然后在该点处重新确定搜索方向，重复上述过程，直至函数梯度小于预设判据。具体步骤列为算法1。
6.3.5 牛顿插值法的MATLAB 综合程序 求牛顿插值多项式、差商、插值及其误差估计的MATLAB 主程序 function [y,R,A,C,L]=newdscg(X,Y,x,M) n=length(X); m=length(x); for t=1:m z=x(t); A=zeros(n,n);A(:,1)=Y'; s=0.0; p=1.0; q1=1.0; c1=1.0; for j=2:n for i=j:n A(i,j)=(A(i,j-1)- A(i-1,j-1))/(X(i)-X(i-j+1)); end q1=abs(q1*(z-X(j-1)));c1=c1*j; end C=A(n,n);q1=abs(q1*(z-X(n))); for k=(n-1):-1:1 C=conv(C,poly(X(k))); d=length(C);C(d)=C(d)+A(k,k); end y(k)= polyval(C, z); end R=M*q1/c1;L(k,:)=poly2sym(C); 例6.3.6 给出节点数据00.27)00.4(=-f ，00.1)00.0(=f ，00.2)00.1(=f ，00.17)00.2(=f ，作三阶牛顿插值多项式，计算)345.2(-f ，并估计其误差. 解 首先将名为newdscg.m 的程序保存为M 文件，然后在MATLAB 工作窗口输入程序 >> syms M,X=[-4,0,1,2]; Y =[27,1,2,17]; x=-2.345; [y,R,A,C,P]=newdscg(X,Y,x,M) 运行后输出插值y )345.2(-≈f 及其误差限公式R ，三阶牛顿插值多项式P 及其系数向量C ，差商的矩阵A 如下 y = 22.3211 R = 65133/562949953421312*M （即R =2.3503*M ） A= 27.0000 0 0 0 1.0000 -6.5000 0 0 2.0000 1.0000 1.5000 0 17.0000 15.0000 7.0000 0.9167 C = 0.9167 4.2500 -4.1667 1.0000 P = 11/12*x^3+17/4*x^2-25/6*x+1
拟牛顿法 牛顿法有很好的收敛性，特别是当初始点x0选择在最终解x*附近时，收敛速度叫梯度法更快，但是当初始迭代点远离x*，收敛速度慢且不能保证收敛，当其Hession <0，迭代算法不会像函数值减小的方向前进。针对newton法的这些弱点，提出了改进方法：拟牛顿方法，包括rank one，DFP和BFGS三种算法。 （1）Rank one 选用aster书《An Introduction to Optimization》中实例验证 目标函数：f(x1,x2)=x1^2+0.5*x2^2+3，是一个二次型函数。初始值x0=[1,2]’；，精度 1.0e-5控制迭代终止，当norm(G)<=1.0e-5时，迭代终止；取H0=I2，Q=[2,0;0,1]; ①迭代结果：经过两次迭代之后，迭代停止，得值x=【0,0】’。 ②改变初始值为远离x= [0,0]’的值x0=[1000,2]’，和x0=[1000,1000]’，算法经过两步迭代后都收敛到x=【0,0】’。 算法的结果验证了书中结论：不论初始值X0如何选取，稚一算法在n步迭代之内收敛到终解。 稚一算法对于恒定hess矩阵的情况非常好，也就是对二次型问题问题非常有效，但是对于非二次型问题，H（k）可能是非正定的，这样函数不能向下降的方向前进，这就引出下面的稚二算法。 （2）DFP 目标函数：f(x1,x2)=2*(x1^2)+x2^2+2*x1*x2+x1-x2； 即：f(x1,x2)=1/2*[x1,x2]*[4,2;2,2]* [x1,x2]’-[x1,x2]*[-1,1]’; 初始点x0=[0,0]’，取H0=I2，Q=[4,2;2,2]。H0是一个实对称正定矩阵，第一次迭代后，H1=[0.5,-0.5;-0.5,1.5]是一个非对称正定矩阵，此时就体现出稚二算法的优势，第二次迭代后，满足norm(G)<=1.0e-5条件，迭代终止，的解x=【-1.0,1.5】’。同样，改变初值x0=[100,4]及x0=[100,100]都在迭代两步后收敛到x=[-1.0,1.5]’; 结果证明了DFP算法较稚一算法的优越之处：在Hess矩阵不是对称正定矩阵是，依然可以收敛。 （3）BFGS DFP算法较稚一算法有很好的优越性，但是对于较强的非二次型反问题，DFP算法也会“噎住”，因为H（k）几乎变得奇异，针对这个问题，提出了改进的算法BFGS算法。 目标函数：f(x1,x2)=1/2* x’*Q* x- x’*b+log（π）; 其中Q=[5,-3;-3,2];b=[0;1];取H0=I2，x0=[0;0]。
拟牛顿法(Quasi-Newton Methods)是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W. C. Davidon所提出来。Davidon 设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R. Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。在之后的20年里，拟牛顿方法得到了蓬勃发展，出现了大量的变形公式以及数以百计的相关论文。 拟牛顿法和最速下降法(Steepest Descent Methods)一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法(Newton's Method)更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。 拟牛顿法的基本思想如下。首先构造目标函数在当前迭代$x_k$的二次模型：m_k(p)=f_k+g_k^T p+p^T B_k p/2，这里f_k=f(x_k)，g_k=▽f(x_k)，B_k是一个对称正定矩阵。于是我们取这个二次模型的最优解p_k=-B_k^{-1} g_k作为搜索方向，并且得到新的迭代点x_{k+1}=x_k+a_k p_k，其中我们要求步长a_k满足Wolfe条件。这样的迭代类似与牛顿法，区别就在于用近似的Hesse矩阵B_k代替真实的Hesse矩阵。所以拟牛顿法最关键的地方就是每一步迭代中矩阵B_k的更新。现在假设得到一个新的迭代x_{k+1}，并得到一个新的二次模型：m_{k+1}(p)=f_{k+1}+g_{k+1}^T p + p^T B_{k+1} p/2。我们尽可能地利用上一步的信息来选取B_{k+1}。具体地，我们要求g_{k+1}-g_k=a_k B_{k+1} p_k，从而得到B_{k+1}s_k=y_k，其中s_k=x_{k+1}-x_k，y_k=g_{k+1}-g_k。这个公式被称为割线方程。下面主要介绍这几种方法：DFP方法，BFGS方法，SR1方法，Broyden族方法。 纯形法，求解线性规划问题的通用方法。单纯形是美国数学家G.B.丹齐克于1947年首先提出来的。它的理论根据是：线性规划问题的可行域是n维向量空间Rn中的多面凸集，其最优值如果存在必在该凸集的某顶点处达到。顶点所对应的可行解称为基本可行解。单纯形法的基本思想是：先找出一个基本可行解，对它进行鉴别，看是否是最优解；若不是，则按照一定法则转换到另一改进的基本可行解,再鉴别；若仍不是，则再转换,按此重复进行。因基本可行解的个数有限，故经有限次转换必能得出问题的最优解。如果问题无最优解也可用此法判别。根据单纯形法的原理，在线性规划问题中，决策变量（控制变量）x1，x2， (x) n的值称为一个解,满足所有的约束条件的解称为可行解。使目标函数达到最大值（或最小值）的可行解称为最优解。这样，一个最优解能在整个由约束条件所确定的可行区域内使目标函数达到最大值（或最小值）。求解线性规划问题的目的就是要找出最优解。 最优解可能出现下列情况之一：①存在着一个最优解；②存在着无穷多个最优解； ③不存在最优解，这只在两种情况下发生，即没有可行解或各项约束条件不阻止目标函数的值无限增大（或向负的方向无限增大）。 单纯形法的一般解题步骤可归纳如下：①把线性规划问题的约束方程组表达成典范型方程组，找出基本可行解作为初始基本可行解。②若基本可行解不存在，即约束条件有矛盾，则问题无解。③若基本可行解存在，从初始基本可行解作为起点，根据最优性条件和可行性条件，引入非基变量取代某一基变量，找出目标函数值更优的另一基本可行解。④按步骤3进行迭代,直到对应检验数满足最优性条件（这时目标函数值不能再改善），即得到问题的最优解。⑤若迭代过程中发现问题的目标函数值无界，则终止迭代。 用单纯形法求解线性规划问题所需的迭代次数主要取决于约束条件的个数。
仅供参考 1．已知数据如下： （1）用MATLAB语言编写按Langrage插值法和Newton插值法计算插值的程序，对以上数据进行插值；（2）利用MATLAB在第一个图中画出离散数据及插值函数曲线。 (1.1)langrage插值法编程实现 syms x x0=[0.2,0.4,0.6,0.8,1.0]; y0=[0.98,0.92,0.81,0.64,0.38]; for i=1:5 a=1; for j=1:5 if j~=i a=expand(a*(x-x0(j))); end end b=1; for k=1:5 if k~=i b=b*(x0(i)-x0(k)); end end A(i)=expand(a/b); end L=0; for p=1:5 L=L+y0(p)*A(p); end L L = -25/48*x^4+5/6*x^3-53/48*x^2+23/120*x+49/50 （1.2）Newton插值程序实现
clear all clc syms x x0=[0.2,0.4,0.6,0.8,1.0]; y0=[0.98,0.92,0.81,0.64,0.38]; for k=1:5 for i=1:k a=1; b=0; for j=1:k if j~=i a=a*(x0(i)-x0(j)); end end b=b+y0(i)/a; end A(k)=b; end B=[1,(x-x0(1)),(x-x0(1))*(x-x0(2)),(x-x0(1))*(x-x0(2))*(x-x0(3)),(x-x 0(1))*(x-x0(2))*(x-x0(3))*(x-x0(4))]; L1=A.*B; l=0; for m=1:5 l=l+L1(m); end L=expand(l) L = 61/100+13/30*x+383/48*x^2-155/24*x^3+475/48*x^4 （2）画图 x0=[0.2,0.4,0.6,0.8,1.0]; y0=[0.98,0.92,0.81,0.64,0.38]; subplot(1,2,1); plot(x0(1),y0(1),'+r',x0(2),y0(2),'+r',x0(3),y0(3),'+r',x0(4),y0(4),' +r',x0(5),y0(5),'+r') x=0:0.05:1; y=-25/48.*x.^4+5/6.*x.^3-53/48.*x.^2+23/120.*x+49/50; subplot(1,2,2); plot(x,y)
拟牛顿法的matlab实现（转） 2011-03-16 15:07:04| 分类：matlab | 标签：|字号大中小订阅 牛顿法成功的关键是利用了Hesse矩阵提供的曲率信息，但计算Hesse矩阵工作量大，并且有的目标函数的Hesse矩阵很难计算，甚至不好求出。针对这一问题，拟牛顿法比牛顿法更为有效。这类算法仅利用目标函数值和一阶导数的信息，构造出目标函数的曲率近似，使方法具有类似牛顿法的收敛速度快的优点。函数名：quasi_Newton(f,x0,error), 参数：f:待求梯度函数x0:初始点error：允许误差 主程序： function A=quasi_Newton(f,x0,error) [a,b]=size(x0); G0=eye(b); initial_gradient=gradient_my(f,x0,b); norm0=0; norm0=initial_gradient*initial_gradient'; syms step_zzh; A=[x0]; search_direction=-initial_gradient; x=x0+step_zzh*search_direction; f_step=subs(f,findsym(f),x); best_step=golden_search(f_step,-15,15); x_1=x0+best_step*search_direction; A=[A;x_1]; k=1; while norm0>error ox=x_1-x0; og=gradient_my(f,x_1,b)-initial_gradient; G1=G0+(ox'*ox)/(ox*og')-(G0*og'*og*G0)/(og*G0*og'); if k+1==b new_direction=-gradient_my(f,x_1,b); else new_direction=-(G1*(gradient_my(f,x_1,b))')'; end x=x_1+step_zzh*new_direction; f_step=subs(f,findsym(f),x); best_step=golden_search(f_step,-15,15) x_2=x_1+best_step*new_direction A=[A;x_2]; initial_gradient=gradient_my(f,x_1,b); norm0=initial_gradient*initial_gradient'; x0=x_1;x_1=x_2; G0=G1;
插值MATLAB程序（可以输出多项式）—数值分析 1.拉格朗日多项式逼近 function [C,L,y]=lagran(X,Y) %拉格朗日多项式逼近 w=length(X); L=zeros(w,w); for k=1:w V=1; for j=1:w if k~=j V=conv(V,poly(X(j)))/(X(k)-X(j)); end end L(k,:)=V; end C=Y*L; y=poly2sym(C,'x'); 2.牛顿插值多项式 function [C,D,y]=newpoly(X,Y) %牛顿插值多项式 n=length(X); D=zeros(n,n); D(:,1)=Y'; for j=2:n for k=j:n D(k,j)=(D(k,j-1)-D(k-1,j-1))/(X(k)-X(k-j+1)); end end C=D(n,n); for k=(n-1):-1:1 C=conv(C,poly(X(k))); m=length(C); C(m)=C(m)+D(k,k); end y=poly2sym(C,'x'); 3.切比雪夫逼近 function [C,X,Y]=cheby(fun,n,a,b) %切比雪夫逼近 if nargin==2 a=-1;b=1; end
d=pi/(2*n+2); C=zeros(1,n+1); for k=1:n+1 X(k)=cos((2*k-1)*d); end X=(b-a)*X/2+(a+b)/2; x=X; Y=eval(fun); for k=1:n+1 z=(2*k-1)*d; for j=1:n+1 C(j)=C(j)+Y(k)*cos((j-1)*z); end end C=2*C/(n+1); C(1)=C(1)/2;