最速下降法及MATLAB程序

最优化方法及其Matlab程序设计习题作业暨实验报告学院：数学与信息科学学院班级：12级信计一班姓名：李明学号：1201214049第三章 最速下降法和牛顿法一、上机问题与求解过程1、用最速下降法求212221216423),(x x x x x x f --+=的极小值。

解：仿照书上编写最速下降法程序如下：function [x,val,k]=grad(fun,gfun,x0) %功能：用最速下降法求解无约束化问题：min f(x) %输入：x0是初始点，fun,gfun 分别是目标函数和梯度 %输出：x,val 分别是近似嘴有点和最优值，k 是迭代次数 maxk=5000;rho=0.5;sigma=0.4;%一开始选择时选择的rho 和sibma 选择的数据不够合理，此处我参照书上的数据编写数据 k=0;epsilon=1e-5; while (k<maxk)g=feval(gfun,x0); %计算梯度 d=-g;%计算搜索方向if (norm(d)<epsilon),break ;end m=0;mk=0; while (m<20)%Armijo 搜索if (feval(fun,x0+rho^m*d)<feval(fun,x0)+sigma*rho^m*g'*d) mk=m;break ;%直接利用Armijo 搜索公式,一开始的时候没有记住公式编写出现错误 end m=m+1; endx0=x0+rho^mk*d; k=k+1; end x=x0;val=feval(fun,x0) %求得每一个的函数值然后仿照书上建立两个目标函数和梯度的M 文件：function f=fun(x)f=3*x(1)^2+2*x(2)^2-4*x(1)-6*x(2); function g=gfun(x) g=[6*x(1)-4,4*x(2)-6]';选取初始点为']0,0[，调用函数程序，得出最小极值点为']500.1,6667.0[，极小值为8333.5-，在界面框中输入的程序如下：[x,val,k]=grad('fun','gfun',x0) val = -5.8333 x =0.6667 1.5000 val =-5.8333 k = 10从结果可以看出迭代次数为10次，如果选取不同的初值点则迭代次数不一样，但是极小值相同。

最速下降法姓名：沈东东 班级：研1404 学号：1415033005一、最速下降法的原理目标函数:(1)n f R R n →>在决策变量的当前点()k n x R ∈处的一阶Taylor 展开式为()()()()()()()k k k T f x f x g x δδοδ+=++式中，()()k n g x R ∈为f 在点()k x 处的梯度向量。

当扰动量n R δ∈充分小时，有()()()()()()k k k T f x f x g x δδ+≈+设新的迭代点为(1)()k k x x δ+=+，于是得到(1)()()()()()k k k T f x f x g x δ+-≈为了使(1)k x +处的目标函数值比()k x 处有所下降，需要满足()()0k T g x δ<此外，梯度向量()()k g x 和扰动量δ的内积可以表示为()()()()cos k T k g x g x δδθ=式中，θ为两向量之间的夹角。

若要使目标函数值的下降量尽可能大，可知δ的方向应该为梯度方向的负方向，即cos 1θ=-。

函数f 在点()k x 处的负梯度方向称为该点的最速下降方向。

在每次迭代时都取最速下降方向作为搜索方向的方法就称为最速下降法。

二、最速下降法的特点1.若()k x 不是极小点，则f 在点()k x 处的最速下降方向总是下降方向。

2.如果每次迭代时都用精确搜索方法得到最佳步长作为搜索步长，则寻优过程中相邻的最速下降方向是正交的。

3最速下降法产生的迭代点序列在一定条件下是线性收敛的，其收敛性质与极小点*x 处的Hesse 矩阵有关。

三、最速下降法的计算步骤最速下降法的计算步骤如下：步骤1：已知待求问题的目标函数()f x ，选择初始点(0)x ，并设定精度要求tol ，令:0k =。

步骤2：计算()f x 在点()k x 处的梯度向量()()k g x ，得到最速下降方向()()()k k d g x =-。

项目三 常用无约束最优化方法（一）[实验目的]编写最速下降法、Newton 法（修正Newton 法）的程序。

[实验学时]2学时[实验准备]1．掌握最速下降法的思想及迭代步骤。

2．掌握Newton 法的思想及迭代步骤；3．掌握修正Newton 法的思想及迭代步骤。

[实验内容及步骤]编程解决以下问题：【选作一个】1．用最速下降法求22120min ()25[22]0.01T f X x x X ε=+==，，，．2．用Newton 法求22121212min ()60104f X x x x x x x =--++-，初始点0[00]0.01T X ε==，，．最速下降法Matlab 程序：clc;clear;syms x1 x2;X=[x1,x2];fx=X(1)^2+X(2)^2-4*X(1)-6*X(2)+17;fxd1=[diff(fx,x1) diff(fx,x2)];x=[2 3];g=0;e=0.0005;a=1;fan=subs(fxd1,[x1 x2],[x(1) x(2)]);g=0;for i=1:length(fan)g=g+fan(i)^2;endg=sqrt(g);step=0;while g>estep=step+1;dk=-fan;%点x(k)处的搜索步长ak=((2*x(1)-4)*dk(1)+(2*x(2)-6)*dk(2))/(dk(1)*dk(2)-2*dk(1)^2-2*dk(2)^2);xu=x+ak*dk;x=xu;%输出结果optim_fx=subs(fx,[x1 x2],[x(1) x(2)]);fprintf(' x=[ %d %d ] optim_fx=%d\n',x(1),x(2),optim_fx);%计算目标函数点x(k+1)处一阶导数值fan=subs(fxd1,[x1 x2],[x(1) x(2)]);g=0;for i=1:length(fan)g=g+fan(i)^2;endg=sqrt(g);end%输出结果optim_fx=subs(fx,[x1 x2],[x(1) x(2)]);fprintf('\n最速下降法\n结果：\n x=[ %d %d ] optim_fx=%d\n',x(1),x(2),optim_fx); c++程序#include<stdio.h>#include<iostream.h>#include<iomanip.h>#include<math.h>float goldena(float x[2],float p[2]){float a;a=-1*(x[0]*p[0]+4*x[1]*p[1])/(p[0]*p[0]+4*p[1]*p[1]);return a;}void main(){float a=0,x[2],p[2],g[2]={0,0},e=0.001,t;int i=0;x[0]=1.0;x[1]=1.0;p[0]=2*x[0];p[1]=8*x[1];g[0]=-p[0];g[1]=-p[1];printf("\n\n");while(sqrt(g[0]*g[0]+g[1]*g[1])>e&&i<=100){i=i+1;a=goldena(x,g);x[0]=x[0]+a*g[0];x[1]=x[1]+a*g[1];p[0]=2*x[0];p[1]=8*x[1];g[0]=-p[0];g[1]=-p[1];t=float(sqrt(g[0]*g[0]+g[1]*g[1]));printf("第%d次t=%f x1=%f\tx2=%f\ta=%f\n",i,sqrt(g[0]*g[0]+g[1]*g[1]),x[0],x[1],a);}printf("\n最优解为：x1=%f,x2=%f\n最优值为y=%f\n",x[0],x[1],x[0]*x[0]+4*x[1]*x[1]); }。

《管理数学实验》实验报告班级姓名实验1：MATLAB的数值运算【实验目的】（1）掌握MATLAB变量的使用（2）掌握MATLAB数组的创建，（3）掌握MA TLAB数组和矩阵的运算。

（4）熟悉MATLAB多项式的运用【实验原理】矩阵运算和数组运算在MA TLAB中属于两种不同类型的运算，数组的运算是从数组元素出发，针对每个元素进行运算，矩阵的运算是从矩阵的整体出发，依照线性代数的运算规则进行。

【实验步骤】（1）使用冒号生成法和定数线性采样法生成一维数组。

（2）使用MA TLAB提供的库函数reshape，将一维数组转换为二维和三维数组。

（3）使用逐个元素输入法生成给定变量，并对变量进行指定的算术运算、关系运算、逻辑运算。

（4）使用MA TLAB绘制指定函数的曲线图，将所有输入的指令保存为M文件。

【实验内容】（1）在[0,2*pi]上产生50个等距采样数据的一维数组，用两种不同的指令实现。

0:(2*pi-0)/(50-1):2*pi 或linspace(0,2*pi,50)（2）将一维数组A=1:18，转换为2×9数组和2×3×3数组。

reshape(A,2,9)ans =Columns 1 through 71 3 5 7 9 11 132 4 6 8 10 12 14Columns 8 through 915 1716 18reshape(A,2,3,3)ans(:,:,1) =1 3 52 4 6ans(:,:,2) =7 9 118 10 12 ans(:,:,3) =13 15 17 14 16 18（3）A=[0 2 3 4 ;1 3 5 0],B=[1 0 5 3;1 5 0 5]，计算数组A 、B 乘积，计算A&B,A|B,~A,A= =B,A>B 。

A.*Bans=0 0 15 121 15 0 0 A&Bans =0 0 1 11 1 0 0 A|Bans =1 1 1 11 1 1 1~Aans =1 0 0 00 0 0 1A==Bans =0 0 0 01 0 0 0A>=Bans =0 1 0 11 0 1 0（4）绘制y= 0.53t e -t*t*sin(t),t=[0,pi]并标注峰值和峰值时间,添加标题y= 0.53t e -t*t*sint ，将所有输入的指令保存为M 文件。

无约束优化算法无约束优化算法问题，是指优化问题的可行集为nR ，无约束的标准形式为： min ():n f x f R R →1. 最优性条件（1） 极小值点的一阶必要条件设():n f x R R →为连续可微函数，如果*x 为局部极小值点，则*x 为驻点，即梯度*()0f x ∇=。

（2） 极小值的二阶必要条件设():n f x R R →为二阶连续可微函数，如果*x 为局部极小值点，则*x 为驻点，即梯度*()0f x ∇=，二阶hesse 2*()f x ∇半正定。

（3） 极小值点的二阶充分条件设():n f x R R →为二阶连续可微函数，如果梯度*()0f x ∇=，二阶h e s s e 2*()f x ∇正定，则*x 为f 的局部极小值点，*n x R ∈。

以上三个定理为搜索最优点以及判断一个点是否为最优点的基本依据。

经典的优化算法的停止条件为*()0f x ∇=，例如在程序中*8()110f x -∇≤⨯ ，即在导数范数小于某特定误差限时停止。

误差限较大，则算法迭代次数减少，计算时间缩短，但解得质量降低；误差限较小，则算法迭代次数增加，计算时间增加，但解的质量提高；误差限一般为8110-⨯，可以根据实际情况设定合适的误差限。

当然，还有极小值点的二阶必要条件与极小值点的二阶充分条件，对2*()f x ∇的判断，由于目标函数比较复杂，二阶导数矩阵的计算量极大，所以一般算法都在迭代过程中对2()()k f x∇进行修正，得到2(1)()k f x +∇，在修正的过程中始终保持2*()f x ∇的正定性，以此方法解决极小值点的二阶条件问题。

2. 最速下降法2.1 算法原理最速下降法是早期的优化算法，其理论根据函数的一阶泰勒展开： 由()()()()Tf x d f x f x d d ααοα+=+∇+ 得到()()()()T f x d f x f x d d ααοα+-=∇+根据下降要求()()0f x d f x α+-≤ 故()()0Tf x d d αοα∇+≤实际中要求()0T f x d α∇≤根据上式选取合适的d ，得()0T f x d α∇≤。

最优化方法实验报告Numerical Linear Algebra And ItsApplications学生所在学院：理学院学生所在班级：计算数学10-1学生姓名：甘纯指导教师：单锐教务处2013年5月实验三实验名称：无约束最优化方法的MATLAB实现实验时间: 2013年05月10日星期三实验成绩：一、实验目的：通过本次实验的学习，进一步熟悉掌握使用MATLAB软件，并能利用该软件进行无约束最优化方法的计算。

二、实验背景：（一）最速下降法1、算法原理最速下降法的搜索方向是目标函数的负梯度方向，最速下降法从目标函数的负梯度方向一直前进，直到到达目标函数的最低点。

2、算法步骤用最速下降法求无约束问题n R()min的算法步骤如下：xxf，a ）给定初始点)0(x ，精度0>ε，并令k=0；b ）计算搜索方向)()()(k k x f v -∇=，其中)()(k x f ∇表示函数)(x f 在点)(k x 处的梯度；c ）若ε≤)(k v ，则停止计算；否则，从)(k x 出发，沿)(k v 进行一维搜索，即求k λ，使得)(min )()()(0)()(k k k k v x f v x f λλλ+=+≥； d ）令1,)()()1(+=+=+k k v x x k k k k λ，转b ）。

（二）牛顿法1、算法原理牛顿法是基于多元函数的泰勒展开而来的，它将)()]([-)(1)(2k k x f x f ∇∇-作为搜索方向，因此它的迭代公式可直接写出来：)()]([)(1)(2)()(k k k k x f x f x x ∇∇-=-2、算法步骤用牛顿法求无约束问题n R x x f ∈),(min 的算法步骤如下：a ）给定初始点)0(x ,精度0>ε，并令k=0；b ）若ε≤∇)()(k x f ，停止，极小点为)(k x ，否则转c ）；c ）计算)()]([,)]([)(1)(2)(1)(2k k k k x f x f p x f ∇∇-=∇--令；d ）令1,)()()1(+=+=+k k p x x k k k ，转b ）。

最速下降法是一种常用的优化算法，可以用于求解多元函数的极小值。

在Matlab中，我们可以通过编写程序来实现最速下降法求取函数在给定范围内的极小值。

本文将围绕最速下降法在Matlab中的实现展开讨论，包括算法原理、程序编写、实例演示等内容。

一、最速下降法的原理及步骤最速下降法是一种基于梯度下降的优化算法，其原理是通过沿着函数梯度的负方向不断迭代，来逼近函数的极小值点。

其基本步骤如下：1. 初始化：选择初始点x0，设定迭代终止条件。

2. 梯度计算：计算当前点的梯度值∇f(xk)。

3. 方向选择：选择负梯度方向p_k=-∇f(xk)。

4. 步长确定：求解使得f(xk+α_pk)最小化的步长αk。

5. 迭代更新：更新迭代点xk+1=xk+αkp_k，并检查迭代终止条件。

二、最速下降法在Matlab中的实现在Matlab中，我们可以通过编写程序来实现最速下降法。

以下是一个简单的最速下降法求解函数极小值的Matlab程序示例：```matlabfunction [x, fval, exitflag, output] = steepestdescent(fun, x0, options)fun为目标函数句柄，x0为初始点，options为优化选项[x, fval, exitflag, output] = fminunc(fun, x0, options);end```以上代码中，我们使用了Matlab内置的优化函数fminunc来实现最速下降法。

其中fun为目标函数句柄，x0为初始点，options为优化选项，x为最优解，fval为最优值，exitflag为退出标志，output为优化输出。

三、实例演示下面我们以一个简单的二元函数为例，演示最速下降法在Matlab中的实现过程。

假设我们要求解的目标函数为f(x, y) = x^2 + y^2，且x, y∈[0, 2]。

我们可以通过编写如下Matlab程序来实现最速下降法的求解：```matlabfun = (x) x^2 + y^2; 定义目标函数x0 = [1, 1]; 设置初始点options = optimoptions('fminunc', 'Algorithm', 'quasi-newton'); 设置优化选项[x, fval, exitflag, output] = steepestdescent(fun, x0, options); 调用最速下降法disp(['最优解为：', num2str(x)]);disp(['最优值为：', num2str(fval)]);```通过以上程序，我们可以得到最优解为x=[0, 0]，最优值为fval=0，这即为目标函数在给定范围内的极小值点及极小值。

目标函数的几种极值求解方法题目：()()2221122min -+-x x，取初始点()()Tx 3,11=，分别用最速下降法，牛顿法，共轭梯度法编程实现。

一维搜索法：迭代下降算法大都具有一个共同点，这确实是得到点()k x 后需要按某种规则确定一个方向()k d ，再从()k x 动身，沿方向()k d 在直线（或射线）上求目标函数的极小点，从而得到()k x 的后继点()1+k x ，重复以上做法，直至求得问题的解，那个地点所谓求目标函数在直线上的极小点，称为一维搜索。

一维搜索的方法专门多，归纳起来大体能够分为两类，一类是试探法：采纳这类方法，需要按某种方式找试探点，通过一系列的试探点来确定极小点。

另一类是函数靠近法或插值法：这类方法是用某种较简单的曲线靠近本来的函数曲线，通过求靠近函数的极小点来估量目标函数的极小点。

本文采纳的是第一类试探法中的黄金分割法。

原理书上有详细叙述，在那个地点介绍一下实现过程：⑴ 置初始区间[11,b a ]及精度要求L>0,运算试探点1λ和1μ，运算函数值()1λf 和()1μf ，运算公式是：()1111382.0a b a -+=λ，()1111618.0a b a -+=μ。

令k=1。

⑵ 若L a b k k <-则停止运算。

否则，当()K f λ>()k f μ时,转步骤⑶;当()K f λ≤()k f μ时,转步骤⑷ 。

⑶ 置k k a λ=+1,k k b b =+1,k k μλ=+1,()1111618.0++++-+=k k k k a b a μ,运算函数值()1+k f μ,转⑸。

⑷ 置k k a a =+1,k k b μ=+1,k k μμ=+1,()1111382.0++++-+=k k k k a b a λ,运算函数值()1+k f λ,转⑸。

⑸ 置k=k+1返回步骤 ⑵。

1. 最速下降法实现原理描述：在求目标函数极小值问题时,总期望从一点动身,选择一个目标函数值下降最快的方向,以利于尽快达到极小点,正是基于如此一种愿望提出的最速下降法,同时通过一系列理论推导研究可知,负梯度方向为最速下降方向。

最速下降法matlab代码最速下降法（Steepest Descent Method）是一种用于数值优化问题的迭代算法。

下面是一个简单的最速下降法的MATLAB 代码示例：1.定义目标函数function f = objective(x)f = x(1)^2 + 4*x(2)^2 - 4*x(1) - 8*x(2); % 示例目标函数，可根据实际问题进行修改end2.定义目标函数的梯度function g = gradient(x)g = [2*x(1) - 4; 8*x(2) - 8]; % 示例目标函数的梯度，可根据实际问题进行修改end3.最速下降法function steepestDescent()x = [0; 0]; % 初始点epsilon = 1e-6; % 收敛准则，可根据实际问题调整maxIterations = 1000; % 最大迭代次数，可根据实际问题调整for k = 1:maxIterationsg = gradient(x); % 计算梯度if norm(g) < epsilon % 判断梯度范数是否小于收敛准则break;endalpha = 0.01; % 步长，可根据实际问题调整x = x - alpha * g; % 更新参数enddisp('Optimization Results:');disp('---------------------');disp(['Iterations: ', num2str(k)]);disp(['Minimum point: (', num2str(x(1)), ', ', num2str(x(2)), ')']);disp(['Objective function value: ', num2str(objective(x))]);end4.调用最速下降法函数steepestDescent();上述代码包含了以下几个关键部分：objective 函数：定义了目标函数，根据实际问题进行修改。

最速下降法求解线性代数方程组要求：对于给定的系数矩阵、右端项和初值，可以求解线性代数方程组一、最速下降法数学理论PP?tX?Xf(X)的负梯中，在基本迭代公式每次迭代搜索方向取为目标函数kk1kkk?t)X??f(P?取为最优步长，由此确定的算法称为最速度方向，即，而每次迭代的步长kkk下降法。

X)Xminf(kk。

现在次，获得了第，假定我们已经迭代了为了求解问题个迭代点k X出发，可选择的下降方法很多，一个非常自然的想法是沿最速下降方向（即负梯度方从k X邻近的范围内是这样。

因此，去搜索方向为 )进行搜索应该是有利的，至少在向k P???f(X).kk P k?1进行一维搜索，由此得到第为了使目标函数在搜索方向上获得最多的下降，沿k个跌带点，即X?X?t?f(X)，kk1k?k t按下式确定其中步长因子k f(X?t?f(X))?minf(X?t?f(X))，kkkkkk X?ls(X,??f(X)). （ 1）k1k?k X X,XX,, ,,?k0,12是初始点，由计算就可以得到一个点列,显然，令其中0210{X}f)X(X)(f 的满足一定的条件时，由式（）所产生的点列必收敛于者任意选定。

当1k极小点。

二、最速下降法的基本思想和迭代步骤???,)(Xf(X)g. ，终止限已知目标函数及其梯度和321Xf?f(X),g?g(X)k?0.，计算；置（1）选定初始点00000X?ls(X,?g)f?f(X),g?g(X). （2）作直线搜索：；计算k?1kk1?k1k?kk?1?1(X,f(X))k?k?1，置，结束；用终止准则检验是否满足：若满足，则打印最优解否则，1k?1?k转（2）（3）最速下降法算法流程图如图所示.X结束三、最速下降法的matlab实现function [x,n]=twostep(A,b,x0,eps,varargin) %两步迭代法求线性方程组Ax=b的解if nargin==3eps= 1.0e-6;M = 200;elseif nargin<3errorreturnelseif nargin ==5M = varargin{1};endD=diag(diag(A)); %求A的对角矩阵L=-tril(A,-1); %求A的下三角阵U=-triu(A,1); %求A的上三角阵B1=(D-L)\U;B2=(D-U)\L;f1=(D-L)\b;f2=(D-U)\b;x12=B1*x0+f1;x =B2*x12+f2;n=1; %迭代次数while norm(x-x0)>=epsx0 =x;x12=B1*x0+f1;x =B2*x12+f2;n=n+1;if(n>=M)'); 迭代次数太多，可能不收敛！ disp('Warning: return;endend的解最速下降法求线性方程组Ax=bfunction [x,n]= fastdown(A,b,x0,eps) %if(nargin == 3)eps = 1.0e-6;endx=x0;n=0;tol=1;以下过程 % while(tol>eps)可参考算法流程 r = b-A*x0;d = dot(r,r)/dot(A*r,r);x = x0+d*r;tol = norm(x-x0);x0 = x;n = n + 1;end四、最速下降法的算例实现A=[5 2 0;6 4 1;1 2 5];b=[10 18 -14]';eps=1.0e-6;x =-0.87507.1875-5.5000 k =60。

最速下降法+Matlab代码算法原理to-doMatlab代码clc; clear;f = @(x) x(1).^2+2*x(1)*x(2)+3*x(2).^2; %待求函数，x1,x2,x3...% f = @(x) x(1).^2+2*x(2).^2;paraNum = 2; %函数参数的个数，x1,x2,x3...的个数x0 = [3,3]; %初始值tol = 1e-5; %迭代容忍度flag = inf; %结束条件error = []; %函数变化while flag > tolp = g(f,x0,paraNum); %列向量f2 = @(a) f(x0-a*p');buChang = argmin(f2); %求步长，line search：argmin functionx1 = x0-buChang*p';flag = norm(x1-x0);error = [error,flag];x0 = x1;endplot(0:length(error)-1,error)function [f_grad] = g(f,x0,paraNum)temp = sym('x',[1,paraNum]);f1=f(temp);Z = gradient(f1);f_grad = double(subs(Z,temp,x0));endfunction [x] = argmin(f)%求步长t = 0;options = optimset('Display','off');[x,~] = fminunc(f,t,options);end代码问题1. Matlab符号运算，耗时2. 最速下降法的步长使⽤line-search，耗时代码改进clc; clear;f = @(x) x(1).^2+2*x(1)*x(2)+3*x(2).^2; %待求函数，x1,x2,x3...% f = @(x) x(1).^2+2*x(2).^2;paraNum = 2; %函数参数的个数，x1,x2,x3...的个数x0 = [3,3]; %初始值tol = 1e-3; %迭代容忍度flag = inf; %结束条件error = []; %函数变化while flag > tol% for i =1:1p = g(f,x0,paraNum); %列向量if norm(p) < tolbuChang = 0;elsebuChang = argmin(f,x0,p,paraNum); %求步长，line search：argmin functionendx1 = x0-buChang.*p';flag = norm(x1-x0);error = [error,flag];x0 = x1;endplot(0:length(error)-1,error)function [f_grad] = g(f,x0,paraNum)temp = sym('x',[1,paraNum]);f1=f(temp);Z = gradient(f1);f_grad = double(subs(Z,temp,x0)); end% function [x] = argmin(f,paraNum) % %求步长% t = zeros(1,paraNum);% options = optimset('Display','off'); % [x,~] = fminunc(f,t,options);% endfunction [x] = argmin(f,x0,p,num) % 求步长% for i=1:paraNum% syms(['x',num2str(i)]);% endtemp = sym('x',[1,num]);f1=f(x0 - temp.*p');for i = 1:numtemp(i) = diff(f1,temp(i));endjieGuo = solve(temp);jieGuo = struct2cell(jieGuo);x = zeros(1,num);for i = 1:numx(i) = double(jieGuo{i});endend。

西安电子科技大学课程论文数学软件与实验最速下降法求最优解姓名：方正阳学号：07117020班级：07117107112016、最速下降法求最优解1 2 n，然后MATLAB 结课大作业摘要：最速下降法,又称为梯度法，是一种重要的无约束最优化方法。

它是 1847年由著名数学家 Cauchy 给出的，其他解析方法或是它的变形，或是受它 启发而得到，因此它是最优化方法的基础。

该法将 n 维问题转化为一系列 不断迭代过程中沿负梯度方向用一维搜索方法寻优的问题，本次程序设计 利用最速下降法算法，反复迭代，最终收敛于局部最优点，即为解出的二 元函数的无约束非线性规划问题 minf(x,y)。

引言：最优化理论作为运筹学中的一个重要理论方法，在工业生产,金融经济活 动,工商管理,国防建设,计算机应用中，都有着重要的应用。

最优化理论 通过给出生产活动中的各类实际问题的数学模型，通过最优化方法，寻求 该问题的最优解或满意解。

最速下降算法是最优化理论中常见的一个重要 算法，理论证明：最速下降算法在一定条件下是收敛的，它能够有效地求 解一部分无约束最优化问题。

一、 实验目的熟悉最速下降法算法思想和步骤，用 MATLAB 语言编程最速下降法 求最优值。

二、 实验要求在最优化计算方法中，要求解 y = f (x 1, x 2 , , x n ) 的局部最小值，可以采用如下的方法进行迭代计算：先给出初始点 x 0 = (x 0 , x 0 , , x 0)根据其梯度方向 ∇f (x 0)，计算一元函数 y (λ1 ) = min f (x λ≥0 0-λ⋅∇f (x 0 )) ，并1 0 0得到x = x -λ1 ⋅∇f (x ) 。

如此反复迭代，最终收敛于局部最优点。

实现 该算法，求 的最优值，a,b,c,d 自定（非 0）三、 实验假设考虑到参数的随机性、代表性，验证程序的正确性、典型性，在此 我们从两个角度出发，一是在 abcd 值确定的情况下改变初始搜索位置 x0,看函数最优解是否相同；二是初始搜索位置 x0 相同，abcd 值不同的 情况下，看函数最优解是否相同。

数学软件与实验结课作业------最速下降法班级：071111学号：07111008 07111012 07111057姓名：李咏邹仁朋宋郝开摘要最速下降法又称梯度法，早先求解无约束多元函数极值的数值方法，是1847年由著名数学家Cauchy给出的，它是解析法中最古老的一种，是最优化方法的基础。

它工作量较少，且储存变量不多，初始点要求也不高，但效率不高。

最速下降法多用来解觉n元函数的无约束非线性规划问题。

利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小，从而最终找到最优解。

最速下降法的基本思想是：从当前点x k出发，取函数f(x)在点x k 处下降最快的方向作为我们的搜索方向p k，由f(x)的Taylor 展式知(x k) - f (x k +t p k) = -tÑf (x k)T p k+ o‖( t p k‖)，略去t的高阶无穷小项不计，可见取p k= -Ñf (x k)时，函数值下降得最多。

从而，构造出最速下降法的迭代步骤求解。

最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。

g（k）是x(k)的梯度。

一、问题描述求解最优化问题是通常采用两种方法：1.解析解法——利用函数的导数构造迭代公式使之收敛到极值点的方法；2.直接解法——根据数学原理，用尽可能少的计算量直接比较函数值的大小，来确定函数极值的方法。

在最优化计算方法中，要求解12(,,,)n y f x x x = 的局部最小值，选用解析解法，采用如下的方法进行迭代计算：先给出初始点000012(,,,)n x x x =x ，然后根据其梯 度方向0()f ∇x ，计算一元函数0010()min (())y f f λλλ≥=-⋅∇x x ，并得到1001()f λ=-⋅∇x x x 。

如此反复迭代，最终收敛于局部最优点。

实现该算法。

优化方法上机大作业学院：姓名：学号：指导老师：肖现涛第一题源程序如下：function zy_x = di1ti(x)%di1ti是用来求解优化作业第一题的函数。

x0=x; yimuxulong=0.000001;g0=g(x0);s0=-g0;A=2*ones(100,100);k=0;while k<100lanmed=-(g0)'*s0/(s0'*A*s0);x=x0+lanmed*s0;g=g(x);k=k+1;if norm(g)<yimuxulongzy_x=x;fprintf('After %d iterations,obtain the optimal solution.\n \n The optimal solution is \n %f.\n\nThe optimal "x" is "ans".',k,f(x) )break;endmiu=norm(g)^2/norm(g0)^2;s=-g+miu*s0;g0=g; s0=s;x0=x;endfunction f=f(x)f=(x'*ones(100,1))^2-x'*ones(100,1);function g=g(x)g=(2*x'*ones(100,1))*ones(100,1)-ones(100,1);代入x0,运行结果如下：>> x=zeros(100,1);>> di1ti(x)After 1 iterations,obtain the optimal solution.The optimal solution is-0.250000.The optimal "x" is "ans".ans =0.005*ones(100,1).第二题1.最速下降法。

最速下降法matlab程序最速下降法是一种求解无约束优化问题的基本方法，也是许多优化算法的基础。

本文将介绍最速下降法的基本思想和matlab程序实现。

一、最速下降法的基本思想最速下降法是一种基于梯度下降的优化算法。

其基本思想是在每一步中选择下降方向为当前点的负梯度方向，即$f(x)$在当前点$x_k$处的梯度$g_k$的相反方向，使得目标函数值不断下降，直到达到最小值。

具体来说，最速下降法的迭代公式为：$$x_{k+1} = x_k - alpha_k g_k$$其中，$x_k$为当前点，$g_k$为$f(x)$在$x_k$处的梯度，$alpha_k$为步长，也称为学习率，表示每次迭代时沿着负梯度方向移动的距离。

最速下降法的核心是选择合适的步长$alpha_k$，以保证每次迭代都能够使目标函数值下降。

通常可以使用线性搜索或二分法等方法来确定步长。

二、最速下降法的matlab程序实现在matlab中，可以使用以下程序实现最速下降法：```matlabfunction [x, fval, iter] = steepest_descent(f, gradf, x0, tol, maxiter)% 最速下降法% f: 目标函数% gradf: 目标函数的梯度% x0: 初始点% tol: 迭代停止条件% maxiter: 最大迭代次数x = x0;fval = f(x);iter = 0;while norm(gradf(x)) > tol && iter < maxiterd = -gradf(x);alpha = backtracking_line_search(f, gradf, x, d, 1); x = x + alpha * d;fval = f(x);iter = iter + 1;endendfunction alpha = backtracking_line_search(f, gradf, x, d, alpha0)% 回溯线搜索% f: 目标函数% gradf: 目标函数的梯度% x: 当前点% d: 搜索方向% alpha0: 初始步长rho = 0.5;c = 0.1;alpha = alpha0;while f(x + alpha * d) > f(x) + c * alpha * gradf(x)' * dalpha = rho * alpha;endend```其中，`steepest_descent`函数实现了最速下降法的迭代过程，`backtracking_line_search`函数实现了回溯线搜索来确定步长。

欧阳学文信息融合大作业——维纳最速下降法滤波器，卡尔曼滤波器设计及Matlab仿真时间：126专业：信息工程班级：09030702学号：302171姓名：马志强1.滤波问题浅谈估计器或滤波器这一术语通常用来称呼一个系统，设计这样的系统是为了从含有噪声的数据中提取人们感兴趣的，接近规定质量的信息。

由于这样一个宽目标，估计理论应用于诸如通信、雷达、声纳、导航、地震学、生物医学工程、金融工程等众多不同的领域。

例如，考虑一个数字通信系统，其基本形式由发射机、信道和接收机连接组成。

发射机的作用是把数字源(例如计算机)产生的0、1符号序列组成的消息信号变换成为适合于信道上传送的波形。

而由于符号间干扰和噪声的存在，信道输出端收到的信号是含有噪声的或失真的发送信号。

接收机的作用是，操作接收信号并把原消息信号的一个可靠估值传递给系统输出端的某个用户。

随着通信系统复杂度的提高，对原消息信号的还原成为通信系统中最为重要的环节，而噪声是接收端需要排除的最主要的干扰，人们也设计出了针对各种不同条件应用的滤波器，其中最速下降算法是一种古老的最优化技术，而卡尔曼滤波器随着应用条件的精简成为了普适性的高效滤波器。

2．维纳最速下降算法滤波器2.1 最速下降算法的基本思想考虑一个代价函数，它是某个未知向量的连续可微分函数。

函数将的元素映射为实数。

这里，我们要寻找一个最优解。

使它满足如下条件(2.1)这也是无约束最优化的数学表示。

特别适合于自适应滤波的一类无约束最优化算法基于局部迭代下降的算法：从某一初始猜想出发，产生一系列权向量，使得代价函数在算法的每一次迭代都是下降的，即其中是权向量的过去值，而是其更新值。

我们希望算法最终收敛到最优值。

迭代下降的一种简单形式是最速下降法，该方法是沿最速下降方向连续调整权向量。

为方便起见，我们将梯度向量表示为(2.2)因此，最速下降法可以表示为(2.3)其中代表进程，是正常数，称为步长参数，1/2因子的引入是为了数学上处理方便。