西安电子科技大学课程论文数学软件与实验最速下降法求最优解
姓名：方正阳
学号：
07117020
班级：071171
07112016、最速下降法求最优解
1 2 n
，然后
MATLAB 结课大作业
摘要：最速下降法,又称为梯度法，是一种重要的无约束最优化方法。它是 1847
年由著名数学家 Cauchy 给出的，其他解析方法或是它的变形，或是受它 启发而得到，因此它是最优化方法的基础。该法将 n 维问题转化为一系列 不断迭代过程中沿负梯度方向用一维搜索方法寻优的问题，本次程序设计 利用最速下降法算法，反复迭代，最终收敛于局部最优点，即为解出的二 元函数的无约束非线性规划问题 minf(x,y)。
引言：最优化理论作为运筹学中的一个重要理论方法，在工业生产,金融经济活 动,工商管理,国防建设,计算机应用中，都有着重要的应用。最优化理论 通过给出生产活动中的各类实际问题的数学模型，通过最优化方法，寻求 该问题的最优解或满意解。最速下降算法是最优化理论中常见的一个重要 算法，理论证明：最速下降算法在一定条件下是收敛的，它能够有效地求 解一部分无约束最优化问题。
一、 实验目的
熟悉最速下降法算法思想和步骤，用 MATLAB 语言编程最速下降法 求最优值。
二、 实验要求
在最优化计算方法中，要求解 y = f (x 1, x 2 , , x n ) 的局部最小值，
可
以采用如下的方法进行迭代计算：先给出初始点 x 0 = (x 0 , x 0 , , x 0
)
根据其梯度方向 ?f (x 0
)
，计算一元函数 y (λ1 ) = min f (x λ≥0 0
-λ??f (x 0 )) ，并
1 0 0
得到
x = x -λ1 ??f (x ) 。如此反复迭代，最终收敛于局部最优点。 实现 该算法，求 的最优值，a,b,c,d 自定（非 0）
三、 实验假设
考虑到参数的随机性、代表性，验证程序的正确性、典型性，在此 我们从两个角度出发，一是在 abcd 值确定的情况下改变初始搜索位置 x0,看函数最优解是否相同；二是初始搜索位置 x0 相同，abcd 值不同的 情况下，看函数最优解是否相同。
1. 不妨令 a,b,c,d 分别为 1,2,3,4，即
f ( x , y ) = ( x -1)2
+ 3( y - 2)2
+ 3xy + 4
求其梯度函数（代码行间距已缩小）
07112016、最速下降法求最优解>> clear
>> syms x y
>> f=inline('[(x-1).^2+3*(y-2).^2+3*x*y+4]','x','y')
f =
Inline function:
f(x,y) = [(x-1).^2+3*(y-2).^2+3*x*y+4]
>> grad=[diff(f(x,y),x),diff(f(x,y),y)]
grad =
[ 2*x + 3*y - 2, 3*x + 6*y - 12]
2. 令a,b,c,d 分别为4,3,2,1，即
f ( x, y ) = ( x- 4)2 + 3( y - 3)2 + 2xy +1
求其梯度函数（代码行间距已缩小）
>> clear
>> syms x y
>> f=inline('[(x-4).^2+3*(y-3).^2+2*x*y+1]','x','y');
>> grad=[diff(f(x,y),x),diff(f(x,y),y)]
grad =
[ 2*x + 2*y - 8, 2*x + 6*y - 18]
四、程序设计
1. 无约束问题的最优性条件
原理1：设f : R n → R1 在点x ∈ R n 处可微。若存在p ∈ R n ，使?f (x)T p < 0 ，则向量P 是f 在点x 处的下降方向。
原理2：设f : R n → R1 在点x* ∈ R n 处可微。若x* 是无约束问题的局部最优解，则?f (x* ) = 0 ，由数学分析中我们已经知道，使?f (x) = 0
的点x 为函数f 的驻点或平稳点。函数f 的一个驻点可以是极小
点；也可以是极大点；甚至也可能既不是极小点也不是极大点，
此时称它为函数f 的鞍点。以上定理告诉我们，x是无约束问题
的的局部最优解的必要条件是：x 是其目标函数f 的驻点。原理3：设f : R n → R1 在点x* ∈ R n 处的Hesse 矩阵?2 f (x* ) 存在。若?f (x* ) = 0 ，并且?2 f (x* ) 正定，则x* 是无约束问题的严格局部
最优解。一般而言，无约束问题的目标函数的驻点不一定是无
约束问题的最优解。但对于其目标函数是凸函数的无约束凸规
划，下面定理证明了，它的目标函数的驻点就是它的整体最优
解。
原理4 ：设f : R n → R1 ，x* ∈ R n ，f 是R n 上的可维凸函数。若有?f (x* ) = 0 ，则x* 是无约束问题的整体最优解。 2.最速下降法算法思想
○1 任一点的负梯度方向是函数值在该点下降最快的方向；
○2 将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题；
○3 极值点导数性质知，该点梯度=0，终止条件也就是梯度尽可能逼近0，
，f (a) 即当搜寻区间非常逼近极值点时，?f (a) → 0 ? f (a) → f ( x)
极值即为所求。 3.最速下降
法算法迭代步骤
第1 步选取初始点x0，给定终止误差ε<0,令k=0;
第2 步计算?f (x k ) , 若|| ?f(x k ) ||≤ε，停止迭代.输出x k ，否则进行第
3 步；
第3 步取搜索方向p k =??f(x k ) ；
k
第 4 步 进行一维搜索，求 t k ，使得 f ( x + t p ) = min f ( x + tp )，
k k k k
k
t ≥0
x k +1 = x k + t p k
k=k+1, 转至第 2 步；
由以上计算步骤可知，最速下降法迭代终止时，求得的是目
标函数驻点的一个近似点
4.确定最优步长 t k
此时的 f (
x k - t ?f ( x k ))
已成为步长 t 的一元函数，故可用任何一种
一维寻优法，此程序中采用线性搜索法求出 t k
即
f (x k +1
)= f (x k - t k ?f (x k ))= min t
f (x k - t ?f (x k ))
5.主要的参数说明
grad:梯度函数； x0：搜索初始值； TolX:最优值点间的误差阈值； TolFun:函数的误差阈值； dist0:初始步长； MaxIter:最大的迭代次数； xo ：最优化点值； fo:函数在点 xo 处的函数值。
%%迭代计算求最优解确定搜寻方向代码： for k=1:MaxIter g=feval(grad,X); g=g/norm(g); %求点 x 处的梯度 %%线性搜索方法确定步长的部分代码： dist=dist*2;
fx1=feval(f,X-dist*2*g); for k1=1:kmax1 fx2=fx1;
fx1=feval(f,X-dist*g);
iffx0>fx1+TolFun && fx1 den=4*fx1-2*fx0-2*fx2;num=den-fx0+fx2; %二次逼近法 dist=dist*num/den; X=X-dist*g;fx=feval(f,X); %确定下一点 注：在此为了简便，判断输入的变量数，设定一些变量为默认值(用户可自 己定义)，不妨设为 TolX=1e-4；TolFun=1e-9；MaxIter=100；dist0=1; 五、 测试结果 实验结果一、a,b,c,d 分别为 1,2,3,4；x0=[2,4] 实验结果二、a,b,c,d 分别为1,2,3,4；x0=[1,1] 实验结果三、a,b,c,d 分别为4,3,2,1；x0=[2,4] 实验结果四、a,b,c,d 分别为4,3,2,1；x0=[1,1] 六、结果评价 本次测试分别从两组不同的初始搜索位置，两组不同a,b,c,d 值出发，两两比较可得结论：测试用例 abcd 为某些特定值时，不同初始搜索位置可以得到相同的最优解；测试用例当初搜索位置相同时，abcd 分别取两组数时得到的最优解是不同的。从结果上来看本例函数始终取到相同最优值，达到了题目要求，只是在最优点位置有略微差异，这个问题产生原因是与最优值点间的误差阈值自定义值有关，精度越高最优值越准确。 七、程序评价 1. 最速下降法算法简单，初始点可以任意选，每次迭代计算量小，即使从 一个不好的初始点出发，往往也能收敛到局部极小点。 2. 由于在远离极小点的地方每次迭代可以使目标函数值有较大的下降，但 是在接近极小点的地方，由于锯齿现象，会导致每次行进距离缩短，从 而使收敛速度不快。即全局收敛，线性收敛，易产生扭摆现象而造成早 停。 3. 最速下降法是一种理想的极小化方法。必须指出的是，某点的负梯度方 向，通常只是在该店附近才具有这种最速下降的性质。 4. 在实用中常将最速下降法和其他方法联合应用，在前期使用最速下降法， 而在接近极小点时，可改用收敛较快的其他方法，这样能使计算速度更 快，结果更准确。 八、心得体会 通过这次结课大作业，加深了我对MATLAB 记忆和理解，真正做到了理论和实践相结合，锻炼了自己分析，处理实际问题的能力，也认识到了自己的不足。编程存在问题很大，主要细节错误找不出，M 文件的编写后调用运用的不好，也让我认识到编写好M 文件的重要性。在以后的学习中，要注重细节和改错，多上机操作，切实提高编程能力。 九、附录 fun.m 文件 function [xo,fo]=fun(f,grad,x0)%f:函数名； %grad:梯度函数； %x0：搜索初始值； %TolX:最优值点间的误差阈值； %TolFun:函数的误差阈值； %dist0:初始步长； %MaxIter:最大的迭代次数； %xo：最优化点值； %fo:函数在点xo 处的函数值。 %%%%%% 判断输入的变量数，设定一些变量为默认值 TolX=1e-4; TolFun=1e-9; MaxIter=100; dist0=1; if nargin<7 MaxIter=100; %最大的迭代次数默认为10 end if nargin<6 dist0=10; %初始步长默认为10 end if nargin<5 TolFun=1e-8; %函数值误差为1e-8 end if nargin<4 TolX=1e-6; %自变量距离误差 end x=x0; fx0=feval(f,x0); fx=fx0; dist=dist0; kmax1=25; %线性搜索法确定步长的最大搜索次数warning=0; %%%%%迭代计算求最优解 for k=1:MaxIter g=feval(grad,x); g=g/norm(g); %求点x 处的梯度 %%线性搜索方法确定步长 dist=dist*2; fx1=feval(f,x-dist*2*g); for k1=1:kmax1 fx2=fx1; fx1=feval(f,x-dist*g); if fx0>fx1+TolFun && fx1 x=x-dist*g;fx=feval(f,x); %确定下一点 break else dist=dist/2; end end if k1>=kmax1 warning=warning+1;%无法确 定最优步长 else warning=0; end if warning>=2||(norm(x-x0) end x0=x; fx0=fx; end xo=x;fo=fx; if k==MaxIter fprintf('Just best in %d iteration',MaxIter); end 命令窗口输入：以测试结果一为例 >> syms x y >> x0=[2,4];%初始搜索位置 >> f=inline('[(x(1)-4).^2+3*(x(2)-3).^2+2*x(1)*x(2)+1]','x'); >> %位置（x,y）用一元二维x=(x(1),x(2))来表示 >> grad= inline('[2*x(1)+3*x(2)-2,3*x(1)+6*x(2)-12]','x'); >> %函数f 在位置x 的梯度 >> [xo,fo]=fun(f,grad,x0) function iteration A=[10,1,2,3,4; 1,9,-1,2,-3; 2,-1,7,3,-5; 3,2,3,12,-1; 4,-3,-5,-1,15]; b=[12,-27,14,-17,12]'; x0=[0,0,0,0,0]'; tol=1e-12; disp('jacobi迭代法的结果和次数如下:') [x,k]=Fjacobi(A,b,x0,tol) disp('G-S迭代法的结果和次数如下:':') [x,k]=Fgseid(A,b,x0,tol) disp('超松弛的结果和次数如下:':') [x,k]=Fsor(A,b,x0,1.2,tol) disp('共轭梯度法的结果和次数如下:':') [x,k]=Fcg(A,b,x0,tol) %jacobi迭代法 function [x,k]=Fjacobi(A,b,x0,tol) max=300; D=diag(diag(A)); L=-tril(A,-1); U=-triu(A,1); B=D\(L+U); f=D\b; x=B*x0+f; k=1; while norm(x-x0)>=tol x0=x; x=B*x0+f; k=k+1; if(k>=max) disp('μü′ú3?1y300′?￡?·?3ì×é?é?ü2?ê?á2'); return; end end %G-S迭代法 function [x,k]=Fgseid(A,b,x0,tol) max=300; D=diag(diag(A)); L=-tril(A,-1); U=-triu(A,1); G=(D-L)\U; f=(D-L)\b; x=G*x0+f; k=1; while norm(x-x0)>=tol x0=x; x=G*x0+f; k=k+1; if(k>=max) disp('μü′ú3?1y300′?￡?·?3ì×é?é?ü2?ê?á2'); return; end 解线性方程组的迭代法 1.rs里查森迭代法求线性方程组Ax=b的解 function[x,n]=rs(A,b,x0,eps,M) if(nargin==3) eps=1.0e-6;%eps表示迭代精度 M=10000;%M表示迭代步数的限制值elseif(nargin==4) M=10000; end I=eye(size(A)); n=0; x=x0; tol=1; %迭代过程 while(tol>eps) x=(I-A)*x0+b; n=n+1;%n为最终求出解时的迭代步数tol=norm(x-x0); x0=x; if(n>=M) disp('Warning:迭代次数太多，可能不收敛！'); return; end end 2.crs里查森参数迭代法求线性方程组Ax=b的解 function[x,n]=crs(A,b,x0,w,eps,M) if(nargin==4) eps=1.0e-6;%eps表示迭代精度 M=10000;%M表示迭代步数的限制值 elseif(nargin==5) M=10000; end I=eye(size(A)); n=0; x=x0; tol=1; %迭代过程 while(tol>eps) x=(I-w*A)*x0+w*b; n=n+1;%n为最终求出解时的迭代步数tol=norm(x-x0); x0=x; if(n>=M) disp('Warning:迭代次数太多，可能不收敛！'); return; end end 3.grs里查森迭代法求线性方程组Ax=b的解 function[x,n]=grs(A,b,x0,W,eps,M) if(nargin==4) eps=1.0e-6;%eps表示迭代精度 M=10000;%M表示迭代步数的限制值 elseif(nargin==5) M=10000; end I=eye(size(A)); n=0; x=x0; tol=1;%前后两次迭代结果误差 %迭代过程 while(tol>eps) x=(I-W*A)*x0+W*b;%迭代公式 n=n+1;%n为最终求出解时的迭代步数tol=norm(x-x0); x0=x; if(n>=M) disp('Warning:迭代次数太多，可能不收敛！'); return; end end 4.jacobi雅可比迭代法求线性方程组Ax=b的解 function[x,n]=jacobi(A,b,x0,eps,varargin) if nargin==3 eps=1.0e-6; M=200; elseif nargin<3 error return elseif nargin==5 M=varargin{1}; end D=diag(diag(A));%求A的对角矩阵 L=-tril(A,-1);%求A的下三角阵 《MATLAB 程序设计实践》课程考核 实践一、编程实现以下科学计算法，并举一例应用之。（参考书籍《精通MATLAB 科学计算》，王正林等著，电子工业出版社，2009年） “最速下降法无约束最优化” 最速下降法： 解： 算法说明：最速下降法是一种沿着N 维目标函数的负梯度方向搜索最小值的方法。 原理：由高等数学知识知道任一点的负梯度方向是函数值在该点下降最快的方向，那么利用负梯度作为极值搜索方向，达到搜寻区间最速下降的目的。而极值点导数性质，知道该点的梯度=0，故而其终止条件也就是梯度逼近于0，也就是当搜寻区间非常逼近极值点时，即：当▽f(a ）→0推出f(a ）→极值）（x f ，f(a ）即为所求。该方法是一种局部极值搜寻方法。 函数的负梯度表示如下： -g(x ）=-▽f(x)=-?????1 )(x x f 2)(x x f ?? … T N x x f ?????)( 搜索步长可调整，通常记为αk （第k 次迭代中的步长）。该算法利用一维的线性搜索方法，如二次逼近法，沿着负梯度方向不断搜索函数的较小值，从而找到最优解。 方法特点（1）初始值可任选，每次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。（2）任意相邻两点的搜索方向是正交的，它的迭代路径胃绕道逼近极小点。当迭代点接近极小点时，步长变得很小，越走越慢。（3）全局收敛，线性收敛，易产生扭摆现象而造成早停。 算法步骤：最速下降法的基本求解流程如下： 第一步 迭代次数初始化为k=0，求出初始点0x 的函数值f 0=f （0x ）。 第二步 迭代次数加1，即k=k+1，用一维线性搜索方法确定沿负梯度方向-1-k g 的步长1k -α，其中1k -α=ArgMinaf （111k /----k k g g x α）。 第三步 沿着负梯度方向寻找下一个接近最小值的点，其中步长为1k -α，得到下一点的坐标为：1111/-----=k k k k k g g x x α。 最速下降法Matlab实现 实验目的： 1.掌握迭代法求解无约束最优化问题的基本思想 2.通过实验掌握最速下降法的Matlab算法的基本步骤 实验内容： 1.迭代法求解无约束最优化问题的基本思想 给定一个初始点x(0), 按照某一迭代规则产生一个迭代序列{x(k)}. 使得若该序列是有限的, 则最后一个点就是原问题的极小点; 否则, 若序列{x(k)} 是无穷点列时, 它有极限点且这个极限点即为原问题的极小点. 设x(k) 为第k 次迭代点, d(k) 为第k 次搜索方向, a(k)为第k 次步长因子, 则第k 次迭代完成后可得到新一轮(第k + 1 次) 的迭代点 x(k+1) = x(k) + a(k) d(k). 2.无约束优化问题迭代算法的一般框架 步0 给定初始化参数及初始迭代点x(0). 置k := 0. 步1 若x(k) 满足某种终止准则, 停止迭代, 以x(k) 作为近似极小点. 步2 通过求解x(k) 处的某个子问题确定下降方向d(k). 步3 通过某种搜索方式确定步长因子a(k), 使得f(x(k) + a(k) d(k)) < f(x(k)). 步4 令x(k+1) := x(k) + a(k) d(k), k := k + 1, 转步1. 3. 最速下降法的基本步骤 步0 选取初始点x(0) ∈R^n, 容许误差0 ≤e ?1. 令k := 1. 步1 计算g(k) = ?f(x(k)). 若‖g(k)‖≤e, 停算, 输出x(k)作为近似最优解. 步2 取方向d(k)= ?g(k). 步3 由线搜索技术确定步长因子a(k),即 min f(a(k))=f(x(k)+a(k)d(k)). 步4 令x(k+1) := x(k) + a(k)d(k)), k := k + 1, 转步1. 要求： 下面分别使用雅克比迭代法和高斯-赛德尔迭代法求一个方程组的近似解用的线性方程组是按实验要求给的： 7*x1+x2+2*x3=10 x1+8*x2+2*x3=8 2*x1+2*x2+9*x3=6 雅克比迭代法的matlab代码：（老师写的） A=[7,1,2;1,8,2;2,2,9]; b=[10;8;6]; if(any(diag(A))==0) error('error,pause') end eps=input('误差限eps='); N=input('迭代次数N='); D=diag(diag(A)); B=inv(D)*(D-A); f=inv(D)*b; K=0; x0=zeros(size(b)); while 1 x1=B*x0+f K=K+1; fprintf('第-次迭代的近似解为',K) disp(x1'); if norm(x1-x0,inf) A=[7,1,2;1,8,2;2,2,9]; b=[10;8;6]; if(all(diag(A))==0) error('error,pause') end eps=input('误差限eps='); N=input('迭代次数N='); D=diag(diag(A)); B=inv(D)*(D-A); f=inv(D)*b; K=0; x0=zeros(size(b)); x00=x0; while 1 x11=B*x0+f; x00(1,1)=x11(1,1); x12=B*x00+f; x00(2,1)=x12(2,1); x13=B*x00+f; x00(3,1)=x13(3,1); x1=x00 K=K+1; fprintf('第-次迭代的近似解为',K) disp(x1'); if norm(x1-x0,inf) disp('划分为M*M个正方形') M=5 %每行的方格数，改变M可以方便地改变剖分的点数 u=zeros(M+1);%得到一个（M+1）*（M+1）的矩阵 disp('对每个剖分点赋初值，因为迭代次数很高，所以如何赋初值并不重要，故采用对列线性赋值。') disp('对边界内的点赋初值并使用边界条件对边界赋值：') for j=1:M-1 for i=1:M-1 u(i+1,j+1)=100*sin(pi/M*j)/M*(M-i);%对矩阵（即每个刨分点）赋初值 end end for i=1:M+1 u(1,i)=100*sin(pi*(i-1)/M);%使用边界条件对边界赋值 u(1,M+1)=0; end u tic %获取运行时间的起点 disp('迭代次数为N') N=6 %迭代次数，改变N可以方便地改变迭代次数 disp('n为当前迭代次数，u为当前值，结果如下：') for n=1:N for p=2:M i=M+2-p; for j=2:M u(i,j)=0.25*(u(i,j-1)+u(i+1,j)+u(i-1,j)+u(i,j+1));%赛德尔迭代法 end end n %输出n u %输出u end disp('所用的时间：') t=toc %获取算法运行需要的时间 [x,y]=meshgrid(0:1/M:1,0:1/M:1); z=u(1,:); for a=2:M+1 z=[z;u(a,:)];%获取最终迭代的结果，幅值给z，z的值代表该点的点位值 end mesh(x,y,z)%绘制三维视图以便清楚地显示结果 mesh(x,y,z,'FaceColor','white','EdgeColor','black') %绘制三维视图以便清楚地显示结果 一、实验目的及题目 1.1 实验目的： （1）学会用高斯列主元消去法，LU 分解法，Jacobi 迭代法和Gauss-Seidel 迭代法解线性方程组。 （2）学会用Matlab 编写各种方法求解线性方程组的程序。 1.2 实验题目： 1. 用列主元消去法解方程组： 1241234 123412343421233234x x x x x x x x x x x x x x x ++=??+-+=??--+=-??-++-=? 2. 用LU 分解法解方程组,Ax b =其中 4824012242412120620266216A --?? ?- ?= ? ?-??，4422b ?? ? ?= ?- ?-?? 3. 分别用Jacobi 迭代法和Gauss-Seidel 迭代法求解方程组： 123234 1231234102118311210631125x x x x x x x x x x x x x -+=-??-+=-??-+=??-+-+ =? 二、实验原理、程序框图、程序代码等 2.1实验原理 2.1.1高斯列主元消去法的原理 Gauss 消去法的基本思想是一次用前面的方程消去后面的未知数，从而将方程组化为等价形式： 1111221122222n n n n nn n n b x b x b x g b x b x g b x g +++=??++=????= ? 这个过程就是消元，然后再回代就好了。具体过程如下： 对于1,2, ,1k n =-，若() 0,k kk a ≠依次计算 ()() (1)()()(1)()()/,,1, ,k k ik ik kk k k k ij ij ik kj k k k i i ik k m a a a a m a b b m b i j k n ++==-=-=+ 然后将其回代得到： ()() ()()()1/()/,1,2,,1 n n n n nn n k k k k k kj j kk j k x b a x b a x a k n n =+?=??=-=--? ? ∑ 以上是高斯消去。 但是高斯消去法在消元的过程中有可能会出现() 0k kk a =的情况，这时消元就无法进行了，即使主元数() 0,k kk a ≠但是很小时，其做除数，也会导致其他元素数量级的严重增长和舍入误差的扩散。因此，为了减少误差，每次消元选取系数矩阵的某列中绝对值最大的元素作为主元素。然后换行使之变到主元位置上，再进行销元计算。即高斯列主元消去法。 2.1.2直接三角分解法（LU 分解）的原理 先将矩阵A 直接分解为A LU =则求解方程组的问题就等价于求解两个三角形方程组。 直接利用矩阵乘法，得到矩阵的三角分解计算公式为： 1111111 11 1,1,2,,/,2,,,,,1,,,2,3, ()/,1,2, ,i i i i k kj kj km mj m k ik ik im mk kk m u a i n l a u i n u a l u j k k n k n l a l u u i k k n k n -=-===?? ==?? =-=+??=??=-=++≠?? ∑∑且 由上面的式子得到矩阵A 的LU 分解后，求解Ux=y 的计算公式为 11 111,2,3,/()/,1,2, ,1 i i i ij j j n n nn n i i ij j ii j i y b y b l y i n x y u x y u x u i n n -==+=??? =-=?? =??? =-=--?? ∑∑ 以上为LU 分解法。 第五题： 解：选择类型为： 2/13()x t y t x e x =+ 其中123,,x x x 是待求参数。根据最小二乘原理，参数123,,x x x 是下面优化问题的解。 []2 8 1231 m in (,,)()i i i f x x x y t y == -? 用最速下降法求解这一无约束的最优化问题。 zuiyouhua.m function sh=zuiyouhua(x0) % x0为初始猜测值 syms x y z a al; %====================================== t=[0.2,1,2,3,5,7,11,16]; r1=[5.05,8.88,11.63,12.93,14.15,14.73,15.30,15.60]; minf=0; for i=1:8 r(i)=x*exp(y/t(i))+z-r1(i); %构造最小二乘最优化的目标函数 minf=r(i)^2+minf; end %====================================== f1=diff(minf,x); f2=diff(minf,y); f3=diff(minf,z); %求目标函数的梯度 F=[f1,f2,f3]; %====================================== Fx1= -subs(F,{x,y,z},x0); Fx=Fx1/norm(Fx1); k=0; %====================================== %最速下降法核心迭代程序 while 1 x1=x0+a*Fx; P=subs(minf,{x,y,z},x1); xx1=xianxing(P); %调用线性搜索函数 al=huangjing(P,xx1); %调用黄金分割法函数； x0=x0+al*Fx; Fx1= -subs(F,{x,y,z},x0); Fx=Fx1/norm(Fx1); if norm(Fx1)<5e-4 sh=x0; return; end end %====================================== function xx=xianxing(Pa) %一维搜索法线性搜索函数 aa=findsym(Pa); a1=1; h=0.5; k=0; t1=2; while 1 a2=a1+h; Pa1=subs(Pa,aa,a1); Pa2=subs(Pa,aa,a2); if Pa2< Pa1 h=t1*h; a0=a1; a1=a2; k=k+1; if k>1000 disp('迭代步数太多，可能不收敛！'); end else if k==0 h=-h; a0=a2; else c1=min(a0,a2); d1=max(a0,a2); xx=[c1,d1]; return; end end end %====================================== function al1=huangjing(Pb,xx2) 迭代法最佳松弛因子的选取 一、问题提出: 针对矩阵430341014A ?? ??=-?? ??-?? ，b=[24;30;-24],用SOR 迭代求解。并选出最佳松弛 因子。理论分析 1.24ω==≈。做出()L ωρ关于ω函数 的图像。 二、理论基础 选取分裂矩阵M 为带参数的下三角矩阵)(1 wL D w M -=, 其中w>0为可选择的松弛因子. 于是,由 ?????+=+f Bx x x k k ) ()1()0() (初始向量 (k=0,1,…,)可构造一个迭代法,其迭代矩阵为A wL D w I L w 1)(---≡ =).)1(()(1wU D w wL D +--- 从而得到解Ax=b 的主次逐次超松弛迭代法. 解Ax=b 的SOR 方法为 ?????+=+f Bx x x k k ) ()1()0() (初始向量 (k=0,1,…,) (1) 其中 w L =).)1(()(1wU D w wL D +---（2） b wL D w f 1)(--= 下面给出解Ax=b 的SOR 迭代法的分量计算公式.记 ,),...,,...,() () () (1)(T k n k i k k x x x x = 由(1)式可得 ,))1(()()()1(wb x wU D w x wL D k k ++-==-+ ).()()()1()()1(k k k k k Dx Ux Lx b w Dx Dx -+++=++ （3） 由此,得到解Ax=b 的SOR 方法的计算公式 ?????????==--+==∑∑-==++.),1,0;,...,2,1(/)(,),...,(11) (1)()1()0()0(1)0(为松弛因子 w k n i a x a x a b w x x x x x ii i j n i j k j ij k j ij i k i k i T n (4) 或 ?? ?? ? ??????==--=??+==∑∑-==++.,...),1,0;,...,2,1()/(,,),...,(.11)()1() () 1()0()0(1)0(为松弛因子w k n i a x a x a b w x x x x x x x i j n i j ii k j ij k j ij i i i k i k i T n (5) ※ 若要求选取出最佳松弛因子，则有两种方法： ⑴、 给出w 的最佳范围，当取不同的w 值时，会求出不同的谱半径R 的值， 然后判断出值最小的谱半径。那么这个最小的谱半径所对应的w ，即为所求最佳松弛因子。 ⑵、 给出w 的最佳范围，当取不同的w 值时，由（2）式进行迭代，看它们在 相同精度范围内的迭代次数，找出迭代次数最低的那一个，其所应用的w 即为最佳松弛因子。 三、实验内容： 从表格中可以看出，迭代次数随着松弛因子的增长而呈现先减后增的趋势，当谱半径最小时，其迭代次数最小。则表示出谱半径最小时，其松弛因子为最佳松弛因子。 matlab 迭代法[精品] 1. 矩阵 122,211,，，，，,,,,A,111A,222, 11,,,,,,,,221,,112，，，， 证明:求解以为系数矩阵线性方程组的Jacobi迭代式收敛的，而A1 Gauss-Seidel方法是发散的;求解以为系数矩阵线性方程组的A2实验名称Gauss-Seidel是收敛的，而Jacobi方法是发散的. 2. 矩阵 1aa，，,,Aaa,1 ,,,,aa1，， (a) 参数取什么值时，矩阵是正定的. a (b) 取什么值时，求以为系数矩阵线性方程组的Jacobi迭代式收aa 敛的. 1、根据迭代收敛性的充分必要条件来判断Jacobi迭代式与Gauss-Seide 迭代式的收敛性，迭代收敛性仅与方程组系数矩阵有关，与右端无关;而且不依赖于初值的选取。实验目的 2、根据矩阵的判断定理求得矩阵元素a的取值，同时根据矩阵线性方程组的Jacobi迭代式收敛的充分条件(严格对角占优)来求a得取值。 1、(1)检验线性方程组的Jacobi迭代式的收敛性: function jacobi(A) D=zeros(3); for i=1:3 D(i,i)=A(i,i); 实验内容end (算法、程B=D^(-1)*(D-A); 序、步骤和k=max(abs(eig(B))) 方法) if k<1 '该线性方程组的Jacobi迭代式是收敛的' else k>=1 '该线性方程组的Jacobi迭代式是发散的' end (2)检验线性方程组的Gauss-Seide迭代式的收敛性: function Gauss(A) D=zeros(3); L=zeros(3); U=zeros(3); for i=1:3 D(i,i)=A(i,i); end L(2:3,1)=A(2:3,1); L(3,2)=A(3,2); U(1,2:3)=A(1,2:3); U(2,3)=A(2,3); B=-(D+L)^(-1)*U; k=max(abs(eig(B))) if k<1 '该线性方程组的Gauss-Seidel迭代式是收敛的' else k>=1 '该线性方程组的Gauss-Seidel迭代式是发散的' end 2、(1)参数取什么值时，矩阵是正定的.(矩阵的特征值全为正) a >> syms a >> A=[1 a a;a 1 a;a a 1]; >> eig(A) ans = 2*a+1 1-a matlab 迭代法代码 1、％用不动点迭代法求方程x-e A x+4=0的正根与负根，误差限是 10A-6% disp(' 不动点迭代法 '); n0=100; p0=-5; for i=1:n0 p=exp(p0)-4; if abs(p-p0)<=10(6) if p<0 disp('|p-p0|=') disp(abs(p-p0)) disp(' 不动点迭代法求得方程的负根为 :') disp(p); break; else disp(' 不动点迭代法无法求出方程的负根 .') end else p0=p; end end if i==n0 disp(n0) disp(' 次不动点迭代后无法求出方程的负根') end p1=1.7; for i=1:n0 pp=exp(p1)-4; if abs(pp-p1)<=10(6) if pp>0 disp('|p-p1|=') disp(abs(pp-p1)) disp(' 用不动点迭代法求得方程的正根为 ') disp(pp); else disp(' 用不动点迭代法无法求出方程的正根 '); end break; else p1=pp; end end if i==n0 disp(n0) disp(' 次不动点迭代后无法求出方程的正根 ') end 2、％用牛顿法求方程x-e A x+4=0的正根与负根，误差限是disp(' 牛顿法') n0=80; p0=1; for i=1:n0 p=p0-(p0-exp(p0)+4)/(1-exp(p0)); if abs(p-p0)<=10(6) disp('|p-p0|=') disp(abs(p-p0)) disp(' 用牛顿法求得方程的正根为 ') disp(p); break; else p0=p; end end if i==n0 disp(n0) disp(' 次牛顿迭代后无法求出方程的解 p1=-3; for i=1:n0 p=p1-(p1-exp(p1)+4)/(1-exp(p1)); 10A-6 ') end 牛顿法 迭代公式：(1)2()1()[()]()k k k k x x f x f x +-=-?? Matlab 代码： function [x1,k] =newton(x1,eps) hs=inline('(x-1)^4+y^2'); 写入函数 ezcontour(hs,[-10 10 -10 10]); 建立坐标系 hold on; 显示图像 syms x y 定义变量 f=(x-1)^4+y^2; 定义函数 grad1=jacobian(f,[x,y]); 求f 的一阶梯度 grad2=jacobian(grad1,[x,y]); 求f 的二阶梯度 k=0; 迭代初始值 while 1 循环 grad1z=subs(subs(grad1,x,x1(1)),y,x1(2)); 给f 一阶梯度赋初值 grad2z=subs(subs(grad2,x,x1(1)),y,x1(2)); 给f 二阶梯度赋初值 x2=x1-inv(grad2z)*(grad1z)'; 核心迭代公式 if norm(x1-x2) end end end 优点：在极小点附近收敛快 缺点：但是要计算目标函数的hesse 矩阵 最速下降法 1. ：选取初始点xo ，给定误差 2. 计算一阶梯度。若一阶梯度小于误差，停止迭代，输出 3. 取()()()k k p f x =? 4. 10 t ()(), 1.min k k k k k k k k k k t f x t p f x tp x x t p k k +≥+=+=+=+进行一维搜索，求，使得令转第二步 例题： 求min (x-2)^4+(x-2*y)^2.初始值（0,3）误差为0.1 (1)编写一个目标函数，存为f.m function z = f( x,y ) z=(x-2.0)^4+(x-2.0*y)^2; end (2)分别关于x 和y 求出一阶梯度，分别存为fx.m 和fy.m function z = fx( x,y ) z=2.0*x-4.0*y+4.0*(x-2.0)^3; end 和 function z = fy( x,y ) 实验四 姓名：木拉丁。尼则木丁班级：信计08-2 学号：20080803405 实验地点：新大机房 实验目的：通过本实验学习利用MATLAB不动点迭代法，抛物线法，斯特芬森迭代法解非线性方程组，及其编程实现，培养编程与上机调试能力。 实验要求：①上机前充分准备，复习有关内容，写出计算步骤，查对程序； ②完成实验后写出完整的实验报告，内容应该包括：所用的算法语言， 算法步骤陈述，变量说明，程序清单，输出计算结果，结果分析等等； ③用编好的程序在Ｍatlab环境中执行。 迭代法 MATLAB程序： function pwxff(f,x0,x1,x2,d,n) f=inline(f); x(1)=x0; x(2)=x1; x(3)=x2; w1=(f(x(2))-f(x(3)))/(x(2)-x(3)); t1=(f(x(1))-f(x(3)))/(x(1)-x(3)); t2=(f(x(1))-f(x(2)))/(x(1)-x(2)); w2=1/(x(1)-x(2))*(t1-t2); w=w1+w2*(x(3)-x(2)); for k=3:n x(k+1)=x(k)-2*f(x(k))/(w+sqrt(w^2-4*f(x(k))*w2)); if abs(x(k+1)-x(k)) 第六章线性方程组的迭代解法 2015年12月27日17:12 迭代法是目前求解大规模稀疏线性方程组的主要方法之一。包括定常迭代法和不定常迭代法，定常迭代法的迭代矩阵通常保持不变，包括有雅可比迭代法（Jacobi）、高斯-塞德尔迭代法（Gauss-Seidel）、超松弛迭代法（SOR） 1.雅可比迭代法（Jacobi） A表示线性方程组的系数矩阵，D表示A的主对角部分，L表示下三角部分，U表示上三角部分。 A=D+L+U 要解的方程变为Dx+Lx+Ux=b x=D^(-1)（b-（L+U）x） 所以Jocabi方法如下： Matlab程序 function [x,iter] =jacobi(A,b,tol) D=diag(diag(A)); L=D-tril(A); U=D-triu(A); x=zeros(size(b)); for iter=1:500 x=D\(b+L*x+U*x); error=norm(b-A*x)/norm(b); if(error 二分法、简单迭代法的m a t l a b代码实现 实验一非线性方程的数值解法（一）信息与计算科学金融崔振威 201002034031 一、实验目的： 熟悉二分法和简单迭代法的算法实现。 二、实验内容： 教材P40 2.1.5 三、实验要求 1 根据实验内容编写二分法和简单迭代法的算法实现 2 简单比较分析两种算法的误差 3 试构造不同的迭代格式，分析比较其收敛性 (一)、二分法程序： function ef=bisect(fx,xa,xb,n,delta) % fx是由方程转化的关于x的函数，有fx=0。 % xa 解区间上限 % xb 解区间下限 % n 最多循环步数，防止死循环。 %delta 为允许误差 x=xa;fa=eval(fx); x=xb;fb=eval(fx); disp(' [ n xa xb xc fc ]'); for i=1:n xc=(xa+xb)/2;x=xc;fc=eval(fx); X=[i,xa,xb,xc,fc]; disp(X), if fc*fa<0 xb=xc; else xa=xc; end if (xb-xa) 实验一非线性方程的数值解法（一）信息与计算科学金融崔振威201002034031 一、实验目的： 熟悉二分法和简单迭代法的算法实现。 二、实验内容： 教材P40 2.1.5 三、实验要求 1 根据实验内容编写二分法和简单迭代法的算法实现 2 简单比较分析两种算法的误差 3 试构造不同的迭代格式，分析比较其收敛性 (一)、二分法程序： function ef=bisect(fx,xa,xb,n,delta) % fx是由方程转化的关于x的函数，有fx=0。 % xa 解区间上限 % xb 解区间下限 % n 最多循环步数，防止死循环。 %delta 为允许误差 x=xa;fa=eval(fx); x=xb;fb=eval(fx); disp(' [ n xa xb xc fc ]'); for i=1:n xc=(xa+xb)/2;x=xc;fc=eval(fx); X=[i,xa,xb,xc,fc]; disp(X), if fc*fa<0 xb=xc; else xa=xc; end if (xb-xa) k=0; while abs(x-x0)>eps & k 解线性方程组b AX =的迭代法是从初始解出发，根据设计好的步骤用逐次求出的近似解逼近精确解.在第三章中介绍的解线性方程组的直接方法一般适合于A 为低阶稠密矩阵（指n 不大且元多为非零）的情况，而在工程技术和科学计算中常会遇到大型稀疏矩阵（指n 很大且零元较多）的方程组，迭代法在计算和存贮两方面都适合后一种情况.由于迭代法是通过逐次迭代来逼近方程组的解，所以收敛性和收敛速度是构造迭代法时应该注意的问题.另外，因为不同的系数矩阵具有不同的性态，所以大多数迭代方法都具有一定的适用范围.有时，某种方法对于一类方程组迭代收敛，而对另一类方程组迭代时就发散.因此，我们应该学会针对具有不同性质的线性方程组构造不同的迭代. 4.1 迭代法和敛散性及其MATLAB 程序 4.1.2 迭代法敛散性的判别及其MATLAB 程序 根据定理4.1和谱半径定义，现提供一个名为pddpb.m 的M 文件，用于判别迭代公H=eig(B);mH=norm(H,inf); if mH>=1 disp('请注意：因为谱半径不小于1，所以迭代序列发散,谱半径mH 和B 的所 有的特征值H 如下：') else disp('请注意：因为谱半径小于1，所以迭代序列收敛,谱半径mH 和B 的所有 的特征值H 如下：') end mH 4.1.3 与迭代法有关的MATLAB 命令 （一） 提取（产生）对角矩阵和特征值 可以用表4–1的MATLAB 命令提取对角矩阵和特征值. (二) 提取（产生）上（下）三角形矩阵 可以用表4–2的MATLAB命令提取矩阵的上三角形矩阵和下三角形矩阵. (三)稀疏矩阵的处理 对稀疏矩阵在存贮和运算上的特殊处理，是MA TLAB进行大规模科学计算时的特点和优势之一.可以用表4–3的MATLAB命令，输入稀疏矩阵的非零元（零元不必输入），即可进行运算. 4.2 雅可比（Jacobi）迭代及其MATLAB程序 4.2.2 雅可比迭代的收敛性及其MATLAB程序 [n m]=size(A); for j=1:m a(j)=sum(abs(A(:,j)))-2*(abs(A(j,j))); end for i=1:n if a(i)>=0 disp('请注意：系数矩阵A不是严格对角占优的，此雅可比迭代不一定收敛') return end end if a(i)<0 disp('请注意：系数矩阵A是严格对角占优的，此方程组有唯一解，且雅可比迭代收敛') end 例4.2.2 用判别雅可比迭代收敛性的MATLAB主程序，判别由下列方程组的雅可比迭 姓名 ______________ 实验报告成绩 ________________________ 评语： 指导教师(签名) ___________________ 年月日 说明：指导教师评分后，实验报告交院(系)办公室保存。 实验一方程求根 一、实验目的 用各种方法求任意实函数方程f(x)0在自变量区间［a，b］上,或某一点附 近的实根。并比较方法的优劣。 二、实验原理 (1)、二分法 b a x 对方程f(x)0在［a，b］内求根。将所给区间二分，在分点2判断 b a x --------- 是否f(x)0;若是，则有根2。否则，继续判断是否f(a)?f(x) 0,若是，则令b x,否 则令a x。否则令a x。重复此过程直至求出方程f(x) °在［a,b］中的近似根为止。 (2)、迭代法 将方程f(x) °等价变换为x=? ( x)形式，并建立相应的迭代公式xk 1 9( x)。 (3)、牛顿法 若已知方程的一个近似根x°，则函数在点x°附近可用一阶泰勒多项式 P l(x) f(X°) f'(X0)(X X。)来近似，因此方程f(x) °可近似表示为 if fa*fb>0 error(' 两端函数值为同号'); f (X k ) 3 不超过 0.5 10 。 六、实验步骤与实验程序 (1)二分法 第一步：在MATLAB 7.0软件，建立一个实现二分法的 MATLABS 数文件 agui_bisect.m 女口下： fun cti on x=agui_bisect(fname,a,b,e) %fname 为函数名，a,b 为区间端点，e 为精度 fa=feval(fname,a); % 把a 端点代入函数，求fa fb=feval(fname,b); % 把b 端点代入函数，求fb f (X k ) 根X1,然后将X1作为X 。代入上式。迭代公式为： X k 1 X 0 f'(X k ) o f (X o ) f(X o ) f ' (Xo)(X X )0设f'(X o ) 0,则x X o f '(X o )。取x 作为原方程新的近似 实验设备： MATLAB 7.0 软 件 三、 四、 结果预测 (1) x n=0.09033 (2) X5=0.09052 (3) X 2 =0,09052 五、 实验内容 (1)、 在区间[0,1] 上用二分法求方程 10X 2 0的近似根，要求误差不超 过 05 103 O (2)、 x ° 似根。 取初值X0 0 ，用迭代公式Xk 1 3 要求误差不超过0.5 10。 x ° f '(Xk) ，求方程e x 10x 2 0的近 (3)、 取初值X0 0 ，用牛顿迭代法求方程 e X 10x 2 0的近似根。要求误差jacobi G-S,超松弛迭代法MATLAB程序
MATLAB代码 解线性方程组的迭代法
最速下降法无约束最优化
最优化算法实验3-最速下降法
MATLAB样例之雅克比迭代法
高斯-赛德尔迭代法matlab程序
lu分解法、列主元高斯法、jacobi迭代法、gaussseidel法的原理及matlab程序
最速下降法求解这一无约束的最优化问题
MATLAB实现迭代法最佳松弛因子的选取
matlab 迭代法[精品]
matlab迭代法代码
最优化牛顿法最速下降法共轭梯度法matlab代码
【良心出品】不动点迭代法matlab程序
线性方程组的迭代解法(Matlab)
二分法、简单迭代法的matlab代码实现教学文案
二分法、简单迭代法的matlab代码实现教学文案
迭代解法的matlab实现
MATLAB计算方法迭代法牛顿法二分法实验报告
相关主题
文本预览