最优化方法方向导数与梯度例题

一、 填空题1.若()()⎪⎪⎭⎫ ⎝⎛+⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛=212121312112)(x x x x x x x f ，则=∇)(x f ，=∇)(2x f .2.设f 连续可微且0)(≠∇x f ，若向量d 满足 ，则它是f 在x 处的一个下降方向。

3.向量T)3,2,1(关于3阶单位方阵的所有线性无关的共轭向量有 . 4. 设R R f n →:二次可微，则f 在x 处的牛顿方向为 . 5.举出一个具有二次终止性的无约束二次规划算法： .6.以下约束优化问题：)(01)(..)(min 212121≥-==+-==x x x g x x x h t s x x f的K-K-T 条件为：. 7.以下约束优化问题：1..)(min 212221=++=x x t s x x x f的外点罚函数为（取罚参数为μ） .二、证明题（7分+8分）1.设1,2,1,:m i R R g n i =→和m m i R R h ni ,1,:1+=→都是线性函数，证明下面的约束问题：},,1{,0)(},1{,0)(..)(min 1112m m E j x h m I i x g t s x x f j i nk k+=∈==∈≥=∑=是凸规划问题。

2.设R R f →2:连续可微，n i R a ∈，R h i ∈，m i ,2,1=，考察如下的约束条件问题：},1{,0}2,1{,0..)(min 11m m E i b x a m I i b x a t s x f i T i i Ti +=∈=-=∈≥-设d 是问题1||||,0,0..)(min ≤∈=∈≥∇d E i d a Ii d a t s d x f Ti Ti T的解，求证：d 是f 在x 处的一个可行方向。

三、计算题（每小题12分）1.取初始点T x )1,1()0(=.采用精确线性搜索的最速下降法求解下面的无约束优化问题（迭代2步）：22212)(m in x x x f +=2.采用精确搜索的BFGS 算法求解下面的无约束问题：21222121)(min x x x x x f -+=3.用有效集法求解下面的二次规划问题：.0,001..42)(min 2121212221≥≥≥+----+=x x x x t s x x x x x f4.用可行方向算法（Zoutendijk 算法或Frank Wolfe 算法）求解下面的问题（初值设为)0,0()0(=x,计算到)2(x 即可)：.0,033..221)(min 21211222121≥≥≤+-+-=x x x x t s x x x x x x f参考答案一、填空题 1. ⎪⎪⎭⎫⎝⎛++++3421242121x x x x ⎪⎪⎭⎫⎝⎛4224 2. 0)(<∇d x f T3. T)0,1,2(-，T)1,0,3(-（答案不唯一）。

《最优化方法》1一、填空题:1. _______________________________________________________ 最优化问题的数学模型一般为：_____________________________________________ ,其中___________ 称为目标函数，___________ 称为约束函数，可行域D可以表示为_______________________________ ，若 ________________________________ ，称/为问题的局部最优解，若为问题的全局最优解。

2.设f(x)= 2斤+2“2-兀|+5花，则其梯度为__________ ^x = (l,2)r?6/ = (l,0)r,则f(x)在壬处沿方向d的一阶方向导数为___________ ，几何意义为_____________________________________ ，二阶方向导数为____________________ ,几何意义为_____________________________3.设严格凸二次规划形式为：min /(%) = 2兀］2 + 2x； - 2兀］-x2s.t. 2%! 4- x2 < 1> 0x2 > 0则其对偶规划为_______________________________________________min%（d ） = f （x k +ad k ）的最优步长为务=—叫）F.d kT Gd k2. （10分）证明凸规划min/（x ）,x G D （其中子（兀）为严格凸函数，D 是凸集）的最优解是唯一的3. （13分）考虑不等式约束问题min /（x ）s.t. c i （x ） < 0, Z G / = {1,2,…，加}其中/（x ）,6 （兀）a e /）具有连续的偏导数，设X 是约束问题的可行点，若在元处 d 满足巧（计<0,VC,（元）（可则d 是元处的可行下降方向。

梯度在点处沿矢量的方向导数梯度是微积分中的一个重要概念，它在点处沿矢量的方向导数，是一种衡量函数变化速度的工具。

在现实生活和科学研究中，梯度具有广泛的应用，特别是在最优化问题和物理学中。

首先，我们来看一个简单的例子。

假设我们有一个山谷地形，我们想知道在某个点的最陡的上升方向。

这个问题可以通过计算梯度来解决。

在这个例子中，梯度就是指向最陡上升方向的矢量，它告诉我们在该点上升最快的方向。

如果我们站在山谷的某个位置，沿着梯度的方向行走，我们就能够快速地达到山顶。

在数学上，梯度是一个矢量，它由函数的偏导数构成。

对于一个多元函数，梯度是一个矢量，它的每个分量是函数对应变量的偏导数。

通过计算梯度，我们可以了解函数在不同方向上的变化速度，这对解决最优化问题非常有帮助。

在优化问题中，梯度是一个重要的工具。

通过计算梯度，我们可以找到函数的最小值或最大值。

具体来说，如果一个函数在某个点的梯度为零，那么该点就是函数的一个极值点。

梯度为零的点可能是函数的最小值、最大值或鞍点。

通过进一步的分析，可以确定这个点的性质。

再来看一个实际的例子。

假设我们正在设计一个飞机的机翼，并希望使其产生最大的升力。

我们可以将机翼的升力与其形状参数相关联，然后通过优化算法找到能够最大化升力的最佳形状参数。

在这个过程中，梯度可以帮助我们确定形状参数的调整方向，使得升力不断增加。

除了最优化问题，梯度在物理学中也有着广泛的应用。

在物理建模中，梯度可以帮助我们理解物理量随空间变化的规律。

比如，在电场中，梯度告诉我们电场强度在不同方向上的变化速度；在温度场中，梯度告诉我们温度在不同方向上的变化速度。

通过对梯度的分析，我们可以推导出物理规律，并预测未知的物理现象。

在总结中，梯度是一个重要的数学工具，用于衡量函数变化的速度。

它在最优化问题和物理学中有广泛的应用。

通过计算梯度，我们可以找到函数的极值点，优化问题的最优解，并理解物理量随空间变化的规律。

因此，对于数学和科学研究来说，梯度具有重要的指导意义。

多元函数的方向导数与梯度在多元函数的研究中，方向导数和梯度是两个重要的概念。

它们帮助我们理解多元函数在不同方向上的变化规律，并且在最优化、微分方程等领域有着广泛的应用。

本文将介绍多元函数的方向导数和梯度的概念、计算方法以及它们之间的关系。

一、方向导数的定义和计算方法方向导数是用来描述多元函数在给定方向上的变化率的量。

对于一个可微的多元函数$f(x,y)$，在某一点$(x_0,y_0)$处的方向导数可以通过该点处的梯度和给定方向的向量点乘得到。

具体而言，给定一个方向向量$(a,b)$，则该方向上的方向导数可以表示为：$$D_{(a,b)}f(x_0,y_0) = \nabla f(x_0,y_0) \cdot \begin{bmatrix} a \\ b\end{bmatrix} = \frac{\partial f}{\partial x} \bigg\rvert_{(x_0,y_0)} \cdot a + \frac{\partial f}{\partial y} \bigg\rvert_{(x_0,y_0)} \cdot b$$其中，$\nabla f(x,y)$表示$f(x,y)$的梯度，即：$$\nabla f(x,y) = \begin{bmatrix} \frac{\partial f}{\partial x} \\\frac{\partial f}{\partial y} \end{bmatrix}$$方向导数的计算方法是将方向向量与梯度向量进行点乘，再乘以对应偏导数的值。

方向导数的数值表示了函数在该方向上的变化率大小，可以用来判断函数在某一点处的增长方向以及变化快慢。

二、梯度的定义和性质梯度是一个向量，用来表示多元函数在某一点处变化最快的方向。

对于一个可微的多元函数$f(x,y)$，在某一点$(x_0,y_0)$处的梯度可以表示为：$$\nabla f(x_0,y_0) = \begin{bmatrix} \frac{\partial f}{\partial x}\bigg\rvert_{(x_0,y_0)} \\ \frac{\partial f}{\partial y} \bigg\rvert_{(x_0,y_0)} \end{bmatrix}$$梯度的性质包括方向性和大小性。

《最优化方法》模拟试题二一、填空题：1．最优化问题的数学模型一般为：____________________________，其中___________称为目标函数，___________称为约束函数，可行域D 可以表示为_____________________________，若______________________________，称*x 为问题的局部最优解，若_____________________________________，称*x 为问题的全局最优解。

2．设f(x)= 2121215102x x x x x +-+，则其梯度为___________，海色矩阵___________,令,)1,1(,)0,1(T T d x -==则f(x)在x 处沿方向d 的一阶方向导数为___________，几何意义为___________________________________,二阶方向导数为___________________，几何意义为____________________________________________________________。

3．设严格凸二次规划形式为：01..2)(min 2121212221≥≥≤+--+=x x x x t s x x x x x f则其对偶规划为___________________________________________。

4．求解无约束最优化问题：n R x x f ∈),(min ，设k x 是不满足最优性条件的第k 步迭代点，则：用最速下降法求解时，搜索方向k d =___________ 用Newton 法求解时，搜索方向k d =___________ 用共轭梯度法求解时，搜索方向k d =___________________________________________________________________________。

以下所有代码均为例题，请选择类似题目修改函数1.共轭梯度法P330 14.(2)function f = conj_grad(x0,t)% x0 初始值t tolerancex = x0;syms xi yi a %自定义变量，步长为符号变量f = xi^2 + 2*yi^2 - 2*xi*yi + 2*yi +2;% 符号表达式fx = diff(f,xi);%对xi的一阶导数fy = diff(f,yi);%对yi的一阶导数fx = subs(fx,{xi,yi},x0);% 带入初始点求导实值fy = subs(fy,{xi,yi},x0);fi = [fx,fy];% 初始点梯度向量count = 0;% 迭代次数初始值0while double(sqrt(fx^2+fy^2))>t % 搜索精度不满足条件s = -fi;% 第一次搜索为负梯度方向if count <= 0s = -fi;elses = s1;endx = x+a*s;% 进行搜索后的点坐标f = subs(f,{xi,yi},x);% 构造一元搜索的一元函数Faif1 = diff(f);% 对Fai 求导f1 = solve(f1);% 得到最佳步长aif f1~=0ai = double(f1);%强制转换为双精度elsebreak%若a = 0 跳出循环为极值点x,f=subs(f,{xi,yi},x),countendx= subs(x,a,ai);% 得到一次搜索后的坐标点f = xi^2 + 2*yi^2 - 2*xi*yi + 2*yi +2;fxi = diff(f,xi);fyi = diff(f,yi);fxi = subs(fxi,{xi,yi},x);fyi = subs(fyi,{xi,yi},x);fii = [fxi,fyi];% 下一点梯度向量d = (fxi^2+fyi^2)/(fx^2+fy^2);s1 = -fii + d*s;% 下一点搜索方向向量count = count+1;%搜索次数+1fx = fxi;% 搜索后变为下一次搜索的初始点fy = fyi;% 输出极值点，极小值和搜索次数x,f = subs(f,{xi,yi},x),count2.最速下降法P283 例10.1.1%%最速下降法function [f,df]=detaf(x);f=2*x(1)^2+x(2)^2;df=[4*x(1)2*x(2)];新建zuisu.mclcx=[1;1];[f0,g]=detaf(x);while norm(g)>0.1p=-g/norm(g);t=0.1;f=detaf(x+t*p);while f>f0t=t/2;f=detaf(x+t*p);endx=x+t*p;[f0,g]=detaf(x);endx,f03.二次规划p416 例14.1.1%%二次规划命令quadprog% min f=x1^2+2*x2^2+x3^2-2*x1*x2+x3% s.t. x1+x2+x3 = 4% 2*x1-x2+x3 = 2clch=[2 -2 0;-2 4 0; 0 0 2];%目标函数中非线性部分偏导数f=[0;0;1];%目标函数中线性部分偏导数a=[1 1 1;2 -1 1];%约束b=[4;2];[x,value]=quadprog(h,f,[],[],a,b,zeros(3,1))[x,fval,exitflag,output,lambda]=quadprog(h,f,[],[],a,b,ze ros(3,1))4 %% 单纯形法%算法分析a:标准型% min C'*x% s.t. A*x<=b% Aeq*x=beq% lb<=x<=ub% [x,fval]=linprog(c,A,b,Aeq,beq,LB,UB,X0,OPTIONS)% p40 3.1.1% Example: min -4*x1-x2% s.t. -x1+2*x2<=4% 2*x1+3*x2<=12% x1-x2<=3% x1,x2>=0clc;c=[-4;-1];%目标函数系数a=[-1 2;2 3;1 -1;-1 0;0 -1];%不等式约束条件系数b=[4;12;3;0;0];%不等式约束条件约束x=linprog(c,a,b,[],[],zeros(2,1))value=c'*x大题Function 函数function f = goal2(w)syms x ss ;%w1 w2 w3 w4 w5 w6 w7 w8syms Mx = [w(1);w(2);w(3);w(4);w(5);w(6);w(7);w(8)];P = [0.0849 0.0543 0.0440 0.0182 0.0625 0.0519 0.0646 0.0541;0.0764 0.0814 0.0589 0.0367 0.0581 0.0312 0.0120 0.0478;0.0000 0.0609 0.0609 0.0069 0.0577 0.1008 0.0000 0.0452;0.0323 0.0608 0.0499 0.0362 0.0618 0.1094 0.0000 0.0499;0.0494 0.0367 0.0346 0.0000 0.0450 9.2000 0.0732 0.0000;0.0291 0.0474 0.0007 0.0338 0.0576 0.0001 0.0986 0.0475;0.0213 0.0621 0.0354 0.0890 0.0582 0.0412 0.0494 0.0547;0.0239 0.0577 0.0476 0.0392 0.0520 0.0342 0.0137 0.0496;0.0482 0.0179 0.0601 0.0433 0.0424 0.0236 0.0818 0.0521;];S = P*x;for i= 1:9ss = S(i)*log(S(i))+ss;endf = 1/(log(8))*ss;新fileA=[0,-1,1,0,0,0,0,0,0;-1,0,0,0,0,0,0,0,0;0,0,0,0,-1,0,1,0,0;0,0,0,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0];Aeq=ones(1,9);Lb=zeros(9,1);w=[0.1,0.9,0,0,0,0,0,0,0];b=[0.3;0;0;0;0;0;0;0;0];bep=1;x=fmincon(@goal2,w,A,b,Aeq,bep,Lb,[]);。

最优化梯度海塞矩阵
⼀、⽅向导数
lim t->0 f(x0+td)-f(x0) / t 存在
则该极限为f在x0处沿⽅向d的⽅向导数
记为
∂ f/∂ d
下降⽅向：
⽅向导数∂ f/∂ d <0 ，则d为f在x0处的下降⽅向
⼆、梯度
对于向量x,若每个偏导数
∂ f/∂ x(i) 都存在
则列向量为f在x处的梯度
记号
▽f(x)
三、可微与梯度
可微则⼀定存在梯度
梯度存在不⼀定可微
定理
若f在x处可微，则⽅向导数=梯度的转置*⽅向向量d
四、海塞矩阵
（Hessian Matrix），⼜译作海森矩阵、海瑟矩阵、海塞矩阵等，是⼀个多元函数的⼆阶偏导数构成的⽅阵，描述了函数的局部曲率。

海塞矩阵由⽬标函数 f在点x处的⼆阶偏导数组成的 n×n阶矩阵
当⼆阶偏导连续，矩阵为对称矩阵。