- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
xn
n
。
个偏导数为分量的向量
fxv fxv fxvT
x1
f
,
xv
x2
。
,L,
xn
称为
f
xv
在点 xv
处的梯度，记为
梯度也称为函数 f xv 关于变量 xv 的一阶偏导数。
最优化方法
（最优化课件研制组）
主讲：张 京
退出
开始
最优化方法
为了使系统达到最优的目标所提出的各种求解方法
称为最优化方法。最优化方法是在第二次世界大战前后，
在军事领域中对导弹、雷达控制的研究中逐渐发展起来 的。
最优化方法解决问题一般步骤： （1）提出需要进行最优化的问题，开始收集有关资 料和数据； （2）建立求解最优化问题的有关数学模型，确定变 量，列出目标函数和有关约束条件； （3）分析模型，选择合适的最优化方法； （4）求解方程。一般通过编制程序在电子计算机上 求得最优解； （5）最优解的验证和实施。 随着系统科学的发展和各个领域的需求，最优化方 法不断地应用于经济、自然、军事和社会研究的各个领 域。
第1章 预备知识
1.1 经典极值问题 1. 例子， 2. 数学模型 第一，无约束极值问题
m infx1,x2,L,xn或 m axfx1,x2,L,xn
解法：解方程组 第二，仅含等式约束的极值问题
m infx1,x2,L,xn s.t.hix1,x2,L,xn0, i1,2,L,l(ln)
或 m axfx1,x2,L,xn s.t.hix1,x2,L,xn0, i1,2,L,l(ln)
v b
a1,
a2
,L
,
an
b2
M
。
bn
向量也常用希腊字母 ,,,,,等表示。
向量内积的性质：
ⅰ) ,,（对称性）；
ⅱ) , , , k,k,（线性性）；
v
ⅲ) , 0 ,当且仅当 0 时，, 0（正定性）；
向量的长 ,
单位向量 1
向量的夹角
，
,
arccos
,
0 ,
向量的正交 , ,0（正交性）
2
1.可微
定义1.7 设 对于可任意小的
nf:D 维 非R n 零R 向1,x v 量0 D pv.如，果总存有在 n
lp v im 0fx v0p vp vfx v0lvTp v0
那么称函数 f xv 在点 xv 0 处可微。
v 维向量 l ,
若令
fxv0p vp vfxv0lvTp v
便得到（1.9）的等价形式
局部
严格极小点 非严格极小点
全局
严格极小点 非严格极小点
全局极小点一定是局部极小点。 到目前为止，大多数最优化算法求到的都是局部极小点。 为了求得全局极小点，一种解决办法是，先求出所有的 局部极小点，然后再从中找出全局极小点。
4. 极大值问题与极小值问题的关系
m ax f xv
m in f xv
s .t .
v h
xv
v 0
s .t .
v h
xv
v 0
sv
xv
v 0
sv
xv
v 0
xv* xv*
f f xv*
1.4 二维问题图解法
二维极值问题有时可以用图解的方式进行求解，有 明显的几何解释。
例 求解 m infx ,y x 2 2 y 1 2
图解法的步骤：
①令 fx,yx22y 1 2c，显然 c 0 ；
②取 c0,1,4,9,L并画出相应的曲线（称之为等值线）.
③确定极值点位置，并用以往所学方法求之。
易知本题的极小值点 xv* 2,1T。
再复杂点的情形见P13上的例1.7。 虽然三维及以上的问题不便于在平面上画图，图解 法失效，但仍有相应的等值面的概念，且等值面具有以 下性质：
①有不同函数值的等值面互不相交（因目标函数是单值 函数的缘故）；
②等值面不会在区域的内部中断，除了极值点所在的等 值面以外。这是由于目标函数是连续函数的缘故；
⑶等值面稠密的地方，目标函数值变化得比较快；等值 面稀疏的地方，目标函数值变化得比较慢；
⑷在极值点附近，等值面（等值线）一般近似地呈现为 同心椭球面族（椭圆线族）。
1.5 梯度和Hesse矩阵
本段讨论都基于对函数 f xv 可微的假定。
v 0
容许解（点） 容许集 D x vh v x v 0 v ,s v x v 0 v
求解问题（3）是指：在容许集 D 中找一点 xv *，使得
目标函数 f xv 在该点取极小值，即对于容许集中的任 意一点 xv ，总有
f xv*f xv
最优点（极小点）xv * 最优值 f xv* 最优解 xv*, f xv*
等于＝，小于 ，严格小于 。由此
min f x1, x2,L , xn s.t. hi x1, x2,L , xn 0,
m in f xv
s .t .
v h
xv
v 0
i 1,2,L ,l(l n)
（2）
以向量为变量的实向量值函数最优化问题的一般形式
minf x1,x2,L,xn
m i n f xv
s.t. hix1,x2,L,xn0, i1,2,L,l(ln)
s .t.
v h
xv
v 0
sjx1,x2,L,xn0, j1,2,L,m
sv
xv
v 0
（3）
2. 最优化问题的分类
试验问题：用于检验、比较最优化方法优劣的一 些最优化问题。
3. 术语
目标函数 f xv
等式约束
hvxv
v 0
不等式约束svxv
以下及今后的讨论中还经常要用到以下一些向量的知识。
记向则作量a1 的b 1内av , 积a bv2b2 。设L a v a a nb 1 , na 2 称, L 为, 向a n b1量 T ,b av v 与 b 1 b, v b 2 的, L 内,b 积n ，T ,
பைடு நூலகம்
其实，av,bv
avT
解法：Lagrange乘子法
1.2 实例
数据拟合问题 原料切割问题 运输问题 营养配餐问题 分配问题
1.3 基本概念
1. 最优化问题的向量表示法
设 xvx1,x2,L,xnT 则
m i n fx 1 ,x 2 ,L ,x n m i n fx v （1）
以向量为变量的实值函数 定义向量间的序关系(定义1.1)：
fx v 0 p v fx v 0 l v T p v o p v . （1.10）
2.梯度
定理1.1 若 f : Rn R1 在点 xv 0 处可微，则 f xv
在该点关于各个变量的一阶偏导数存在，并且
v fxv fxv fxvT
l
定义1.8
, x1 x2
以函数 f
,L,
xv 的
