- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p 0
p
n 维向量 l ,
那么称函数
f x 在点
x 处可微。 0
若令
f x0 p f x0 l T p
p
便得到（1.9）的等价形式
f x0 p f x0 l T p o p
. （1.10）
2.梯度
定理1.1 若
f : Rn R1 在点
x 处可微，则 0
f x
在该点关于各个变量的一阶偏导数存在，并且
①有不同函数值的等值面互不相交（因目标函数是单值函数的缘故）； ②等值面不会在区域的内部中断，除了极值点所在的等值面以外。这是由于目标函数是连续函数的缘故；
⑶等值面稠密的地方，目标函数值变化得比较快；等值
面稀疏的地方，目标函数值变化得比较慢；
⑷在极值点附近，等值面（等值线）一般近似地呈现为同心椭球面族（椭圆线族）。
s x 0
2. 最优化问题的分类
试验问题：用于检验、比较最优化方法优劣的一些最优化问题。
3. 术语 目标函数
f x 等式约束
容许解（点）
容许集
h x 0 不等式约束
s x 0
D x h x 0, s x 0
求解问题（3）是指：在容许集
D 中找一点
目标函数
f x 在该点取极小值，即对于容许集中的任
其实，
a,b aTb a1, a2,
,
an
b2
。
bn
向量也常用希腊字母
, , , ,, 等表示。
向量内积的性质：
ⅰ) , ,（对称性）；
ⅱ) , , , k, k , （线性性）；
ⅲ) , 0 ,当且仅当
0 时， , 0（正定性）；
向量的长
,
单位向量 向量的夹角 ，
向量的正交 1.可微
1
, arccos ,
0 ,
, , 0 （正交性）
2
定义1.7 设 对于可任意小的
f : D Rn R1, x0 D .如果存在
n 维非零向量
p ，总有
lim f x0 p f x0 l T p 0
min f x1, x2, , xn min f x （1）
以向量为变量的实值函数 定义向量间的序关系(定义1.1)：
等于＝，小于
，严格小于
ቤተ መጻሕፍቲ ባይዱ
。由此
min f x1, x2 , , xn s.t. hi x1, x2 , , xn 0,
min f x s.t. h x 0
意一点
x ，总有
f x* f x
最优点（极小点）
x *最优值
f x* 最优解
x *，使得
x*, f x*
局部
严格极小点 非严格极小点
全局
严格极小点 非严格极小点
全局极小点一定是局部极小点。
到目前为止，大多数最优化算法求到的都是局部极小点。为了求得全局极小点，一种解决办法是，先求出所有 的局部极小点，然后再从中找出全局极小点。
图解法的步骤：
①令 f x, y x 22 y 12 c ，显然
c0 ；
c 0,1, 4,9, ②取
并画出相应的曲线（称之为等值线）.
③确定极值点位置，并用以往所学方法求之。
易知本题的极小值点
x* 2, 1T。
再复杂点的情形见P13上的例1.7。
虽然三维及以上的问题不便于在平面上画图，图解法失效，但仍有相应的等值面的概念，且等值面具有以下 性质：
第1章
1.1 经典极值问题 1. 例子， 2. 数学模型
预备知识
第一，无约束极值问题
min f x1, x2, , xn 或 max f x1, x2, , xn
解法：解方程组
第二，仅含等式约束的极值问题
min f x1, x2, , xn s.t. hi x1, x2, , xn 0, i 1, 2, ,l(l n)
f x f x
f
x
T
l
x1
,
x2
,
,
xn
。
定义1.8 以函数
n f x 的
个偏导数为分量的向量
f x f x
x1
,
x2
,
f x 。
f x T
,
xn
称为
1.5 梯度和Hesse矩阵
本段讨论都基于对函数
f x 可微的假定。
以下及今后的讨论中还经常要用到以下一些向量的知识。
向量的内积 设
a a1, a2, , an T ,b b1,b2, ,bn T ,
则 a1b1 a2b2 anbn 称为向量
a b 与
的内积，
记作 a, b 。
b1
（2）
i 1, 2, ,l(l n)
以向量为变量的实向量值函数最优化问题的一般形式
min f x1, x2, s.t. hi x1, x2,
s j x1, x2,
, xn , xn 0, , xn 0,
i 1, 2, j 1, 2,
,l(l n)
,m
（3）
min f x s.t. h x 0
最优化方法
（最优化课件研制组）
主讲：张 京
退出
开始
最优化方法
为了使系统达到最优的目标所提出的各种求解方法称为最优化方法。最优化方法是在第二次世界大战前后 ，在军事领域中对导弹、雷达控制的研究中逐渐发展起来的。
最优化方法解决问题一般步骤： （1）提出需要进行最优化的问题，开始收集有关资料和数据； （2）建立求解最优化问题的有关数学模型，确定变量，列出目标函数和有关约束条件； （3）分析模型，选择合适的最优化方法； （4）求解方程。一般通过编制程序在电子计算机上求得最优解； （5）最优解的验证和实施。 随着系统科学的发展和各个领域的需求，最优化方法不断地应用于经济、自然、军事和社会研究的各个领域 。
4. 极大值问题与极小值问题的关系
max f x
min f x
s.t. h x 0 s.t. h x 0
s x 0
s x 0
x* x*
f f x*
1.4 二维问题图解法
二维极值问题有时可以用图解的方式进行求解，有 明显的几何解释。
例 求解
min f x, y x 22 y 12
或 max f x1, x2 , s.t. hi x1, x2,
解法：Lagrange乘子法
, xn , xn 0,
i 1, 2,
,l(l n)
1.2 实例 数据拟合问题 原料切割问题 运输问题 营养配餐问题 分配问题
1.3 基本概念 1. 最优化问题的向量表示法 设
x x1, x2, , xn T 则
