当前位置：文档之家 › 2第二章优化设计的数学基础

2第二章优化设计的数学基础

  • 格式：ppt
  • 大小：1.78 MB
  • 文档页数：100

下载文档原格式

  / 100

合集下载

02-优化的设计数学基础

02-优化的设计数学基础


22
2.7 最优解与最优解条件
1.无约束优化设计问题的最优解条件
无约束优化问题的最优解的实质是求目 标函数的最 min f (X ) f (X *) X En
小值:
对一维问题
数x*等为于极零值的点ff ''的'((xx**)必)00要极条大件点 f’(x)=0。一阶导
点为驻点，极f '值'(x*点) 是0 极驻小点点 ，但驻点不一定
1
2
x1
x1(k ) ,
x2
x2(k ) ,,
xn
x(k) n
2 f (X (k x12
2 f (X (k x2x1
) )
) )
, ,
2 f (X (k x1x2 2 f (X (k
x22
) )
) )
,, ,,
2 f (X (k x1xn 2 f (X (k x2xn
) )
) )
x1 x2
x(k) 1
x(k) 2
.
2 f (X (k))
xnx1
,
2 f (X (k)) xnx2
,,
2
f (X xn2
(
k
)
)
xn
xn(k )
f ( X (k) ) f ( X (k) )T ( X X (k) ) 1 ( X X (k) )T 2 f ( X (k) )(X X (k) ) 2
2 f (X (k x2x1
)
)
,
2
f (X x22
(k
)
)
,,
2 f (X (k x2xn
)
)
,,
2 f (X (k)
-第二章优化设计的数学基础newPPT课件

-第二章优化设计的数学基础newPPT课件


15
机械优化设计 上式写成矩阵形式：
f (x)
f
( x0
)


f x1
1 2
x1
2 f

x2

x12 2 f
x1x2
f x2

x0
x1 x2


2 f
x1x2

2 f
x1 x2

机械优化设计
第二章 优化设计的数学基础
一、多元函数的方向导数和梯度
二、多元函数的泰勒展开
三、无约束优化问题的极值条件
四、凸集、凸函数与凸规划 五、等式约束优化问题的极值条件
六、不等式约束优化问题的极值条件
2020/2/20
1
机械优化设计
一、多元函数的方向导数和梯度
1、方向导数
二元函数 f (x1, x2 )在 x0 x10, x20 点处的偏导数的定义是：
23
机械优化设计 定理：若二次函数 f (X ) 1 X TQX bX c 中Q正定，
2 则它的等值面是同心椭球面族，且中心为 X Q1b
证明：作变换 X Y Q1b ，代入二次函数式中：
(Y ) f (Y Q1b)
1 (Y Q1b)Q(Y Q1b) bT (Y Q1b) c 2


f x1
xn
cosn

n i 1
f xi
x0
cosi
2020/2/20
4
机械优化设计
2、二元函数的梯度
f d
x0
f x1
cos 1 +
x0
f x2
2优化设计的数学基础PPT课件

2优化设计的数学基础PPT课件

1 ,x 2 fx 1 0 ,x 2 0
f x 1
f x 2x 0
x 1 x 2
1 2 !
x 1
x 2
x 1 2 2 f
x 1x 2 2 f
x 1 x 2
x 2x 1 x 2 2 x 0
f
ff x1x01,x20x2
1 x10!
1 2!
1 x12!
2f xx212x0
2f xx1212 2f
2xxxfx2111x22x1ff02xf2x2 x1x0
f x2x0
xx11 x2 x2
x2 2f
2fx1 x22x0
x2x2 x20
2f x2 x1 x0
其 中 x 1x 1x 1 x0 2， x1 x 2xx 222xx 0 2 0
第二章 优化设计的数学基础
• 机械优化设计是建立在多元函数的极值理 论基础上
• 无约束优化问题就是数学上的无条件极值 问题
• 约束优化问题则是数学上的条件极值问题
1
标题添加
点击此处输入相 关文本内容
标题添加
点击此处输入相 关文本内容
总体概述
点击此处输入 相关文本内容
点击此处输入 相关文本内容
2
一.多元函数的方向导数与梯度
• 任何一个单值、连续、可微分的不受任何约束 的一元函数f(x)在点(x0)处有极值的充分必要条 件是
0极 小 值 f(x) 0 和f (x)
0极 大 值
• 对于二元函数，若在点(x0)处取得极值其必要 条件是
f x1x0
f x2x0
0 即f x 0
0
14
二元函数取得极值的充分条件
(1) 二元函数在点(x0)处的泰勒展开式，考虑上述极值必
优化设计的数学基础

优化设计的数学基础


a11 a12 a11 0, a11 a12 a21 a22 0, , a21 a22 an1 an 2
a1n a2 n ann 0
即矩阵A的各阶主子式均大于零。当矩阵A为正定时，其对应的二次型 为正定二次型。 如果实二次型 XTAX 中的矩阵A的各阶主子式负、正相间（即所 有奇数阶主子式小于零，而所有偶数阶主子式大于零），即
■ 函数的泰勒近似展开式和黑塞矩阵 ■ 无约束优化问题的极值条件 ■ 凸函数与凸规划 ■
约束优化问题的极值条件
2.1 二次型与正定矩阵
在介绍优化方法时，常常是将二次型函数作为对象。其原因除了 二次型函数在工程优化问题中有较多的应用且比较简单之外，还因为 任何一个复杂的多元函数都可采用泰勒二次展开式做局部逼近，使复 杂函数简化为二次函数。因此，需要讨论有关二次型函数的问题。
A 称为二次型矩阵，因为 aij = aji ，所以 A =AT，称为对称矩阵，
因此二次型矩阵都是对称矩阵。
2. 正定矩阵
在采用泰勒二次近似展开式讨论函数的极值时，常要分析二次型 函数是否正定或负定。二次型的正定与负定的定义简述如下： 如果对于任意的非零向量 X = [x1, x2, …，xn]T，即x1，x2，…，xn 不全为零，若有 XTAX > 0，则称此二次型 f (X)=XTAX 是正定二次 型， 其对应的矩阵A 称为正定矩阵； 若有 XTAX ≥0，则称此二次型 f (X) = XTAX 为半正定二次型，并称 其相应的矩阵A为半正定矩阵； 若有XTAX < 0，则称此二次型 f (X)=XTAX 为负定二次型，其对应 的矩阵A为负定矩阵。 矩阵A的正定与负定的判别，可用矩阵A的各阶顺序主子式的正负 来判别。矩阵A的正定条件是：
a1n a2 n ann
第2章 优化方法的数学基础

第2章 优化方法的数学基础


X ∈ D 对满足 ,
F ( X ) ( X X * ) ≥ 0
*
T
注意: 注意:
不论是无约束或有约束的优化问题,在实际应用中, 不论是无约束或有约束的优化问题,在实际应用中,要证明一个 优化问题是否为凸规划,一般比较困难, 优化问题是否为凸规划,一般比较困难,有时甚至比求解优化问题本 身还要麻烦.尤其对一些工程问题,由于其数学模型的性态都比较复 身还要麻烦.尤其对一些工程问题, 杂,更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 而通常是从几个初始点出发,找出几个局部最优解, 而通常是从几个初始点出发,找出几个局部最优解,从中选择目标函 数值最好的解. 数值最好的解.
2 2
设: 则有
cos θ1 s≡ 为单位向量. 为单位向量. cos θ 2 F = F ( x0 )T s = F ( x0 ) cos(F , s ) x s 0
梯度方向是函数值变化最快的方向,而梯度的模 梯度方向是函数值变化最快的方向, 就是函数变化率的最大值 .
x2 x0
-f(x0) 最速下降方向 下降方向 变化率为零的方向 上升方向 f(x 0) 最速上升方向
凸规划的一些性质: 凸规划的一些性质: 1)可行域 D = X g j ( X ) ≤ 0
{
j = 1, 2, , m
}
为凸集; 为凸集;
2)凸规划问题中的任何局部最优解都是全局最优解; 凸规划问题中的任何局部最优解都是全局最优解; 为凸规划问题 最优解的充分必要条件 规划问题的 可微, 3 ) 若 F ( X ) 可微 , 则 X* 为凸规划问题的 最优解的充分必要条件 为: 对任意
0
2第二章优化设计的数学基础new

2第二章优化设计的数学基础new


其中的cosi为d方向和坐标轴xi方向之间夹角的余弦。
2、二元函数的梯度
f f
f
f
dx 0 x 1x 0co 1 s x 2x 0co 2 s x 1
fco 1s x 2 x 0 co 2 s
f
令
f
s.t. hk (x1，x2 ，，xn) = 0 (k = 1,2,l) 由l个约束方程将n个变量中的前l个变量用其余n-l个变量表示， 有
x1 = (xl+1,xl+2,,xn)
x2 = (xl+1,xl+2,,xn)

xn = (xl+1,xl+2,,xn)
将这些函数关系代入到目标函数中， 得到只含有xl+1,xl+2,,xn共n-l个变量的函
解：
所以得
F(x, )=4x12+5x22+ (2x1+3x2-6) Fx1=8x1+2=0 x1=-/4
Fx2=10x2+3=0 x2=-3/10
F =2x1+3x2-6=0=-30/7
此即为所求极值点x*.
x1=1.071， x2=1.286
2.6 不等式约束优化问题的极值条件
xn

x0
函数 f(x1,x2， , xn)在x0处沿d的方向导数可表示为
d fx 0in 1 x fix 0co i s fx 0T d fx 0co f,s d
d方向上的单位向量
cos 1
d

cos



2

f x 2 x0
10
机械优化设计第二章

机械优化设计第二章


第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
二次n维函数用向量和矩阵的表示方法：
若f ( x)是n维函数，则可按下式化为向量及矩阵形式： f ( x) f ( x1 , x2 , , xn ) aij xi x j bk xk c
i 1 j 1 k 1 n n n
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
一个多元函数可用偏导数的概念来研究函数沿各坐标方向 的变化率。 二元函数的偏导数： 一个二元函数f ( x1 , x2 )在点x0 ( x10 , x20 )处的偏导数是
f x1 f x2 f x10 x1 , x20 f x10 , x20 lim x1 0 x1 f x10 , x20 x2 f x10 , x20 lim x2 0 x2
向量d1的方向为：1 2 向量d 2的方向为：1

4
，

3
， 2

6
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f T x f f 梯度： 二元函数f ( x1 , x2 )在点x0处的梯度是f ( x 0 ) 1 , f x1 x2 x0 x 2 x
d 0
偏导数与方向导数之间的数量关系：
f d lim
x0
f x10 x1 , x20 x2 f x10 , x20 d
d 0
lim lim f x1
d 0
f x10 x1 , x20 x2 f ( x10 x1 , x20 ) x2 x2 cos 1
机械优化设计第二五讲讲课文档

机械优化设计第二五讲讲课文档

按二阶偏导数判断凸性：设 f(x) 是定义在凸集D上具有连续二阶导数的函数，则 f(x)在D上为凸函数的充要条件是：f(x)的Hesse矩阵处处半正定。若Hesse矩阵处 处正定，则f(x)为严格凸函数。
现在十九页，总共五十二页。
目标函数是非凸函数（图 a），或可行域是非凸集（图 b）：
g( p)
现在十七页，总共五十二页。
第二章 优化设计的数学基础
现在十八页，总共五十二页。
第二章 优化设计的数学基础
凸函数的基本性质：
若f(x)是定义在凸集D上的严格凸函数，则f(x)在D上的一个极小点， 也就
是全局最小点。 凸函数的线性组合仍然为凸函数。
设x(1), x(2)为凸函数 f(x)上的两个最小点，则其连线上的任意点也都是最小点。
偶数阶主子式都大于0； H是半正定矩阵的充要条件是它的所有主子式都大于等于0； H是半负定矩阵的充要条件是它的所有奇数阶主子式都小于等于0，并且它的
所有偶数阶主子式都大于等于0；
Hesse 矩阵的正定性： H(x*)正定， 是 x* 为全局极小值点的充分条件； H(x*)半正定, 是 x* 为局部极小值点的充分条件； H(x*)负定， 是 x* 为全局极大值点的充分条件； H(x*)半负定, 是 x* 为局部极大值点的充分条件。
凸性函数的判定（判别函数为凸函数的条件）
按梯度判断凸性：设f(x)是定义在凸集 D上具有连续一阶导数的函数，则f(x) 在D上为凸函数的充要条件是：对于任意的 x(1),x(2)∈D 都有
成立f ( 。x ( 2 ) ) f ( x ( 1 ) ) [ f ( x ( 1 ) ) T [ x ] ( 2 ) x ( 1 ) ]
2 0
0 2
x22
最优化_第2章 优化设计的数学基础

最优化_第2章 优化设计的数学基础


(0) (0) f ( x1(0) , x2 x2 ) f ( x1(0) , x2 ) f ( x) lim x2 X ( 0) x2 0 x2
分别表示沿坐标轴x1和x2方向在X (0)处的f(X)变化率。
§2.1
多元函数的导数与梯度
(0) (0) f x1(0) x1 , x2 x2 f x1(0) , x2 f lim d X ( 0 ) d 0 d (0) (0) (0) f x1 x1 , x2 f x1(0) , x2 x1 lim d 0 x1 d
n元函数极值充分条件:海塞矩阵为正定。
2 f 2 x 1 2 f x2 x1 (0) G( X ) 2 f xn x1
2 f xn x2
§2.4
凸集、凸函数与凸规划
f X f X*
函数f(X)在X*附近的一切X均满足不等式
2.二阶导数（ Hessian矩阵)判断
Hessian矩阵G(X)在R上处处半正定。
(0) 1 (0) 2
X (0)
x2
§2.2
多元函数的泰勒展开
二元函数泰勒展开矩阵形式:
f x1 , x2 f X
(0)
f ( X
(0) T
1 ) X X TG ( X (0) )X 2
2 f x 2 1 其中: G ( X (0) ) 2 f x2 x1
2 2
2 5 5 5 1 5 1 5 5
f
X
(1)
26 3x 4 x1 x2 x |X ( 0 ) 5 2 5
2 1
优化设计基础PPT讲稿

优化设计基础PPT讲稿


其中，x1 x1 x10，x2 x2 x20
二元函数泰勒展开式的矩阵形式：
f
x
f
x0
f x1
f x2
x0
x1
x2
1 2
x1
2 f
x2
x12 2 f
x2x1
f
x0
f
T
1T
x0 x x G
x0
x …
2
2 f
x1x2 2 f x22
x0
例：设目标函数f (x)
f (x1, x2 ) 4
x12 x2 , 求点x0
[1
1]T 处沿
d1和d2两个方向的方向导数。
向量d1的方向为：1
2
，
4
向量d2的方向为：1
3
，2
6
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f
梯度：二元函数f
(x1, x2 )在点x0处的梯度是f
优化设计基础课件
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
一个多元函数可用偏导数的概念来研究函数沿各坐标方向 的变化率。
二元函数的偏导数：
一个二元函数f (x1, x2 )在点x0 (x10 , x20 )处的偏导数是
f lim f x10 x1, x20 f x10 , x20
(x0 )
x1
f
x2
x0
f
x1
T
f
,
x2
x0
方向导数与梯度的关系： f f (x0 )T d f (x0 ) cos(f , d) d x0
二元函数f
(
x1,
x2
最新2第二章优化设计的数学基础new汇总

最新2第二章优化设计的数学基础new汇总

x i1
dx i
f
x*T
dx0
i
dh x* k
n hk
x i1
d
xh
i
k
x* T dx0
i
(k = 1,2,l)
令
i n 1 x fi 1 h x1 i 2 h x2 i l h xil di x0
可通过其中的l个方程
fh1h2 hl 0
x 1x 2x
l x
(a)
式（a),(b)可以合并写成
fh1h2 hl 0
x 1x 2x
l x
i
i
i
i
(i = 1, 2,,n)
（c）
令
Fx,fx l khkx
k1
式中 待定系数k称为拉格朗日乘子， F(x, )称为拉格朗日函数。本方法称为
拉格朗日乘子法。
把F(x, )作为一个新的无约束条件的目标函数来求解它的极值点， 所得
解：由于函数变化率最大的方向是梯度方向， 这里用单位向 量p表示， 函数变化率最大的数值是梯度的模f(x0)。求 f(x1,x2)在x0点处的梯度方向和数值，计算 如下
f
f
x0xf1
x2 x0
22xx12
4 2x0
24
fx0 x f1 2 x f2 2422225
p
f x0 f x0
其必要条件为： f ’(x*)=0
若x*为有极小值点，其充分条件为： f ”(x*)>0
若x*为有极大值点，其充分条件为： f ”(x*)<0
2.4 凸集与凸函数与凸规划
2.4.1凸集与非凸集
2.5 等式约束优化问题的极值条件
对于等式约束优化问题： minf(x)

第二章优化设计的数学基础

第二章优化设计的数学基础优化设计是指通过调整设计要素，使得设计达到最佳状态的过程。

在实际应用中，优化设计可以应用于各个领域，包括工程设计、经济决策、生产流程以及物流等等。

在进行优化设计时，我们需要依赖数学的基础知识和方法。

本文将介绍一些常用的数学基础，帮助我们更好地理解和应用优化设计。

首先，优化设计离不开数学模型的建立。

数学模型是对实际问题进行抽象和描述的工具。

它可以将实际问题转化为数学问题，从而进行具体的计算和推理。

常见的数学模型包括线性规划模型、非线性规划模型、整数规划模型等等。

通过建立数学模型，我们可以对设计进行量化和形式化的描述，为后续的优化设计提供依据。

其次，数学中的最优化理论也是优化设计的重要基础。

最优化理论主要研究如何在给定的约束条件下，找到使目标函数达到最优值的决策变量取值。

最优化问题可以分为无约束优化和约束优化两种情况。

无约束优化即在没有约束条件下寻求最优解，而约束优化则在给定一定约束条件下寻找最优解。

在实际的优化设计中，往往需要处理复杂的问题，例如多目标优化、多变量优化等等，并应用最优化理论来解决这些问题。

另外，数值方法是优化设计中不可或缺的工具。

数值方法通过使用数值计算的方法，对优化问题进行求解。

常见的数值方法有穷差法、梯度法、遗传算法等等。

这些方法通过迭代计算的方式，逐步接近最优解。

在实际中，由于优化问题的复杂性，往往难以找到解析解，因此数值方法的应用变得尤为重要。

最后，敏感性分析也是优化设计中的重要工具。

敏感性分析主要研究问题中各个因素对最优解的影响程度。

通过敏感性分析，我们可以了解到设计要素的重要性，从而进行针对性的调整和优化。

敏感性分析方法包括参数敏感性分析、目标函数敏感性分析等等。

通过敏感性分析，我们可以进一步了解设计问题，为优化设计提供实际的参考意见。

综上所述，数学是优化设计的基础。

通过数学模型的建立、最优化理论的应用、数值方法的求解以及敏感性分析的研究，我们能够更好地理解和应用优化设计。

优化设计数学基础

优化设计数学基础
在优化设计数学基础方面，可以从以下几个方面进行思考和实践：
1.培养数学思维能力：数学思维是一种解决问题的思维方式，培养良
好的数学思维能力对于理解和应用数学知识非常重要。

可以通过解决数学
问题、参加数学竞赛等方式培养数学思维能力，例如通过参加奥数培训班、自学数学原理、多动手实践等方法。

2.系统学习基础数学知识：数学基础知识包括数与运算、代数、几何、概率与统计等，可以通过系统学习来加深对这些知识的理解。

可以选择适
合自己的数学教材或者参加相关的数学学习班。

3.实践运用数学知识：数学不仅仅是一门理论学科，还有很广泛的应
用领域。

在优化设计中，数学知识的应用非常广泛。

例如在布局设计中，
可以运用几何知识来优化空间利用；在算法设计中，可以利用数学模型进
行效率优化等等。

因此，在学习数学的同时，要注重实践运用，将数学知
识与实际问题相结合。

4.多角度思考和解决问题：数学是一门逻辑严谨的学科，但在实际应
用中，问题往往是复杂多样的，需要灵活运用数学知识来解决。

可以多角
度思考问题，尝试不同的解法和角度来解决问题，提高解决问题的能力。

5.创新思维和实践：数学基础的优化设计需要不断的创新思维和实践。

可以通过参加数学建模竞赛、进行数学研究等方式培养创新思维和实践能力。

总之，数学基础对于优化设计至关重要，需要通过系统学习、实践运用、创新思维等方式来优化设计数学基础。

只有不断提高数学基础知识的
掌握和应用能力，才能在优化设计中取得更好的成果。

优化设计 第二章(基本概念)

= ∇ f ( x ( 0 ) ) T S = ∇ f ( x ( 0 ) ) ⋅ S ⋅ cos ∇ f , S
( 0) (0) 其中： ∇f ( x ( 0) ) = ∂f ( x ) , ∂f ( x ) T

∂x1
∂x2

是 X(0)点的梯度。
s方向的单位向量: S = cos 2 α1 + cos 2 α 2 = 1 。
(k))，f(x)
总有一个定值c 与之对应；而当f(x)取定值 c 时，则有无限多个设计点 X(i)(x1(i), x2(i), …,xn(i) ) （i=1,2, … ）与之对应，这些点集构成一个曲 面，称为等值面。 当 c 取c1,c2, …等 值时，就获得一族曲面 族，称为等值面族。 当f(x)是二维时，获 得一族等值线族； 当f(x)是三维时，获 得一族等值面族； 当f(x)大于三维时， 获得一族超等值面族。
它将设计空间分成两部分：满足约束条件 gu(X) ≤ 0 的部分和不满足约 束条件 gu(X) > 0 的部分。
设计可行域（简称为可行域） 对于一个优化问题，所有约束的约束面将组成一个复合的约束 曲面，包围了设计空间中满足所有约束条件的区域，称为设计 可行域 。 记作
=
{x
g u(x) ≤ 0 h v (x) = 0
第二章 优化问题的数学模型和基本概念
§2.1 优化设计的数学模型 §2.2 优化设计的三大要素 §2.3 优化设计的分类 §2.4 优化设计的数学基础 §2.5 优化设计的最优解及获得最优解的条件 §2.6 优化设计问题的数值迭代法及其收敛条件
§2.1 优化设计的数学模型
一. 机械优化设计方法解决实际问题的步骤
§2.2 优化设计的三大要素

最新2优化设计的数学基础汇总

2优化设计的数学基础第二章优化设计的数学基础优化设计中绝大多数是多变量有约束的非线性规划问题，即是求解多变量非线性函数的极值问题。

由此可见，优化设计是建立在多元函数的极值理论基础上的，对于无约束优化问题为数学上的无条件极值问题，而对于约束优化问题则为数学上的条件极值问题。

本章主要叙述与此相关的数学基础知识。

第一节函数的方向导数与梯度一、函数的方向导数一个二元函数«Skip Record If...»在点«Skip Record If...»处的偏导数，即函数沿坐标轴方向的变化率定义为：而沿空间任一方向S的变化率即方向导数为：方向导数与偏导数之间的数量关系为依此类推可知n维函数«Skip Record If...»在空间一点«Skip Record If...»沿S方向的方向导数为二、函数的梯度函数«Skip Record If...»在某点X的方向导数表明函数沿某一方向S的变化率。

—般函数在某一确定点沿不同方向的变化率是不同的。

为求得函数在某点X的方向导数为最大的方向，引入梯度的概念。

仍以二元函数«Skip Record If...»为例进行讨论，将函数沿方向S 的方向导数写成如下形式令：图2-1 二维空间中的方向图2-2 三维空间中的方向称为«Skip Record If...»在点X处的梯度«Skip Record If...»，而同时设S为单位向量于是方向导数可写为：此式表明，函数«Skip Record If...»沿S方向的方向导数等于向量«Skip Record If...»在S方向上的投影。

且当«Skip Record If...»，即向量«Skip Record If...»与S的方向相向时，向量«Skip Record If...»在S 方向上的投影最大，其值为«Skip Record If...»。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

2013年7月15日12时36分
29

为函数f ( x )在 x0 点处的海赛（Hessian）矩阵
2013年7月15日12时36分
30
31
31
32
32
若将函数的泰勒展开式只取到线性项，即取
则 是过 切平面。 点和函数 所代表的超曲面相切的
将函数的泰勒展开式取到二次项时则得到二次函数 形式
此条件是必要的，但不充分，也就是说驻点不一定就是极值点。
2013年7月15日12时36分
35
检验驻点是否为极值点，一般用二阶导数的符号 来判断
若
若
，则 x0 为极小点；
，则 x0 为极大点。
若 ， x0 是否为极值点，还需逐 次检验其更高阶导数的符号。开始不为零的 导数阶数若为偶次，则为极值点，若为奇次， 则为拐点，而不是极值点。
2
§2.1 优化设计问题的数学描述及概念
最优化问题涉及的变量经常不止一个。为了简明， 在研究优化设计问题时一般采用向量和矩阵表示法。
1）向量运算 （1）向量的内积
X Y X Y cos
（2）向量的内积也可利用矩阵进行运算 X [ x1, x2 ,...xn ]T Y [ y1, y2 ,... yn ]T 设向量 X Y x1 y1 x2 y2 ... xn yn X TY 则 2）向量的正交 （1）若两个非零向量X、Y的夹角为90º ，则称它们为正交 向量。且有： 或 X TY 0 X Y 0
梯度 方向为函数变化率最大的方向，也就是最速 上升方向；负梯度方向 取最小值方向，即最速 下降方向。与梯度成锐角的方向为函数上升方向，与负 梯度成锐角的方向为函数下降方向。
2013年7月15日12时36分
19
多元函数的梯度
对于函数 处的梯度 在 ，可定义为
2013年7月15日12时36分
A的特征值全为正数。
2013年7月15日12时36分
5
二次齐次函数
F(X )
i , j 1
a
n
ij
xi x j
a12 a22 an 2
... xn ] 21 ... an1
... a1n x1 ... a2 n x2 X T AX ... ... ann xn
38

若 在x0点处取得极小值，则要求在x0点附近的一切 点x均须满足

即要求

或

即
2013年7月15日12时36分
39
条件反映了 阶主子式均大于零 即对于
在
点处的海赛矩阵
的各
要求
二元函数在某点取得极值的充分条件是要求该点处的海 赛矩阵正定。
40
2013年7月15日12时36分
对于多元函数 极值
2013年7月15日12时36分
16
上式中 代表梯度向量 表示梯度向量与d方向夹角的余弦。
的模，
x0 点处函数沿各方向的方向导数是不同的，随 变化，即随所取方向的不同而变化。
最大值发生在 取值为1时，也就是当梯度方向和 d 方向重合时其值最大。
可见梯度是一个矢量，梯度方向是函数值变化最快的 方向，而梯度的模就是函数变化率的最大值。
2 cx2
2 ax1
bx1x2
根据线性代数
6
2013-7-15
6
* 矩阵A为正定的充要条件--A的各阶主子式均大于零。
a11 A a21 如 a31
则必有：
a12 a22 a32
a13 a23 a33
为正定，

a11 0 a11 a21 a11 a21 a31 a12 0 a22 a12 a22 a32 a13 a23 0 a33
二元函数的梯度
二元函数 f (x1 , x2) 在 x0 点处的方向导数 写成下面的形式 式可改
令
并称它为函数 f (x1 , x2) 在 x0 点处的梯度。
2013年7月15日12时36分
15
设
为 d 方向单位向量，则有
即函数 f (x1 , x2)在 x0 点处沿某一方向d的方向导数 等于函数在该点处的梯度 与d方向单位向量的内积。 把向量之间的内积写成向量之间的投影形式，即
2013年7月15日12时36分
13
依此类推，即可得到n元函数 f ( x1 , x1 ,…, xn ) 在x0点处沿d方向的方向导数，其中的 cosθ i 为d方向和 坐标轴 xi方向之间夹角的余弦。
F d
n
x0
F x1
x0
F x 0 cos 1 x2
F x 0 cos 2 xn
2013年7月15日12时36分
17
当在 x1 - x2 平面内画出 f ( x1 , x2 ) 的等值线
从右图可以看出，在x0处等值线的 切线方向 d 是函数变化率为零的方 向，即有：
所以 梯度 和切线方向 d 垂直， 故梯度方向为等值面法向方向。
2013年7月15日12时36分
18
2013年7月15日12时36分 1
第二章 优化设计的数学基础
2.1 2.2 2.3 2.4 2.5 2.6
向量与矩阵的有关概念
多元函数的方向导数与梯度
多元函数的泰勒展开
无约束优化问题的极值条件
凸集、凸函数与凸规划
等式约束优化问题的极值条件
不等式约束优化问题的极值条件
重点
2.7
2013年7月15日12时36分
(aij a ji )
即在二次函数中只含有变量的二次项，则称为二次齐次函数 或二次型。 （2）将二次型写成矩阵形式：
a11 a f ( X ) [ x1 , x2 ,..., xn ] 21 ... an1 a12 a22 ... an 2 ... a1n ... a2 n ... ... ... ann x1 x 2 =X T AX ... xn
则矩阵A为n 阶对称矩阵，若对于任意非零向量X， 恒有 f ( X ) XT AX>0 则称f(x)为正定二次型，并称矩阵A 是正定的。 （3）正定矩阵 当矩阵A 为对称矩阵，若A 的各阶主子行 列式均大于零，则称矩阵A为正定矩阵。
n阶实对称矩阵A正定
n阶实对称矩阵A正定
A的顺序主子式大于零。
优化计算经常把目标函数表示成二次函数以便使问题的 分析得以简化。 在线性代数中将二次齐次函数称作二次型，其矩阵形式 为（G为对称矩阵）
2013年7月15日12时36分
33
在优化计算中，当某点附近的函数值采用泰勒展开 式作近似表达时，研究该点邻域的极值问题需要分 析二次型函数是否正定。
当对任何非零向量x使
其中
2013年7月15日12时36分
23
二元函数 式为
在
点处的泰勒展开
其中
2013年7月15日12时36分
24
将上述展开式可以写成矩阵形式：
2013年7月15日12时36分
25
其中

称作函数 矩阵，它是由函数 组成的方阵。
在 x0 点处的海赛（Hessian） 在 x0 处的二阶偏导数所
称为该函数沿此方向的方向导数。
2013年7月15日12时36分
9
据此，偏导数 和 也可看成是函数 f (x1 , x2) 分别沿坐标轴 x1 和 x2方向的方向导数。 所以方向导数是偏导数概念的推广，偏导数是方向导数 的特例。
2013年7月15日12时36分
10
方向导数与偏导数之间的数量关系是
2013年7月15日12时36分 3
（2）若对于k个非零向量 X1 , X 2 ,....., X k,存在着 X iT X j 0 i j 则该向量系为正交向量系。 3）二次型与正定矩阵 （1）在优化问题中，有一类二次函数很重要：
f ( X ) aij xi x j
i , j 1 n
2 例： F ( X ) ax12 2bx1x2 cx2

1)对于X 0, 恒有F ( X ) 0, 则A为正定矩阵 ; bx1x2 对于X 0, 恒有F ( X ) 0,则A为半正定矩阵 ; a b x1 对于X 0, 恒有F ( X ) 0,则A为负定矩阵 ; [ x1 x2 ] x b c 2 2)若A为正定 则F ( X )称为正定二次型 , .
由于函数的二次连续性，有
所以
矩阵为对称方阵。
26
例子见书例2－2
2013年7月15日12时36分
27
27
28
28
将二元函数的泰勒展开式推广到多元函数时，则多 元函数 f ( x1, x2, …, xn ) 在点 x0 处泰勒展开式的矩阵 形式为
其中
为函数 f ( x ) 在 x0 点处的梯度
F s
x0
F x1
x0
F cos1 x2
cos 2
x0
2013年7月15日12时36分
11
2013年7月15日12时36分
12
同样，一个三元函数 f ( x1 , x2 , x3 )在 x0 (x10 , x20 , x30) 点处沿d方向的方向导数如下图所示，可类似地表示成 下面的形式
7
2013-7-15
7
§ 2.2 多元函数的方向导数与梯度
方向导数
根据高等数学知识，一个二元函数 f (x1 , x2)在点x0 (x10 , x20)处的偏导数，其定义是
其中 和 方向的变化率。
分别是函数在x0点沿坐标轴 x1和 x2