最优化方法课程PPT

x
∞
表示
= max { xi }
x 1 = ∑ xi
x 2 = (∑ x
1 2 2 i
)
7
二、数学预备知识
范数的内积 范数不等式
x y = ∑ xi yi
T i =1 n
x+ y ≤ x + y
三角不等式 柯西不等式
x0 = ( x1 ( 0 ) , x2 ( 0 ) ,..., xn ( 0 ) )
() () ()
4
一、最优化方法的基本概念
(2) 非线性规划 非线性规划(Nonlinear Programming, NLP)
f(x)，Ci(x) ( i ∈ E U I )，其中之一均为线性函数 ，
(3) 无约束最优化问题 Unconstraint Optimization Problem) 无约束最优化问题(
λ)x(2)
x(2)
x
17
二、数学预备知识
(3) 凸函数的判定准则 一阶判定条件： 在凸集S上具有一阶连续偏导数 一阶判定条件： f(x)在凸集 上具有一阶连续偏导数，则 在凸集 上具有一阶连续偏导数， f(x)为S上凸函数的充要条件是 为 上凸函数的充要条件是
f x
f(x)
( ) ≥ f ( x ) + ∇f ( x ) ( x ( ) − x ( ) )
x
2 21 1
没有约束条件C 没有约束条件 i(x)
5
一、最优化方法的基本概念
4 数学规划模型的分类 主要是针对决策变量x 来进行分类： 主要是针对决策变量 1, x2,…xn来进行分类：
连续型 离散型
线性规划 LP (有、无约束 有 无约束)
非线性规划NLP 非线性规划 (有、无约束 有 无约束)

共117页第8页
同时太阳系这个"整体"又是它所属的"更大整 体"--银河系的一个组成部分。世界上的具体系统是 纷繁复杂的，必须按照一定的标准，将千差万别的 系统分门别类，以便分析、研究和管理，如：教育 系统、医疗卫生系统、宇航系统、通讯系统等等。 如果系统与外界或它所处的外部环境有物质、能量 和信息的交流，那么这个系统就是一个开放系统， 否则就是一个封闭系统。开放系统具有很强的生命 力，它可能促进经济实力的迅速增长，使落后地区 尽早走上现代化。如改革开放以来已大大增强了我 们的综合国力。而我国的许多边远山区农村，由于 交通不便，相对封闭，还处于比较落后的状态。
会科学和思维科学的相互渗透与交融汇流，产生了 具有高度抽象性和广泛综合性的系统论、控制论和 信息论。
系统论是研究系统的模式、性能、行为和规律 的一门科学。它为人们认识各种系统的组成、结构、 性能、行为和发展规律提供了一般方法论的指导。 系统论的创始人是美籍奥地利理论生物学家和哲学 家路德维格·贝塔朗菲。系统是由若干相互联系的 基本要素构成的，它是具有确定的特性和功能的有 机整体。如太阳系是由太阳及其围绕它运转的行星 （金星、地球、火星、木星等等）和卫星构成的。
从数学上比较一般的观点来看，所谓最优化问题可 以概括为这样一种数学模型：给定一个“函数”，F(X)， 以及“自变量”X应满足的一定条件，求X为怎样的值时， F(X)取得其最大值或最小值。这里在函数和自变量两个 词上之所以打上引号，是想强调它们的含意比中学数学 和大学微积分中函数的定义要广泛得多。通常，称F(X) 为“目标函数”，X应满足的条件为“约束条件”。约 束条件一般用一个集合D表示为：X∈D。求目标函数 F(X)在约束条件X∈D下的最小值或最大值问题，就是一 般最优问题的数学模型，它还可以利用数学符号更简洁 地表示成：Min F(X)或Max F(X)。

• 另外也可用学术味更浓的名称：“运筹 学”。由于最优化问题背景十分广泛，涉 及的知识不尽相同，学科分枝很多，因此 这个学科名下到底包含哪些分枝，其说法 也不一致。
• 比较公认的是：“规划论”（包括线性和
非线性规划、整数规划、动态规划、多目
标规划和随机规划等），“组合最优化”，
“对策论”及“最优控制”等等。
j
1, 2,L
,n
(5)
14
nn
min
cij xij
i 1 j 1
n
xij 1, i 1, 2,L
,n
s.t.
j 1 n
(5)
xij 1, j 1, 2,L , n
i1
xij
0
或 1 ,i,
j
1, 2,L
,n
(5)的可行解既可以用一个矩阵(称为解矩阵)表示，其每行每列均有且只
mn
min
cij xij
i 1 j 1
n
xij ai ,
i 1, , m
j 1
s.t.
m xij bj ,
j 1,2, , n
i 1
xij
0
11
对产销平衡的运输问题，由于有以下关系式存在：
n
bj
j1
m
i1
n xij
j1
n m
j1 i1
xij
费的总时间最少？
引入变量 xij ，若分配 i 干 j 工作，则取 xij 1，否则取 xij 0 。上
述指派问题的数学模型为
nn
min
cij xij
i 1 j 1
n
xij 1,i 1, 2,L
,n
j1

12
本课程对学生的具体要求为： ①理解最优化的基本概念、算法原理和 算法结构； ②熟悉几种常用的经典优化算法，知晓 其优缺点及适用范围； ③了解模拟退火算法和遗传算法的基本 原理； ④能较为熟练地运用Lingo软件求解各种 优化问题。
13
3. 编程要求 基于下列理由，本门课要求学生对2~3个
基本优化算法（如一维搜索、梯度法、变尺 度法、模拟退火、基本遗传算法）编制出通 用 程 序 ， 编 程 工 具 建 议 采 用 C++ 、 Matlab 或 Maple。
前面提到的算法是最优化的基本方法， 它们简单易行，对于性态优良的一般函数， 优化效果较好。但这些经典的方法是以传统 微积分为基础的，不可避免地带有某种局限
5
局限性，主要表现为：①大多数传统优化方 法仅能计算目标函数的局部最优点，不能保 证找到全局最优解。对于多峰值函数，这些 方法往往由于过分追求“下降”而陷于局部 最优解；②许多传统优化方法对目标函数的 光滑性、凹凸性等有较高的要求，对于离散 型函数、随机型函数基本上无能为力。
15
③Lingo、Matlab优化工具箱等优化软件 功能的确强大，但它们也不是万能的。首先, 对于某些优化问题，这些工具软件有都求不 出最优解。其次不能保证对任何优化问题都 有现成的工具软件，实际上，许多现代优化 方法都不可能编制成通用软件；
④熟练使用相关科技软件、具有一定的 编程水平是工科研究生所必须具有的素养， 从某种程度上讲，后者更能反映出个人的能
7
二、《最优化方法》课程主要内容 本门课程的主要内容为常用经典优化方
法、现代优化方法中的模拟退火算法和遗传 算法以及运筹优化软件Lingo简介。
经典优化方法包括： 1.常用的一维搜索方法——黄金分割法、 Fibonacci法和解析法； 2. 最速下降法、共轭梯度法； 3. 牛顿法；

解法：Lagrange乘子法
1.2 实例
数据拟合问题 原料切割问题 运输问题 营养配餐问题 分配问题
1.3 基本概念
1. 最优化问题的向量表示法
设 xvx1,x2,L,xnT 则
m i n fx 1 ,x 2 ,L ,x n m i n fx v （1）
以向量为变量的实值函数 定义向量间的序关系(定义1.1)：
②取 c0,1,4,9,L并画出相应的曲线（称之为等值线）.
③确定极值点位置，并用以往所学方法求之。
易知本题的极小值点 xv* 2,1T。
再复杂点的情形见P13上的例1.7。 虽然三维及以上的问题不便于在平面上画图，图解 法失效，但仍有相应的等值面的概念，且等值面具有以 下性质：
①有不同函数值的等值面互不相交（因目标函数是单值 函数的缘故）；
其中
g1 xv0
x1
g2 xv0
x1
L
gv
xv0
g1 xv0
x2
g2 xv0
x2
L
M
g1 xv0
xn
M
g2 xv0
xn
称为向量值函数 gv xv 在点
L
xv 0
g
m xv0
x1
g
m
xv0
x2
g
M
m xv0
xn
处的导数，
而gv xv0 T 称为向量值函数 gv xv 在点 xv 0 处的Jacobi矩阵。
称为最优化方法。最优化方法是在第二次世界大战前后，
在军事领域中对导弹、雷达控制的研究中逐渐发展起来 的。
最优化方法解决问题一般步骤： （1）提出需要进行最优化的问题，开始收集有关资 料和数据； （2）建立求解最优化问题的有关数学模型，确定变 量，列出目标函数和有关约束条件； （3）分析模型，选择合适的最优化方法； （4）求解方程。一般通过编制程序在电子计算机上 求得最优解； （5）最优解的验证和实施。 随着系统科学的发展和各个领域的需求，最优化方 法不断地应用于经济、自然、军事和社会研究的各个领 域。

0.91
0.91
3 (x 5)2 ( y 3)2 18 (x 1)2 ( y 1)2
0.91
0.91
8 (x 3)2 ( y 1)2 6 (x 5)2 ( y 1)2 ] / 84
▪ 问题为在区域0=<x=<6, 0=<y=<6上求z=f(x,y)的 最小值。
•15
绘制目标函数图形
xnew=a+(b-a)*rand(1); ynew=c+(d-c)*rand(1); znew=subs(z,[x,y],[xnew,ynew]); if znew<zmin
xmin=xnew; ymin=ynew; zmin=znew; fprintf('%4.0f %1.6f %1.6f %1.6f\n', n, xmin, ymin, zmin); end end
•16
16/5+...+17/140 (x2-10 x+26+y2-2 y)91/200
20
15
10
5
5 0
5 0
-5
-5
y
x
•17
绘制等值线图
ezcontourf(z,[0 6 0 6])
colorbar, grid on
16/5+...+17/140 (x2-10 x+26+y2-2 y)91/200 6
据的统计分析给出：对离救火站r英里打来
的求救电话，需要的响应时间估计
为
。下图给出了从消3.防21管.7r0员.91 处得到
的从城区不同区域打来的求救电话频率的
估计数据。求新的消防站的最佳位置。
•13

用MATLAB解无约束优化问题 解无约束优化问题
1. 一元函数无约束优化问题 一元函数无约束优化问题: min f ( x )
x1 ≤ x ≤ x 2
常用格式如下： 常用格式如下： （1）x= fminbnd (fun,x1,x2) ） （2）x= fminbnd (fun,x1,x2 ，options) ） （3）[x，fval]= fminbnd（…） ） ， （ （4）[x，fval，exitflag]= fminbnd（…） ） ， ， （ （5）[x，fval，exitflag，output]= fminbnd（…） ） ， ， ， （ 其中等式（ ）、（ ）、（5）的右边可选用（ ） ）、（4）、（ 其中等式（3）、（ ）、（ ）的右边可选用（1）或（2） ） 的等式右边. 的等式右边 函数fminbnd的算法基于黄金分割法和二次插值法，它要求 函数 的算法基于黄金分割法和二次插值法， 的算法基于黄金分割法和二次插值法 目标函数必须是连续函数，并可能只给出局部最优解. 目标函数必须是连续函数，并可能只给出局部最优解
有约束最优化问题的数学建模
有约束最优化模型一般具有以下形式： 有约束最优化模型一般具有以下形式：
min
x
f (x)
或
max
x
f (x)
st. ...... .
st. ...... .
其中f(x)为目标函数，省略号表示约束式子，可以是 为目标函数，省略号表示约束式子， 其中 为目标函数 等式约束，也可以是不等式约束。 等式约束，也可以是不等式约束。
标准型为： 标准型为：min F ( X ) 命令格式为: 命令格式为 ）；或 （1）x= fminunc（fun,X0 ）；或x=fminsearch（fun,X0 ） ） （ （ （2）x= fminunc（fun,X0 ，options）； ） （ ）； 或x=fminsearch（fun,X0 ，options） （ ） （3）[x，fval]= fminunc（...）； ） ， （ ）； 或[x，fval]= fminsearch（...） ， （ ） （4）[x，fval，exitflag]= fminunc（...）； ） ， ， （ ）； 或[x，fval，exitflag]= fminsearch ， ， （5）[x，fval，exitflag，output]= fminunc（...）； ） ， ， ， （ ）； 或[x，fval，exitflag，output]= fminsearch（...） ， ， ， （ ）

递归法
递归地求解子问题，并存 储子问题的解以避免重复
计算。
备忘录法
使用备忘录存储子问题的 解，以避免重复计算，同 时避免因重复计算而导致
的内存消耗。
迭代法
通过迭代的方式求解子问 题，并逐渐逼近最优解。
动态规划的应用
生产计划问题
在生产过程中，需要制定生产计 划以满足市场需求，同时最小化 生产成本。动态规划可以用于求 解此类问题。
线性规划问题具有形式化 的特征，包括决策变量、 目标函数和约束条件。
线性规划问题通常用于解 决资源分配、生产计划、 运输和分配等问题。
线性规划的解法
线性规划的解法有多种，包括 单纯形法、椭球法、分解算法
等。
单纯形法是最常用的线性规 划解法，它通过迭代过程寻 找最优解，每次迭代都使目
标函数值减小。
椭球法和分解算法也是常用的 解法，但它们在处理大规模问
谢谢您的聆听
THANKS
线性规划问题
在目标函数和约束条 件均为线性时，寻找 最优解的问题。
非线性规划问题
在目标函数或约束条 件为非线性时，寻找 最优解的问题。
整数规划问题
在变量取整数值且约 束条件为整数时，寻 找最优解的问题。
最优化问题的求解方法
牛顿法
通过构造一个二次函数近似目 标函数，并利用牛顿公式求解 最优解。
共轭梯度法
要点二
详细描述
在生产领域，整数规划可以用于生产计划、资源分配等问 题，如安排生产线的生产计划、分配原材料等资源。在管 理领域，整数规划可以用于物流调度、车辆路径等问题， 如优化物流配送路线、制定车辆行驶计划等。在经济领域 ，整数规划可以用于投资组合、风险管理等问题，如优化 投资组合以实现最大收益或最小风险。