下载文档原格式
第十一章约束最优化问题的可行方向法§1 Frank-Wolf方法一、问题形式（11.1）其中为矩阵，，。
记并设一阶连续可微。
二、算法基本思想是一个凸多面体，任取，将在处线性展开用或（11.2）逼近原问题，这是一个线性规划问题，设是其最优解。
1）若，则也是线性规划问题（11.2）的最优解，此时可证为原问题的K-T点。
2）若，则由是（11.2）的最优解，故必有从而即为在处的下降方向，沿此方向作有约束的一维搜索设最佳步长因子为，令当充分小时用取代，重复以上计算过程。
三、算法迭代步骤1）给定初始点，允许误差，。
2）求解线性规划问题，得最优解。
3）若，Stop,；否则go to 4)。
4）进行一维搜索，得最优步长因子；令，，go to 2)四、算法收敛性定理设非线性规划问题（11.1）的最优解存在，且对算法产生的点列，线性规划问题（11.3）的最优解总存在。
则1）若迭代到某步，有，则为问题（11.1）的K-T点；2）若情形1）总不发生，则算法产生一有界无穷点列，其任意极限点都是原问题（11.1）的K-T点。
证明：若情形1）出现，则也是问题（11.3）的最优解，故满足（11.3）的K-T条件：（11.4）而(11.1)的K-T条件：（11.5）（11.4）表明，，一起满足K-T条件（11.5），故是原问题的K-T点。
2）由点列包含在的极点的凸组合中，而均为的极点，故、均为有界点列。
设为的任一极限点，即存在子列，使得：注意到点列满足：考虑点列、、，不失一般性，设，，否则，可以通过反复抽取子序列，使上式对某个子序列成立。
由是的最优解，故，有且再由及取极限，有（11.6）不等式组（11.6）等价于：（11.7）若能证明即为问题的最优解，由本定理的第一部分可知，为原问题K-T点。
下证：，若不然，由（11.7）即知必有故为处的下降方向，因而当充分小时，有进而有：（11.8）但为单调下降的有界序列，故存在而且即与（11.8）矛盾，故必有。
第三章 牛顿法§3.1 最速下降法一、最速下降法在极小化算法中，若每次都以迭代点处的负梯度方向为搜索方向，产生的算法称为最速下降法，它是无约束最优化算法中最简单、最基本的算法。
算法描述：1） 给出初始点0n x R ∈，允许误差0ε>，0k =； 2） 计算k k d g =-，若k g ε≤，Stop 令 *k x x ≈； 3） 由一维搜索确定步长因子k α，使得()min ()k k k k k f x d f x d ααα≥+=+4） 令1k k k k x x d α+=+，1k k =+，go to 2).二、最速下降算法的收敛性定理3.1 设1f C ∈，则最速下降算法产生的点列{}k x 的每个聚点均为驻点。
证明：设x 是{}k x 的一个聚点，则存在子序列{}1k K x ，使得1lim k k K x x ∈=令()k k d f x =-∇，由1f C ∈，知{}1()k K f x ∇是收敛序列，故{}1k K d 有界，且1lim ()k k K d f x ∈=-∇由定理2.6有2()(())()0Tf x f x f x ∇-∇=-∇=故有 ()0f x ∇=。
定理 3.2 设()f x 二次连续可微，且2()f x M ∇≤，则对任何给定的初始点0n x R ∈，最速下降算法或有限终止，或lim ()k k f x →∞=-∞，或lim ()0k k f x →∞∇=。
证明：不妨设k ∀，()0k f x ∇≠。
由定理2.5有211()()()2k k k f x f x f x M+-≥∇ 于是 []120101()()()()()2kk k i i i i i f x f x f x f x f x M -+==-=-≥∇∑∑令k →∞，由{()}k f x 为单调下降序列，则要么lim ()k k f x →∞=-∞，要么 lim ()0k k f x →∞∇=。
最优化理论与算法（数学专业研究生）第一章引论前言一、历史与现状最优化理论最早可追忆到古老的极值问题，但成为一门独立的学科则是在 20世纪四十年月末至五十年月初。
其奠定性工作包含FritzJohn最优性条件（ 1948），Kuhn-Tucker最优性条件（1951），和Karush最优性条件(1939)。
近几十年来最优化理论与算法发展十分快速，应用也愈来愈宽泛。
现在已形成一个相当宏大的研究领域。
对于最优化理论与方法，狭义的主要指非线性规划的有关内容，而广义的则涵盖：线性规划、非线性规划、动向规划、整数规划、几何规划、多目标规划、随机规划甚至还包含变分、最优控制等动向优化内容。
本课程所波及的内容属于前者。
二、最优化问题的一般形式1、无拘束最优化问题minf(x)（）xR n2、拘束最优化问题minf(x)c i(x)0,i E（）st..i Ic i(x)0,这里E和I均为指标集。
§数学基础一、范数向量范数xx1x2maxx i（l范数）（）ni1x i（l1范数）（）n1(x i2)2（l2范数）（）i11/30n1x p(x i p)p（l p范数）（）i11x A(x T Ax)2（A正定）（椭球范数）（）事实上1－范数、2－范数与范数分别是p－范数当p＝1、2和p时情况。
2．矩阵范数定义方阵A的范数是指与A有关系并记做A的一个非负数，它拥有以下性质：①对于A0都有A0，而A0时A0；②对于随意k R，都有kA kA；③AB A B；④AB A B；若还进一步知足：⑤Ax p A x p则称之为与向量范数p相协调（相容）的方阵范数。
若令AxAmaxx （这里x是某一直量范数）（）x0可证这样定义的范数是与向量范数相协调的，往常称之为由向量范数引诱的方阵范数。
特别地，对方阵A(a ij)nn，有：nA1max a ijj1inA max a iji1j1A2(A T A)2（（列和的最大者）（）（行和的最大者）（）T表示A T A的特点值的最大者）(1.11) AA称为谱范数（注：方阵A的特点值的模的最大者称为A的谱半径，记为(A)）。
第五章 拟牛顿法§5.1 拟牛顿法牛顿法具有收敛速度快的优点，但需要计算Hesse 矩阵的逆，计算量大。
本章介绍的拟牛顿法将用较简单的方式得到Hesse 矩阵或其逆的近似，一方面计算量不大，另一方面具有较快的收敛速度，这类算法是无约束最优化问题最重要的求解方法。
一、拟牛顿条件设()f x 在nR 上二次可微，为了获得Hesse 矩阵2()()G x f x =∇在1k x +处的近似，先研究如下问题。
考虑()f x 在1k x +附近的二次近似：1111111)()()()2()(TT k k k k k k g x x G x f x f x x x x +++++++-+--≈. 两边求导，有 111()()k k k g x g G x x +++≈+- 令k x x =，有 111()k k k k k g g G x x +++≈+- 再令 1k k k s x x +≈-，1k k k y g g +≈-则有 1k k k y G s +≈ 或 11kkk G y s -+≈.因此，我们要求构造出的Hesse 矩阵的近似1k B +或Hesse 矩阵逆的近似1k H +应分别满足：1k k k B s y += 或 1k kk H y s += （5.1）它们均称之为拟牛顿条件。
二、一般拟牛顿算法1） 给出初始点0x R ∈，0H I =，0ε>，:0k =.2） 若k g ε≤，停止；否则，计算k k k d H g =-（拟牛顿方向）.3） 沿方向k d 进行线性搜索，0k α>（可以是精确，也可非精确）.令1k k k k x x d α+=+. 4） 校正k H 产生1k H +，使拟牛顿条件满足. 5） :1k k =+， 转2）拟牛顿法较之牛顿法有下述优点： 1） 仅需梯度（牛顿法需Hesse 矩阵）；2） k H 保持正定，因而方向具有下降性质（而牛顿法中k G 可能不定）； 3） 每次迭代需2()O n 次运算，而牛顿法需3()O n 次运算。
数学中的优化理论与最优化方法一、优化理论概述1.优化理论的定义：优化理论是研究如何从一组给定的方案中找到最优方案的数学理论。
2.优化问题的类型：–无约束优化问题–有约束优化问题3.优化问题的目标函数：–最大值问题–最小值问题二、无约束优化方法1.导数法：–单调性：函数在极值点处导数为0–凸性：二阶导数大于0表示函数在该点处为凸函数2.梯度下降法：–基本思想：沿着梯度方向逐步减小函数值–步长：选择合适的步长以保证收敛速度和避免振荡3.牛顿法（Newton’s Method）：–基本思想：利用函数的一阶导数和二阶导数信息，构造迭代公式–适用条件：函数二阶连续可导，一阶导数不间断三、有约束优化方法1.拉格朗日乘数法：–基本思想：引入拉格朗日乘数，将有约束优化问题转化为无约束优化问题–适用条件：等式约束和不等式约束2.库恩-塔克条件（KKT条件）：–基本思想：优化问题满足KKT条件时，其解为最优解–KKT条件：约束条件的斜率与拉格朗日乘数相等，等式约束的拉格朗日乘数为03.序列二次规划法（SQP法）：–基本思想：将非线性优化问题转化为序列二次规划问题求解–适用条件：问题中包含二次项和线性项四、最优化方法在实际应用中的举例1.线性规划：–应用领域：生产计划、物流、金融等–目标函数：最大化利润或最小化成本–约束条件：资源限制、产能限制等2.非线性规划：–应用领域：机器人路径规划、参数优化等–目标函数：最大化收益或最小化成本–约束条件：物理限制、技术限制等3.整数规划：–应用领域：人力资源分配、设备采购等–目标函数：最大化利润或最小化成本–约束条件：资源限制、整数限制等4.动态规划：–应用领域：最短路径问题、背包问题等–基本思想：将复杂问题分解为多个子问题，分别求解后整合得到最优解5.随机规划：–应用领域：风险管理、不确定性优化等–基本思想：考虑随机因素，求解期望值或最坏情况下的最优解数学中的优化理论与最优化方法是解决实际问题的重要工具，掌握相关理论和方法对于提高问题求解能力具有重要意义。
