约束最优化问题 一实习目的 1.熟练掌握科学与工程计算中常用的基本算法； 2.掌握分析问题，设计算法的能力； 3.掌握模块化程序设计的基本思想，注重模块的“高内聚，低耦合”； 4.采用自顶向下，逐步细化的编程思想完成程序书写； 5.牢固建立“清晰第一，效率第二”的软件设计观念； 6.掌握软件调试，测试的基本技能和方法； 7.提高科技报告的书写质量； 8.在掌握无约束最优化问题求解方法的前提下，对一般情形下的约束最优化问题进行研究，通过实习掌握外点罚函数法、内点罚函数法、乘子法、线性近似规划法和序列二次规划法在求解一般情形下的约束最优化问题的应用。 二问题定义及题目分析 问题1： 要求用外点罚函数法和内点罚函数法解决约束问题： Min f(x)=错误！未找到引用源。 s.t. 错误！未找到引用源。 错误！未找到引用源。 错误！未找到引用源。 问题2： 要求用乘子法解决约束问题： Min 错误！未找到引用源。 s.t. 错误！未找到引用源。 错误！未找到引用源。 (错误！未找到引用源。) 问题3： 要求用线性近似规划法和序列二次规划法解决约束问题: Min 错误！未找到引用源。 s.t. 错误！未找到引用源。 错误！未找到引用源。 错误！未找到引用源。 错误！未找到引用源。 三程序概要设计 1.外点罚函数法 Step1. 给定初始点错误！未找到引用源。,罚参数序列{错误！未找到引用源。}(常取错误！未找到引用源。),精度错误！未找到引用源。，并令k=0；
Step2. 构造增广目标函数错误！未找到引用源。; Step3. 求解无约束优化问题min 错误！未找到引用源。,x错误！未找到引用源。,其解记为错误！未找到引用源。； Step4. （终止准则：惩罚项充分小，或等价地错误！未找到引用源。近似可行）若错误！未找到引用源。，或者错误！未找到引用源。,错误！ 未找到引用源。,则得解错误！未找到引用源。，否则令k=k+1，转 Step2. 2.内点罚函数法： Step1. 给定初始可行解错误！未找到引用源。，罚参数序列{错误！未找到引用源。}(常取错误！未找到引用源。),精度错误！未找到引用源。，并令 k=0； Step2. 构造增广目标函数错误！未找到引用源。; Step3. 求解无约束优化问题min 错误！未找到引用源。,x错误！未找到引用源。,其解记为错误！未找到引用源。； Step4. （终止准则）若错误！未找到引用源。，则得解错误！未找到引用源。，否则令k=k+1，转 Step2. 3.乘子法： Step1. 给定初始点错误！未找到引用源。，初始lagrange乘子错误！未找到引用源。,i错误！未找到引用源。罚参数序列{错误！未找到引用源。}, 精度错误！未找到引用源。，并令k=0； Step2. 构造增广目标函数错误！未找到引用源。 Step3. 求解无约束优化问题min 错误！未找到引用源。，x错误！未找到引用源。,其解记为错误！未找到引用源。； Step4. （终止准则）若错误！未找到引用源。,则得解错误！未找到引用源。，否则令 K=k+1,转Step2. 4.线性近似规划法： Step1. 给定初始点错误！未找到引用源。，步长限制错误！未找到引用源。,缩小系数错误！未找到引用源。。精度错误！未找到引用源。,并令k=0；Step2. 求解线性规划问题：min 错误！未找到引用源。
题目：用外点法求解非线性约束最优化问题 学院信息管理学院 学生姓名余楠学号 81320442 专业数量经济学届别 2013 指导教师易伟明职称教授 二O一三年十二月
用外点法求解非线性约束最优化问题 摘要 约束最优化问题是一类重要的数学规划问题。本文主要研究了用外点罚函数法对约束非线性规划问题进行求解。对于一个约束非线性规划用罚函数求解的基本思路是通过目标函数加上惩罚项，将原约束非线性规划问题转化为求解一系列无约束的极值问题。本文最后利用c语言编程得到满足允许误差内的最优解。 本文主要对一个约束非线性规划问题的实例，首先利用上述迭代的方法，计算出各迭代点的无约束极值问题的最优解。然后应用c语言编程，得到精确地最优解，需迭代四次次才使得ε≤0.001，得到的最优解为* X=(333 .0)T。 .0, 666 关键词：外点罚函数法非线性规划约束最优化迭代最优解
一、背景描述 线性规划的目标函数和约束条件都是决策变量的线性函数，但如果目标函数或约束条件中含有决策变量的非线性函数，就称为非线性规划。非线性规划与线性规划一样，也是运筹学的一个极为重要的分支，它在经济、管理、计划、统计以及军事、系统控制等方面得到越来越广泛的应用。 非线性规划模型的建立与线性规划模型的建立类似，但是非线性规划问题的求解却是至今为止的一个研究难题。虽然开发了很多求解非线性规划的算法，但是目前还没有适用于求解所有非线性规划问题的一般算法，每个方法都有自己特定的适用范围。 罚函数法是应用最广泛的一种求解非线性规划问题的数值解法，它的基本思路是通过目标函数加上惩罚项，将原约束非线性规划问题转化为求解一系列无约束的极值问题。这种惩罚体现在求解过程中，对于企图违反约束的那些迭代点，给予很大的目标函数值，迫使这一系列无约束问题的极小值点无限的向可行集（域）逼近，或者一直保持在可行集（域）内移动，直到收敛于原来约束问题的极小值点。 外点法的经济学解释如下：若把目标函数看成“价格”，约束条件看成某种“规定”，采购人员在规定的范围内采购时价格最便宜，但若违反了规定，就要按规定加收罚款。采购人员付出的总代价应是价格和罚款的综合。采购人员的目标是使总代价最小，当罚款规定的很苛刻时，违反规定支付的罚款很高。这就迫使采购人员在规定的范围内采购。数学上表现为罚因子足够大时，无约束极值问题的最优解应满足约束条件，而成为约束问题的最优解。 二、基础知识 2.1 约束非线性优化问题的最优条件 该问题是一个约束非线性优化问题，利用外点罚函数法求解该问题，约束非线性优化问题的最优解所要满足的必要条件和充分条件是我们设计算法的依据，为此有以下几个定理。
多维无约束优化算法 部门： xxx 时间： xxx 整理范文，仅供参考，可下载自行编辑
多维无约束优化算法 多维无约束优化问题的一般数学表达式为： 求n 维设计变量 使目标函数 多维无约束优化算法就是求解这类问题的方法，它是优化技术中最重要最基础的内容之一。因为它不仅可以直接用来求解无约束优化问题，而且实际工程设计问题中的大量约束优化问题，有时也是通过对约束条件的适当处理，转化为无约束优化问题来求解的。所以，无约束优化方法在工程优化设计中有着十分重要的作用。b5E2RGbCAP 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。 <1）间接法——要使用导数，如梯度法、<阻尼）牛顿法、变尺度法、共轭梯度法等。 <2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。这类方法较适用于解决变量个数较少的 下面介绍几种经典的无约束优化方法。 1、梯度法 基本思想：函数的负梯度方向是函数值在该点下降最快的方向。将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。DXDiTa9E3d 搜索方向s 取该点的负梯度方向 (最速下降方向> ，使函数值在该点附近的范围内下降最快 。 为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。即有 根据一元函数极值的必要条件和多元复合函数求导公式，得 在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。这就是说在迭代点向函数极小点靠近的过程，走的是曲折的路线。形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。RTCrpUDGiT 方法特点 <1）初始点可任选，每次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。 5PCzVD7HxA ()k f -?x k α1(0,1,2,) k k k k s k α+=+=x x 1()(0,1,2,)k k k k a f k +=-?=x x x 1()[()]min [()]min ()k k k k k k k a a f f a f f a f ?α+=-?=-?=x x x x x {}'()[()]()0T k k k k f f f ?αα=-?-??=x x x 1[()]()0k T k f f +??=x x 1()0k T k s s += 常用无约束最优化方法评价准则 方法算法特点适用条件 最速下降法属于间接法之一。方法简便，但要计算一阶偏导 数，可靠性较好，能稳定地使函数下降，但收敛 速度较慢，尤其在极点值附近更为严重 适用于精度要求不高或用于对 复杂函数寻找一个好的初始 点。 Newton法属于间接法之一。需计算一、二阶偏导数和Hesse 矩阵的逆矩阵，准备工作量大，算法复杂，占用 内存量大。此法具有二次收敛性，在一定条件下 其收敛速度快，要求迭代点的Hesse矩阵必须非 奇异且定型（正定或负定）。对初始点要求较高， 可靠性较差。 目标函数存在一阶\二阶偏导 数，且维数不宜太高。 共轭方向法属于间接法之一。具有可靠性好，占用内存少， 收敛速度快的特点。 适用于维数较高的目标函数。 变尺度法属于间接法之一。具有二次收敛性，收敛速度快。 可靠性较好，只需计算一阶偏导数。对初始点要 求不高，优于Newton法。因此，目前认为此法是 最有效的方法之一，但需内存量大。对维数太高 的问题不太适宜。 适用维数较高的目标函数 （n=10～50）且具有一阶偏导 数。 坐标轮换法最简单的直接法之一。只需计算函数值，无需求 导，使用时准备工作量少。占用内存少。但计算 效率低，可靠性差。 用于维数较低（n<5）或目标函 数不易求导的情况。 单纯形法此法简单，直观，属直接法之一。上机计算过程 中占用内存少，规则单纯形法终止条件简单，而 不规则单纯形法终止条件复杂，应注意选择，才 可能保证计算的可靠性。 可用于维数较高的目标函数。 常用约束最优化方法评价标准 方法算法特点适用条件 外点法将约束优化问题转化为一系列无约束优化问题。 初始点可以任选，罚因子应取为单调递增数列。 初始罚因子及递增系数应取适当较大值。 可用于求解含有等式约束或不等 式约束的中等维数的约束最优化 问题。 内点法将约束优化问题转化为一系列无约束优化问题。 初始点应取为严格满足各个不等式约束的内点， 障碍因子应取为单调递减的正数序列。初始障碍 因子选择恰当与否对收敛速度和求解成败有较大 影响。 可用于求解只含有不等式约束的 中等维数约束优化问题。 混合罚函数法将约束优化问题转化为一系列无约束优化问题， 用内点形式的混合罚函数时，初始点及障碍因子 的取法同上；用外点形式的混合罚函数时，初始 点可任选，罚因子取法同外点法相同。 可用于求解既有等式约束又有不 等式约束的中等维数的约束化问 题。 约束坐标轮换法由可行点出发，分别沿各坐标轴方向以加步探索 法进行搜索，使每个搜索点在可行域内，且使目 标函数值下降。 可用于求解只含有不等式约束， 且维数较低（n<5），目标函数的 二次性较强的优化问题。 复合形法在可行域内构造一个具有n个顶点的复合形，然 后对复合形进行映射变化，逐次去掉目标函数值 最大的顶点。 可用于求解含不等式约束和边界 约束的低维优化问题。 无约束优化方法---鲍威尔方法 本实验用鲍威尔方法求函数f(x)=(x1-5)2+(x2-6)2 的最优解。 一、简述鲍威尔法的基本原理 从任选的初始点x⑴o出发，先按坐标轮换法的搜索方向依次沿e1.e2.e3进行一维搜索，得各自方向的一维极小点x⑴ x⑵ x⑶.连接初始点xo⑴和最末一个一维极小点x3⑴,产生一个新的矢量 S1=x3⑴-xo⑴ 再沿此方向作一维搜索，得该方向上的一维极小点x⑴. 从xo⑴出发知道获得x⑴点的搜索过程称为一环。S1是该环中产生的一个新方向，称为新生方向。 接着，以第一环迭代的终点x⑴作为第二环迭代的起点xo⑵,即 Xo⑵←x⑴ 弃去第一环方向组中的第一个方向e1，将第一环新生方向S1补在最后，构成第二环的基本搜索方向组e2,e3,S1，依次沿这些方向求得一维极小点x1⑵,x2⑵,x3⑵.连接 Xo⑵与x3⑵,又得第二环的新生方向 S2=x3⑵-xo⑵ 沿S2作一维搜索所得的极小点x⑵即为第二环的最终迭代点 二、鲍威尔法的程序 #include "stdafx.h" /* 文件包含*/ #include #include 项目三 常用无约束最优化方法（一） [实验目的] 编写最速下降法、Newton 法（修正Newton 法）的程序。 [实验学时] 2学时 [实验准备] 1．掌握最速下降法的思想及迭代步骤。 2．掌握Newton 法的思想及迭代步骤； 3．掌握修正Newton 法的思想及迭代步骤。 [实验内容及步骤] 编程解决以下问题：【选作一个】 1．用最速下降法求 22120min ()25[22]0.01T f X x x X ε=+==，，，． 2．用Newton 法求 22121212min ()60104f X x x x x x x =--++-， 初始点 0[00]0.01T X ε==，，． 最速下降法 Matlab 程序： clc;clear; syms x1 x2; X=[x1,x2]; fx=X(1)^2+X(2)^2-4*X(1)-6*X(2)+17; fxd1=[diff(fx,x1) diff(fx,x2)]; x=[2 3]; g=0; e=0.0005; a=1; fan=subs(fxd1,[x1 x2],[x(1) x(2)]); g=0; for i=1:length(fan) g=g+fan(i)^2; end g=sqrt(g); step=0; while g>e step=step+1; dk=-fan; %点x(k)处的搜索步长 ak=((2*x(1)-4)*dk(1)+(2*x(2)-6)*dk(2))/(dk(1)*dk(2)-2*dk(1)^2-2*dk(2)^2); xu=x+ak*dk; x=xu; %输出结果 optim_fx=subs(fx,[x1 x2],[x(1) x(2)]); fprintf(' x=[ %d %d ] optim_fx=%d\n',x(1),x(2),optim_fx); %计算目标函数点x(k+1)处一阶导数值 fan=subs(fxd1,[x1 x2],[x(1) x(2)]); g=0; for i=1:length(fan) g=g+fan(i)^2; end g=sqrt(g); end %输出结果 optim_fx=subs(fx,[x1 x2],[x(1) x(2)]); fprintf('\n最速下降法\n结果：\n x=[ %d %d ] optim_fx=%d\n',x(1),x(2),optim_fx); c++程序 #include 目录 1.多维有约束优化错误!未定义书签。 题目错误!未定义书签。 已知条件错误!未定义书签。 建立优化模型错误!未定义书签。 问题分析及设计变量的确定错误!未定义书签。 目标函数的确定错误!未定义书签。 约束条件的建立错误!未定义书签。 优化方法的选择错误!未定义书签。 数学模型的求解错误!未定义书签。 确定数学优化模型错误!未定义书签。 运用Matlab优化工具箱对数学模型求解错误!未定义书签。 1. 最优解以及结果分析错误!未定义书签。 2.多维无约束优化错误!未定义书签。 题目错误!未定义书签。 确定优化设计模型错误!未定义书签。 运用Matlab优化工具箱对数学模型求解错误!未定义书签。 编写目标函数错误!未定义书签。 绘制该函数的平面和空间等值线错误!未定义书签。 利用matlab工具箱fminunc函数对该模型进行求解错误!未定义书签。求解结果错误!未定义书签。 1.多维有约束优化 题目 对一对单级圆柱齿轮减速器，以体积最小为目标进行多维有约束优化设计。 已知条件 已知数输入功p=58kw ，输入转速n1=1000r/min ，齿数比u=5，齿轮的许用应力[δ]H=550Mpa ，许用弯曲应力[δ]F=400Mpa 。 建立优化模型 1.3.1问题分析及设计变量的确定 由已知条件得求在满足零件刚度和强度条件下，使减速器体积最小的各项设计参数。由于齿轮和轴的尺寸（即壳体内的零件）是决定减速器体积的依据，故可按它们的体积之和最小的原则建立目标函数。 单机圆柱齿轮减速器的齿轮和轴的体积可近似的表示为： ] 3228)6.110(05.005.2)10(8.0[25.087)(25.0))((25.0)(25.0)(25.02221222122212222122121222 21222120222222222121z z z z z z z z z z z g g z z d d l d d m u mz b bd m u mz b b d b u z m b d b z m d d d d l c d d D c b d d b d d b v +++---+---+-=++++- ----+-=πππππππ 式中符号意义由结构图给出，其计算公式为 b c d m umz d d d m umz D mz d mz d z z g g 2.0) 6.110(25.0,6.110,21022122211=--==-=== 由上式知，齿数比给定之后，体积取决于b 、z 1 、m 、l 、d z1 和d z2 六个参数，则设计变量可取为 T z z T d d l m z b x x x x x x x ][][21 1 65 4321== 1.3.2目标函数的确定 根据以上分析，可知，该齿轮减速器以体积最小的目标函数为： min )32286.18.092.0858575.4(785398.0)(26252624252463163212 51261231232123221→++++-+-+-+=x x x x x x x x x x x x x x x x x x x x x x x x x x f 1.3.3 约束条件的建立 (1)为避免发生根切，应有min z z ≥17=，得 017)(21≤-=x x g (2)齿宽应满足 max min ??≤≤ d b ，min ?和max ?为齿宽系数d ?的最大值和最小值，一般取min ?=， 实验八 无约束优化问题 一.实验目的 掌握应用matlab 求解无约束最优化问题的方法 二.实验原理及方法 1：标准形式： 元函数 为其中n R R f X f n R x n →∈:) (min 2．无约束优化问题的基本算法一．最速下降法（共轭梯度法）算法步骤：⑴ 给定初始点 n E X ∈0，允许误差0>ε,令k=0； ⑵ 计算() k X f ?； ⑶ 检验是否满足收敛性的判别准则： () ε≤?k X f ， 若满足，则停止迭代，得点k X X ≈*，否则进行⑷； ⑷ 令() k k X f S -?=，从k X 出发，沿k S 进行一维搜索， 即求k λ使得： ()() k k k k k S X f S X f λλλ+=+≥0 min ； ⑸ 令k k k k S X X λ+=+1，k=k+1返回⑵. 最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值点时，宜选用别种收敛快的算法.．牛顿法算法步骤： (1) 选定初始点n E X ∈0，给定允许误差0>ε，令k=0； (2) 求()k X f ?,()() 1 2-?k X f ,检验：若() ε 第四章 非线性规划 ?? ?? ???? 无约束最优化问题线性规划约束最优化问题非线性规划 ?? ?凸规划约束最优化问题非凸规划 ?? ?直接解法约束最优化问题求解方法间接解法 间接解法是将约束优化问题转化为一系列无约束优化问题来解的一种方法。由于这类方法可以选用有效的无约束优化方法，且易于处理同时具有不等式约束和等式约束的问题，因而在工程优化中得到了广泛的应用。 直接解法是在满足不等式约束的可行设汁区域内直接按索问题的约束最优解。 第一节 目标函数的约束极值问题 所谓约束优化设计问题的最优性条件．就是指在满足等式和不等式约束条件下，其目标函数值最小的点必须满足的条件，须注意的是，这只是对约束的局部最优解而言。 对于带有约束条件的目标函数，其求最优解的过程可归结为： 一、约束与方向的定义 一）起作用约束与松弛约束 对于一个不等式约束()0g X ≤来说，如果所讨论的设计点() k X 使该约束()0g X =(或 者说() k X 当时正处在该约束的边界上)时，则称这个约束是() k X 点的一个起作用约束或紧约 束，而其他满足()0g X <的约束称为松弛约束。 冗余约束 4 0g ≤ 当一个设计点同时有几个约束起作用时，即可定义起作用约束集合为 {}()()()|()0,1,2, ,k k u I X u g X u m === 其意义是对() k X 点此时所有起作用约束下标的集合。 二）冗余约束 如果一个不等式约束条件的约束面(即()0g X =)对可行域的大小不发生影 响，或是约束面不与可行域D 相交，即此约束称为冗余约束。 三）可行方向 可行方向：一个设计点()k X 在可行域内，沿某一个方向S 移动，仍可得到一个属于可行域的新点，则称该方向为可行方向。 1）设计点为自由点 设计点() k X 在可行域内是一个自由点，在各个方 向上都可以作出移动得到新点仍属于可行域，如图所示。 2）设计点为约束边界点 当设计点()k X 处于起作用约束i g 上时，它的移动就会受到可行性的限制。此时，()k X 点的可行方向S 必满足条件： ()0T k i S g X ?≤ （解释：()()cos ,()T k k T k i i i S g X S g X S g X ?=??，,()90T k i S g X ?≥?）） 当,()90T k i S g X ?=?时，方向S 是约束函数i g 在()k X 点处的切线方向，即()0T k i S g X ?=。 当某个设计点x 同时有几个约束起作用时(如 实验9 无约束优化 一、实验目的 1、了解无约束优化的基本算法； 2、掌握Matlab优化工具箱的基本用法； 3、掌握用Matlab求解无约束优化实际问题。 二、实验要求 能够掌握Matlab优化工具箱中fminunc，fminsearch，lsqnonlin，lsqcurvefit 的基本用法，能够对控制参数进行设置，能够对不同算法进行选择和比较。 [x,fv,ef.out,grad,hess]=fminunc(@f,x0,opt,P1,P2,…) [x,fv,ef.out,]=fminsearch(@f,x0,opt,P1,P2,…) [x,norm,res,ef,out,lam,jac]=lsqnonlin(@F,x0,v1,v2,opt,P1,P2,…) [x,norm,res,ef,out,lam,jac]=lsqcurvefit(@F,x0,t,y,opt,P1,P2,…) fminunc为无约束优化提供了大型优化和中型优化算法.由options中的参数LargeScale控制： LargeScale=’on’(默认值),使用大型算法 LargeScale=’off’,使用中型算法 fminunc为中型优化算法的搜索方向提供了3种算法，由options中的参数HessUpdate控制： HessUpdate=’bfgs’（默认值），拟牛顿法的BFGS公式； HessUpdate=’dfp ’，拟牛顿法的DFP 公式； HessUpdate=’steepdesc ’，最速下降法 fminunc 为中型优化算法的步长一维搜索提供了两种算法，由options 中参数LineSearchType 控制： LineSearchType=’quadcubic ’(缺省值)，混合的二次和三 次多项式插值； LineSearchType=’cubicpoly ’，三次多项式插 搜索步长的算法选择（lsqnonlin ，lsqcurvefit ） LevenbergMarquardt = ‘off ’ (GN 法) LevenbergMarquardt = ‘on ’ (LM 法，缺省值) 例 ()=++++122 12122min (42421)x f X x x x x x e 1、编写M-文件 fun1.m: function f = fun1 (x) f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1); 2、输入M 文件myprg3.m 如下: x0 = [-1, 1]; x=fminunc('fun1',x0) y=fun1(x) 三、实验内容 分数: ___________任课教师签字：___________ 课程作业 学年学期：2017——2018学年第二学期 课程名称：优化理论 作业名称：作业三 学生姓名： 学号： 提交时间： 一、问题重述 形如的min (x),x R n f ∈问题称为无约束优化问题，常用下降算法来解决这类问题。下降算法的关键在于步长和搜索方向的选取。步长的求取可以借助前面作业中提到的一维搜索等方法求取，而搜索方向算法可以分为两大类，解析法和直接法。 解析法借助了目标函数的导数进行搜索，这类算法搜索速度快、效率高，但是对目标函数的要求更为严格。常用的方法有最速下降法、Newton 法、共轭梯度法、拟Newton 法等。 直接法不使用导数，也不需要得到目标函数的明确解析式，只需要能够得到某些函数上的点即可。因此直接法的适用范围更广，但相应的收敛速度会较慢，计算量也会随着问题维数的增加而迅速增大。常用的方法有单纯形法、Powell 方向加速法以及Powell 改进算法。 本作业以直接法的Powell 法为例，解决具体的无约束优化问题，并对将Powell 方向加速法和Powell 改进算法解决结果进行对比。 二、算法原理 对于n 维正定二次函数(x)0.5T T f x Gx b x c =++，设011,,...(k n)k p p p -<关于G 共轭，0x 与1x 为任意不同点。分别从0x 与1x 出发，依次沿011,,...k p p p -作一维搜索。如果最后找到两个互不相同的极小点x a 与x b ，则x b a x -与011,,...k p p p -关于G 共轭。 Powell 方向加速法正是基于这一原理，每次迭代过程作n+1次一维搜索。第一次沿给定的n 个线性无关的方向011,,...n p p p -依次作一维搜索，之后沿由这一阶段的起点到第n 次搜索所得到的点的方向P 再做一次一维搜索，并把这次所得点作为下一阶段的起点，下一阶段的n 个搜索方向为011,,...,n p p p p -。以此直到找到最优解。 此算法是在迭代中逐次生成共轭方向，而共轭方向又是较好的搜索方向，所以称之为方向加速法。但是，此算法产生的n 个向量可能线性或近似线性相关，这时张不成n 维空间，可能得不到真正的极小点。因此，Powell 原始算法存在一定的缺陷。 Powell 改进算法虽然不再具有二次终止性，但克服了搜索方向的线性相关的不利情形，是解决无约束优化问题较有效的直接法之一。 本次作业一维搜索的过程是利用函数求导，求得最小值。经过试验发现，α是允许为负数的。否则最终寻优得到的极值点与实际结果存在很大的偏差， 分数: ___________ 任课教师签字：___________ 课程作业 学年学期：2017——2018学年第二学期 课程名称：优化理论 作业名称：作业三 学生姓名： 学号： 提交时间： 一、问题重述 形如的min (x),x R n f ∈问题称为无约束优化问题，常用下降算法来解决这类问题。下降算法的关键在于步长和搜索方向的选取。步长的求取可以借助前面作业中提到的一维搜索等方法求取，而搜索方向算法可以分为两大类，解析法和直接法。 解析法借助了目标函数的导数进行搜索，这类算法搜索速度快、效率高，但是对目标函数的要求更为严格。常用的方法有最速下降法、Newton 法、共轭梯度法、拟Newton 法等。 直接法不使用导数，也不需要得到目标函数的明确解析式，只需要能够得到某些函数上的点即可。因此直接法的适用范围更广，但相应的收敛速度会较慢，计算量也会随着问题维数的增加而迅速增大。常用的方法有单纯形法、Powell 方向加速法以及Powell 改进算法。 本作业以直接法的Powell 法为例，解决具体的无约束优化问题，并对将Powell 方向加速法和Powell 改进算法解决结果进行对比。 二、算法原理 对于n 维正定二次函数(x)0.5T T f x Gx b x c =++，设011,,...(k n)k p p p -<关于G 共轭，0x 与1x 为任意不同点。分别从0x 与1x 出发，依次沿011,,...k p p p -作一维搜索。如果最后找到两个互不相同的极小点x a 与x b ，则x b a x -与011,,...k p p p -关于G 共轭。 Powell 方向加速法正是基于这一原理，每次迭代过程作n+1次一维搜索。第一次沿给定的n 个线性无关的方向011,,...n p p p -依次作一维搜索，之后沿由这一阶段的起点到第n 次搜索所得到的点的方向P 再做一次一维搜索，并把这次所得点作为下一阶段的起点，下一阶段的n 个搜索方向为011,,...,n p p p p -。以此直到找到最优解。 此算法是在迭代中逐次生成共轭方向，而共轭方向又是较好的搜索方向，所以称之为方向加速法。但是，此算法产生的n 个向量可能线性或近似线性相关，这时张不成n 维空间，可能得不到真正的极小点。因此，Powell 原始算法存在一定的缺陷。 Powell 改进算法虽然不再具有二次终止性，但克服了搜索方向的线性相关的不利情形，是解决无约束优化问题较有效的直接法之一。 本次作业一维搜索的过程是利用函数求导，求得最小值。经过试验发现，α是允许为负数的。否则最终寻优得到的极值点与实际结果存在很大的偏差，而且寻优的效率特别低下。 目录 1.多维有约束优化....................................................................................................................... - 3 - 1.1 题目............................................................................................................................... - 3 - 1.2 已知条件....................................................................................................................... - 3 - 1.3 建立优化模型............................................................................................................... - 3 - 1.3.1问题分析及设计变量的确定............................................................................. - 3 - 1.3.2目标函数的确定................................................................................................. - 4 - 1.3.3 约束条件的建立................................................................................................ - 4 - 1.4 优化方法的选择........................................................................................................... - 5 - 1.5 数学模型的求解........................................................................................................... - 5 - 1.5.1 确定数学优化模型............................................................................................ - 5 - 1.5.2运用Matlab优化工具箱对数学模型求解........................................................ - 6 - 1. 5.3最优解以及结果分析........................................................................................ - 7 - 2.多维无约束优化....................................................................................................................... - 8 - 2.1 题目............................................................................................................................... - 8 - 2.2 确定优化设计模型....................................................................................................... - 8 - 2.3运用Matlab优化工具箱对数学模型求解................................................................... - 9 - 2.3.1 编写目标函数.................................................................................................... - 9 - 2.3.2 绘制该函数的平面和空间等值线.................................................................... - 9 - 2.3.3利用matlab工具箱fminunc函数对该模型进行求解................................... - 11 - 2.3.3求解结果........................................................................................................... - 11 - 单纯形法 1. 算法原理 单纯形法的基本思想是： 设(0)(1)(),,...,n x x x 是n R 中的1n +个点，构成一个当前的单纯形，max min ,x x 定义如下： {}(0)(1)()max ()max (),(),...,()n f x f x f x f x = {}(0)(1)()min ()min (),(),...,()n f x f x f x f x = 记x 为这个单纯形除去max x 外的所有顶点的形心， ()max 01n i i x x x n =??=- ??? ∑ 取max x 关于x 的反射点(1)n x +，(1)max ()n x x x x +=+-构成新的单纯形，反复上述过程，直到达到停止条件。 2. 函数min f search 1） 函数语法 min (,0)x f search fun x = min (,0,) [,]min (...) [,,]min (...) [,,,]min (...) x f search fun x options x fval f search x fval exitflag f search x fval exitflag output f search ==== 函数输入： fun ：目标函数 0x ：迭代初始点 options ：函数参数设置 函数输出： x ：最优点 fval ：最优点对应的函数值 exitflag ：函数停止信息 1：函数收敛正常停止 0：迭代次数，目标函数计算次数达到最大数 -1：算法被输出函数停止 output ：函数运算信息 2）函数使用 BanaFun m （1）目标函数程序. function f BanaFun x =不含导数解析式 ()() f x x x =-+- 100*((2)(1)^2)^2(1(1))^2 -函数不需要导数信息。 Nelder Mead Simplex SimplexUnc m （2）算法参数设置：. ('arg','','','','',250,'','') = options optimset L eScale off gradobj off MaxFunEvals display iter SimplexUnc m （3）函数调用运算：. = ('arg','','','','',250,'','') options optimset L eScale off gradobj on MaxFunEvals display iter x=- [ 1.9,2] x fval exitflag output f search BanaFun x options = [,,,]min(@,,) 3）计算结果 Iteration Func-count min f(x) Procedure 0 1 267.62 1 3 236.4 2 initial simplex 2 5 67.2672 expand 3 7 12.2776 expand 4 8 12.2776 reflect 5 10 12.277 6 contract inside 6 12 6.76772 contract inside 7 13 6.76772 reflect 8 15 6.76772 contract inside 9 17 6.76772 contract outside 10 19 6.62983 contract inside 11 21 6.55249 contract inside 12 23 6.46084 contract inside 13 24 6.46084 reflect 14 26 6.46084 contract inside 15 28 6.45544 contract outside 16 30 6.42801 expand 17 32 6.40994 expand 18 34 6.32449 expand 19 36 6.28548 expand 20 38 6.00458 expand 21 39 6.00458 reflect 22 41 5.43287 expand常用最优化方法评价准则
无约束优化方法程序
常用无约束最优化方法(一)
优化设计有约束优化无约束优化
matlab 无约束优化问题
第四章 非线性规划约束极值问题
无约束优化
单纯形法解决无约束优化问题
单纯形法解决无约束优化问题
优化设计-有约束优化-无约束优化
无约束优化算法：单纯形法
相关主题
文本预览