下载文档原格式
1. 非线性规划我们讨论过线性规划,其目标函数和约束条件都是自变量的线性函数。
如果目标函数是非线性函数或至少有一个约束条件是非线性等式(不等式),则这一类数学规划就称为非线性规划。
在科学管理和其他领域中，很多实际问题可以归结为线性规划，但还有另一些问题属于非线性规划。
由于非线性规划含有深刻的背景和丰富的内容，已发展为运筹学的重要分支，并且在最优设计,管理科学,风险管理,系统控制,求解均衡模型,以及数据拟合等领域得到越来越广泛的应用。
非线性规划的研究始于三十年代末,是由W.卡鲁什首次进行的，40年代后期进入系统研究，1951年.库恩和.塔克提出带约束条件非线性规划最优化的判别条件,从而奠定了非线性规划的理论基础,后来在理论研究和实用算法方面都有很大的发展。
非线性规划求解方法可分为无约束问题和带约束问题来讨论，前者实际上就是多元函数的极值问题，是后一问题的基础。
无约束问题的求解方法有最陡下降法、共轭梯度法、变尺度法和鲍威尔直接法等。
关于带约束非线性规划的情况比较复杂，因为在迭代过程中除了要使目标函数下降外，还要考虑近似解的可行性。
总的原则是设法将约束问题化为无约束问题；把非线性问题化为线性问题从而使复杂问题简单化。
求解方法有可行方向法、约束集法、制约函数法、简约梯度法、约束变尺度法、二次规划法等。
虽然这些方法都有较好的效果，但是尚未找到可以用于解决所有非线性规划的统一算法。
非线性规划举例[库存管理问题] 考虑首都名酒专卖商店关于啤酒库存的年管理策略。
假设该商店啤酒的年销售量为A 箱,每箱啤酒的平均库存成本为H 元,每次订货成本都为F 元。
如果补货方式是可以在瞬间完成的,那么为了降低年库存管理费用,商店必须决定每年需要定多少次货,以及每次订货量。
我们以Q 表示每次定货数量,那么年定货次数可以为QA,年订货成本为Q A F ⨯。
由于平均库存量为2Q,所以,年持有成本为2Q H ⨯,年库存成本可以表示为:Q HQ A F Q C ⨯+⨯=2)( 将它表示为数学规划问题:min Q H Q A F Q C ⋅+⋅=2)( ..t s 0≥Q其中Q 为决策变量,因为目标函数是非线性的,约束条件是非负约束,所以这是带约束条件的非线性规划问题。
第四章
第四章
无约束优化问题标准形式：
无约束优化问题标准形式：
§
§
§
§
§
§
图最速下降法的收敛过程
αα
2
2
例4－1 求目标函数
取初始点
[2,2]
=
x
例4－2 求目标函数解取初始点[2,2]
=x
算出一维搜索最佳步长
§
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
x
给定0,ε
一般迭代式：
§4.3
§4.3
§4.3
§4.3
α0
d 0
x
x 1
x*
1
α1d 1
1()
f −∇x d 1
4-4 共轭方向法
假设目标函数f (x ) 在极值点附近的二次近似函数为
沿某个下降方向
如果能够选定这样的搜索方向，那么对于二
α
0d0
x0x1x*
1
α
1
d1
1
()
f
−∇x d
1。
1.优化设计问题的求解方法:解析解法和数值近似解法。
解析解法是指优化对象用数学方程（数学模型）描述,用数学解析方法的求解方法.解析法的局限性：数学描述复杂，不便于或不可能用解析方法求解。
数值解法：优化对象无法用数学方程描述，只能通过大量的试验数据或拟合方法构造近似函数式，求其优化解；以数学原理为指导，通过试验逐步改进得到优化解。
数值解法可用于复杂函数的优化解，也可用于没有数学解析表达式的优化问题.但不能把所有设计参数都完全考虑并表达，只是一个近似的数学描述。
数值解法的基本思路:先确定极小点所在的搜索区间,然后根据区间消去原理不断缩小此区间，从而获得极小点的数值近似解。
2.优化的数学模型包含的三个基本要素：设计变量、约束条件（等式约束和不等式约束）、目标函数（一般使得目标函数达到极小值）。
3.机械优化设计中，两类设计方法：优化准则法和数学规划法。
优化准则法：(为一对角矩阵）数学规划法:（分别为适当步长\某一搜索方向——数学规划法的核心）4.机械优化设计问题一般是非线性规划问题,实质上是多元非线性函数的极小化问题。
重点知识点：等式约束优化问题的极值问题和不等式约束优化问题的极值条件.5.对于二元以上的函数，方向导数为某一方向的偏导数。
函数沿某一方向的方向导数等于函数在该点处的梯度与这一方向单位向量的内积。
梯度方向是函数值变化最快的方向（最速上升方向），建议用单位向量表示，而梯度的模是函数变化率的最大值。
6.多元函数的泰勒展开。
海赛矩阵：=（对称方阵）7.极值条件是指目标函数取得极小值时极值点应满足的条件.某点取得极值，在此点函数的一阶导数为零，极值点的必要条件：极值点必在驻点处取得.用函数的二阶倒数来检验驻点是否为极值点。
二阶倒数大于零,取得极小值。
二阶导数等于零时，判断开始不为零的导数阶数如果是偶次,则为极值点，奇次则为拐点。
二元函数在某点取得极值的充分条件是在该点出的海赛矩阵正定。
极值点反映函数在某点附近的局部性质。
目录摘要 (3)关键词 (3)一、概述 (3)二、优化方法介绍 (3)（一）、一维搜索方法 (3)（二）无约束优化方法 (5)1）共轭方向的生成 (6)2）基本算法 (6)3)改进算法的基本步骤如下 (7)三、优化设计实例 (10)1）模型 (10)2）变量 (10)3）优化设计源程序 (10)4）分析结果 (20)四、课程总结 (20)《机械优化设计》课程设计论文摘要：随着社会经济的迅速发展，机械优化设计作为一门为工程设计提供手段的学科，在这样的时代背景下应运而生。
针对具体的课题，通过一些设计变量而建立起目标函数的过程，称为数学建模；应用优化方法为工程设计寻找出最优解是现代优化设计所研究的主要课题与方向。
关键词：机械优化设计；设计变量；目标函数；数学模型；优化方法一、概述优化设计是20世纪60年代初发展起来的一门新学科，它是将最优化原理与计算技术应用于设计领域，为工程设计提供一种重要的科学设计方法的手段。
利用这种新的设计方法，人们就可以从众多的设计方案中寻找出最佳设计方案，从而大大提高设计效率和设计质量。
因此优化设计是现代设计理论和方法的一个重要领域，它已广泛应用于各个工业部门，成为现代工程设计的一个重要手段！二、优化方法介绍（一）、一维搜索方法一维搜索方法可分为两类，一类称为试探法，这类方法是按某种给定的规律来确定区间内插入点的位置，此点位置的确定仅仅按照区间缩短如何加快，而不顾及函数值的分布关系，例如黄金分割法，裴波那契法等。
另一类一维搜索法称作插值法或函数逼近法。
这类方法是根据某些点处的某些信息，如函数值，一阶导数，二阶导数等，构造一个插值函数来逼近原来的函数，用插值函数的极小点作为区间的插入点，这类方法主要有二次插值法，三次插值法等。
在此重点讨论黄金分割法。
黄金分割法适用于[a, b]区间上的任何单谷函数求极小值问题，对函数除要求“单谷”外不作其他要求，甚至可以不连续。
因此，这种方法的适应面相当广。
非线性规划（nonlinear programming）1.非线性规划概念非线性规划是具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要分支。
非线性规划研究一个n元实函数在一组等式或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
目标函数和约束条件都是线性函数的情形则属于线性规划。
2.非线性规划发展史公元前500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳比例为0.618,称为黄金分割比。
其倒数至今在优选法中仍得到广泛应用。
在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。
例如阿基米德证明：给定周长，圆所包围的面积为最大。
这就是欧洲古代城堡几乎都建成圆形的原因。
但是最优化方法真正形成为科学方法则在17世纪以后。
17世纪，I.牛顿和G.W.莱布尼茨在他们所创建的微积分中，提出求解具有多个自变量的实值函数的最大值和最小值的方法。
以后又进一步讨论具有未知函数的函数极值，从而形成变分法。
这一时期的最优化方法可以称为古典最优化方法。
最优化方法不同类型的最优化问题可以有不同的最优化方法，即使同一类型的问题也可有多种最优化方法。
反之,某些最优化方法可适用于不同类型的模型。
最优化问题的求解方法一般可以分成解析法、直接法、数值计算法和其他方法。
(1)解析法：这种方法只适用于目标函数和约束条件有明显的解析表达式的情况。
求解方法是：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法或变分法求出必要条件，通过必要条件将问题简化，因此也称间接法。
(2)直接法：当目标函数较为复杂或者不能用变量显函数描述时，无法用解析法求必要条件。
此时可采用直接搜索的方法经过若干次迭代搜索到最优点。
这种方法常常根据经验或通过试验得到所需结果。
对于一维搜索(单变量极值问题)，主要用消去法或多项式插值法；对于多维搜索问题(多变量极值问题)主要应用爬山法。
吉林大学教师教案（20 07 ~2008 学年第二学期）课程名称：机械优化设计年级：20XX级01-09班教研室：机械设计及自动化任课教师：李风吉林大学教务处制教案等值线—等高线●等值线●等高线：●它是由许多具有相同目标函数值的设计点所构成的平面曲线。
课后小结1：人字架的优化数学模型2：数学模型的基本构成第二节机械优化问题示例第三节优化设计问题的数学模型2学时五、优化问题的几何解释●无约束优化问题就是在没有限制的条件下，对设计变量求目标函数的极小点。
在设计空间内，目标函数是以等值面的形式反映出来的，则无约束优化问题的极小点即为等值面的中心。
●约束优化问题是在可行域内对设计变量求目标函数的极小点，此极小点在可行域内或在可行域边界上。
课后小结1．机械优化设计数学模型的一般形式2：优化设计的数学基础，梯度的概念第四节优化设计问题的基本解法●求解优化问题：解析解法●数值的近似解法。
2学时●解析解法：把所研究的对象用数学方程(数学模型)描述出来，然后再用数学解析方法(如微分、变分方法等)求出优化解。
●数值解法：只能通过大量试验数据用插值或拟合方法构造一个近似函数式，再来求其优化解，这种方法是属于近似的、迭代性质的数值解法。
不仅可用于求复杂函数的优化解，也可以用于处理没有数学解析表达式的优化设计问题。
因此，它是实际问题中常用的方法。
●可以按照对函数导数计算的要求，把数值方法分为需要计算函数的二阶导数、一阶导数和零阶导数(即只要计算函数值而不须计算其导数)的方法。
●由于数值迭代是逐步逼近最优点而获得近似解的，所以要考虑优化问题解的收敛性及迭代过程的终止条。
收敛性是指某种迭代程序产生的序列收敛于第二章优化设计的数学基础第一节多元函数的方向导数与梯度二、二元函数的梯度考虑到二元函数具有鲜明的几何解释，并且可以象征性地把这种解释推广到多元函数中去，所以梯度概念的引入也先从二元函数人手。
等值线—等高线●等值线●等高线：●它是由许多具有相同目标函数值的设计点所构成的平面曲线。
数值解法，就是迭代法，利用迭代公式x k+1=x k+a k d k。
a k为第k次迭代的步长，d k为第k次迭代的搜索方向。
根据搜索方向的构成分两类：一类为利用目标函数一阶和二阶导数的无约束优化方法有【最速下降法】，【共轭梯度法】，【牛顿法】，【变尺度法】，另一类只利用目标函数值【坐标轮换法】，【单形替换法】，【鲍威尔法】。
重点是【牛顿法】、【共轭梯度法】、【鲍威尔法】。
【最速下降法】：利用负梯度方向。
d k=—▽f（x k）步长：取一维搜索的最佳步长。
x k+1=x k—▽f（x k）a k【待定系数法】min a f（x k—▽f（x k）a k）→d[f（x k—▽f（x k）a k）]/da=0 特点：相邻两次迭代方向垂直；非常适合等值线为同心圆的目标函数（一些特殊函数可以进行尺度变换）；越接近极值点收敛速度越慢。
【牛顿法】：多元函数的牛顿迭代法x k+1=x k—（▽2f（x k））-1▽f（x k）【x k+1=x k—G-1▽f（x k）】牛顿方向：—G-1▽f（x k），步长为1阻尼牛顿法：步长为a k，取一维搜索的最佳步长。
【共轭方向法】：专门处理二次函数。
原理：从任意点出发，顺次m个G的共轭方向d0…d m-1进行一维搜索，最多经历m次迭代后找到二次函数f（x）=1/2x T Gx+b T x+c的极小值。
对于共轭方向的产生，分【共轭梯度法】和【鲍威尔法】。
【共轭梯度法】：共轭矢量根据负梯度构造的方向：d0为负梯度方向—g0；d1和d1之后的方向为g1（或g k+1）和g0（或g k+1）作差后的共轭方向，计算为：d1=—g1+（丨g1丨2/丨g0丨2）* d0。
步长为a k，取一维搜索的最佳步长。
【鲍威尔法】：直接利用两个点的梯度构造共轭方向。
x0→e1，e2（线性无关）→x10、x20→d1= x20—x10→e2，d1→x11、x21→d2= x21—x11→d2，d1…改进：判断原矢量组是否需要替换。
最优化基础理论与⽅法分析⽬录1．最优化的概念与分类 (2)2. 最优化问题的求解⽅法 (3)2.1线性规划求解 (3)2.1.1线性规划模型 (3)2.1.2线性规划求解⽅法 (3)2.1.3 线性规划算法未来研究⽅向 (3)2.2⾮线性规划求解 (4)2.2.1⼀维搜索 (4)2.2.2⽆约束法 (4)2.2.3约束法 (4)2.2.4凸规划 (5)2.2.5⼆次规划 (5)2.2.6⾮线性规划算法未来研究⽅向 (5)2.3组合规划求解⽅法 (5)2.3.1 整数规划 (5)2.3.2 ⽹络流规划 (7)2.4多⽬标规划求解⽅法 (7)2.4.1 基于⼀个单⽬标问题的⽅法 (7)2.4.2 基于多个单⽬标问题的⽅法 (8)2.4.3多⽬标规划未来的研究⽅向 (8)2.5动态规划算法 (8)2.5.1 逆推解法 (8)2.5.2 顺推解法 (9)2.5.3 动态规划算法的优点及研究⽅向 (9)2.6 全局优化算法 (9)2.6.1 外逼近与割平⾯算法 (9)2.6.2 凹性割⽅法 (9)2.6.3 分⽀定界法 (9)2.6.4 全局优化的研究⽅向 (9)2.7随机规划 (9)2.7.1 期望值算法 (10)2.7.2 机会约束算法 (10)2.7.3 相关机会规划算法 (10)2.7.4 智能优化 (10)2.8 最优化软件介绍 (11)3 最优化算法在电⼒系统中的应⽤及发展趋势 (12)3.1 电⼒系统的安全经济调度问题 (12)3.1.1电⼒系统的安全经济调度问题的介绍 (12)3.1.2电⼒系统的安全经济调度问题优化算法的发展趋势 (12)2. 最优化问题的求解⽅法最优化⽅法是近⼏⼗年形成的，它主要运⽤数学⽅法研究各种优化问题的优化途径及⽅案，为决策者提供科学决策的依据。
最优化⽅法的主要研究对象是各种有组织系统的管理问题及其⽣产经营活动。
最优化⽅法的⽬的在于针对所研究的系统，求得⼀个合理运⽤⼈⼒、物⼒和财⼒的最佳⽅案，发挥和提⾼系统的效能及效益，最终达到系统的最优⽬标。
《机械优化设计》教学大纲大纲说明课程代码：3335047总学时：48学时（讲课40学时，上机8学时）总学分:3课程类别：专业模块选修课适用专业:机械设计制造及其自动化专业预修要求：高等数学、线性代数、BASIC或其它适于科学计算的高级语言、工程力学、机械设计基础一、课程的性质、目的、任务:机械优化设计是在电子计算机广泛应用的基础上发展起来的一门先进技术.它是根据最优化原理和方法,以电子计算机为计算工具，寻求最优设计参数的一种现代设计方法。
该课程是为高年级设置的专业课，可供机械类或近机类专业的学生学习。
该课程的主要目的和任务在于培养学生:1）了解和基本掌握机械优化设计的基本知识2）扩大视野，并初步具有应用机械优化设计的基本理论和基本方法解决简单工程实际问题的素质。
二、课程教学的基本要求:课堂讲授：课堂讲授主要以导学式教学为主,启发引导学生的学习兴趣，通过实例及典型例题加深学生对课堂内容的理解。
实践性环节基本要求：本课程的实践性环节主要是上机编制和调试程序（8学时）1）目的和要求上机调试并通过教材上已有的或是自行编制的计算程序，达到巩固某些基本的重要算法的目的2）内容编制并调试一维收索方法、无约束优化方法、约束优化方法及机械零件设计优化计算程序,上机练习并输出计算结果。
课程考核要求：期末考试成绩占总成绩的60—70％,平时成绩占30-40％。
三、大纲的使用说明：课程总学时：课堂教学+上机时数 = 40+8大纲正文第一章绪论学时：1学时（讲课1学时)本章讲授要点:1）明确本课程的研究对象、内容、性质、任务；2）明确优化的含义、机械优化设计的内容及目的.重点：了解机械优化设计的一般过程。
难点:机械优化设计的一般步骤。
第二章优化设计概述学时:3学时（讲课3学时）本章讲授要点：通过机械设计优化问题示例，使学生了解机械优化设计的基本概念和基本术语、优化设计的数学模型、优化问题的几何描述、优化设计的基本方法。
重点：掌握可行域与非可行域、等值线（面）的概念及在优化方法中的重要意义。
第八节鲍威尔方法1方法介绍1.1方法原理简介鲍威尔法是直接利用函数值来构造共轭方向的一种共轭方向法。
这种方法是在研究具有 正定矩阵G 的二次函数1()2TT f x x Gx b x c =++ 的极小化问题时形成的。
其基本思想是在不用导数的前提下，在迭代中逐次构造G 的共轭方 向。
一、共轭方向的生成设1x k k x +、 为从不同点出发，沿同一方向j d 进行一维搜索而得到的两个极小点，如图 1所示。
根据梯度和等值面相垂直的性质，j d 和1x k k x +、两点处的梯度1g g k k +、 之间存在关系1()0()0j T k j Tk d g d g +==另一方面，对于上述二次函数，其1x k k x+、两点处的梯度可表示为11g g k k k k Gx b Gxb++=+=+两式相减，得11g ()k k k k g G x x ++-=-因而有11()g ()()=0j T j T k k k k d g d G x x ++-=-（） 若取方向1d k k kx x +=- 如图1所示，则d k 和d j 对G 共轭。
这说明只要沿d j方向分别对函数作两次一维搜索，得到两个极小点x k 和1k x + 。
那么这两点的连线所给出的方向就是与d j一起对G 共轭的方向。
对于二维问题，()f x 的等值线为一族椭圆，A 、B 为沿1x 轴方向上的两个极小点，分别处于等值线与1x 轴方向的切点上，如图2所示。
根据上述分析，则A 、B 两点的连线 就是与1x 轴一起对G 共轭的方向。
沿此共轭方向进行一维搜索就可找到函数()f x 的极小点x *。
二、基本算法图 1现在针对二维情况来描述鲍威尔法的基本算法，如图3所示。
1) 任选一初始点0x ，再选两个线性无关的矢量，如坐标轴单位矢量1(10)T e = 和1(01)T e =作为初始搜索方向。
2) 从0x 出发，顺次沿12e e 、 作一维搜索，得到点0012x x 、 两点连线得一新方向 1002d x x =-用1d 代替1e 形成两个线性无关矢量作为下一轮迭代的搜索方向。
单目标规划和多目标规划的区别与联系1.最优化概念最优化是应用数学的一个重要分支，最优化可定义为一种数学方法，用它可以对各种生产活动进行规划，在可供利用资源(资源泛指矿藏、水能、人力、设备、原料、运输条件、生态环境、资金、时间、空问等等)的限制条件下，使生产活动得到最大的效益或用最少的资源完成指定的生产活动。
最优化问题的数学表现形式为：式中，123()n f x x x x ⋅⋅⋅、、称为目标函数，若具体问题是求123max ()n f x x x x ⋅⋅⋅、、，则令123123()()n n x x x x f x x x x ϕ⋅⋅⋅=-⋅⋅⋅、、、、，于是最大值问题就转化为最小值问题123min ()n x x x x ϕ⋅⋅⋅、、。
123()j n h x x x x ⋅⋅⋅、、称为等式约束条件，123g ()i n x x x x ⋅⋅⋅、、称为不等式约束条件，如果约束条件中有123()0i n s x x x x ⋅⋅⋅≤、、，则可令123123()g ()i n i n s x x x x x x x x ⋅⋅⋅=-⋅⋅⋅、、、、，于是原来的“≤”就变为了“≥”。
满足约束条件的一组123n x x x x ⋅⋅⋅、、称之为一组可行解。
满足目标函数的可行解称为最优解，即我们需要寻求的答案。
许多现实和理论问题都可以建模成这样的一般性框架，最优化问题种类繁多，分类的方法也有许多。
按目标函数的个数分类：1）单目标规划:只存在一个目标函数时，称这一类问题为单目标规划。
2）多目标规划：当存在多个目标函数时，称为多目标规划。
2.单目标规划方法非线性规划问题的求解一般要比线性规划困难很多，而且目前尚没有适合于各类非线性问题的一般算法，每种算法都有自己的特定的使用范围。
有些情况下，为方便计算，也会把非线性规划问题近似为线性规划问题进行求解。
2.1一维搜索一维搜索是求解单变量非线性规划问题的方法。
这类方法不仅有实用价值，而且大量多维最优化方法都依赖于一系列的一维最优化。
简答题1.设计变量与设计常量的区别？答：常量：预先取为定值；变量：需要在优化设计过程中不断进行修改调整，一直处于变化状态2.什么叫约束条件？按性质分哪几种约束及其各自的定义？答：约束条件：为了使设计获得能满足各项要求的最佳方案，在建立优化数学模型时，需要提出一些必要的条件，以便对设计变量的取值加以限制。
这些对设计变量取值加以限制的条件，称为约束条件。
约束条件分为边界约束（几何约束）和性能约束两种。
3.什么叫凸集、凸函数？答：凸集：设D 是n 维欧式空间中设计点的一个集合，若其中任意两个点x1，x2所连成的线段都包含在该集合中，则这个集合为凸集。
凸函数：设D 是n 维欧式空间中的一个凸集，f(x)为定义在D 上的函数，若对任何实数和D 上的两点X1,X2有 则称f(x)定义为凸集D 上的一个凸函数。
4.最速下降法的特点？优缺点？答：？？5.原始牛顿法与阻尼牛顿法的区别？为什么要引进阻尼牛顿法，原始牛顿法的基本原理？答：由于牛顿法迭代公式中没有步长因子 ，或者说步长因子 ，这对非二次型目标函数，有时候会出现函数值上升即 的情况。
这表明牛顿法不能保证函数值稳定下降，在严重的情况下甚至可能造成迭代点的发散而导致计算失败，为克服上述弊端，引进阻尼牛顿法，阻尼牛顿法迭代公式为： 原始牛顿法牛顿法的迭代公式： 6.变尺度法中，变尺度矩阵的变化规律？答：刚开始迭代是单位矩阵；极值点时向海塞矩阵靠近。
7.坐标轮换法基本原理？答：将一个多维无约束优化问题转换为一系列一维优化问题来求解，即依次沿着坐标轴的方向进行一维搜索，求得极小点。
8.共轭方向法对基本方向组有哪些要求和缺陷？鲍威尔法在基础上做了哪两点改进？答：共轭方向法的基本要求：各方向组的向量之间是线性无关；两点改进：（1）在每轮迭代完成并产生共轭方向后，先对共轭方向的好坏进行判断，检验它是否与其他方向线性相关，若共轭方向不好，则不用它，仍用原来的一组迭代方向。
