最优化方法 信赖域算法

线性和非线性最优化理论、方法、软件及应用最优化在航空航天、生命科学、水利科学、地球科学、工程技术等自然科学领域和经济金融等社会科学领域有着广泛和重要的应用, 它的研究和发展一直得到广泛的关注. 最优化的研究包含理论、方法和应用.最优化理论主要研究问题解的最优性条件、灵敏度分析、解的存在性和一般复杂性等.而最优化方法研究包括构造新算法、证明解的收敛性、算法的比较和复杂性等.最优化的应用研究则包括算法的实现、算法的程序、软件包及商业化、在实际问题的应用. 这里简介一下线性和非线性最优化理论、方法及应用研究的发展状况.1. 线性最优化线性最优化, 又称线性规划, 是运筹学中应用最广泛的一个分支.这是因为自然科学和社会科学中许多问题都可以近似地化成线性规划问题. 线性规划理论和算法的研究及发展共经历了三个高潮, 每个高潮都引起了社会的极大关注. 线性规划研究的第一高潮是著名的单纯形法的研究. 这一方法是Dantzig在1947年提出的,它以成熟的算法理论和完善的算法及软件统治线性规划达三十多年. 随着60年代发展起来的计算复杂性理论的研究, 单纯形法在七十年代末受到了挑战. 1979年前苏联数学家Khachiyan提出了第一个理论上优于单纯形法的所谓多项式时间算法--椭球法, 曾成为轰动一时的新闻, 并掀起了研究线性规划的第二个高潮. 但遗憾的是广泛的数值试验表明, 椭球算法的计算比单纯形方法差.1984年Karmarkar提出了求解线性规划的另一个多项式时间算法. 这个算法从理论和数值上都优于椭球法,因而引起学术界的极大关注, 并由此掀起了研究线性规划的第三个高潮. 从那以后, 许多学者致力于改进和完善这一算法,得到了许多改进算法.这些算法运用不同的思想方法均获得通过可行区域内部的迭代点列,因此统称为解线性规划问题的内点算法. 目前内点算法正以不可抗拒的趋势将超越和替代单纯形法.线性规划的软件, 特别是由单纯形法所形成的软件比较成熟和完善.这些软件不仅可以解一般线性规划问题, 而且可以解整数线性规划问题、进行灵敏度分析, 同时可以解具有稀疏结构的大规模问题.CPLEX是Bi xby基于单纯形法研制的解线性和整数规划的软件, CPLEX的网址是/. 此外,这个软件也可以用来解凸二次规划问题, 且特别适合解大规模问题. PROC LP是SAS软件公司研制的SAS商业软件中OR模块的一个程序.这个程序是根据两阶段单纯形法研制的,可以用来解线性和整数规划问题并可进行灵敏度分析, 是一个比较完善的程序.用户可以根据需要选择不同的参数来满足不同的要求。

非线性最优化及其应用在数学中，最优化是一种求解最大值或最小值的方法。

而非线性最优化则是指在目标函数或约束条件中存在非线性部分的最优化问题，它在很多实际应用中发挥了重要作用。

作为一个基础的优化问题，线性规划一直是最优化领域的重点研究对象。

但是，对于许多情况而言，现实世界中的问题并不是线性的，例如在工程、经济和物理学等领域，很多问题都具有非线性特征。

因此，非线性最优化问题逐渐成为现代优化领域的主要研究领域。

非线性规划可以被看作是求解如下形式的问题：$$\min_{x\in\mathbb{R}^n} f(x), \quad\text {subject to}\quadh_i(x)=0,\quad i\in \mathcal{E},$$和$$g_i(x)\le 0,\quad i\in \mathcal{I},$$其中$f$，$h_i$和 $g_i$均是非线性函数，$\mathcal{E}$和$\mathcal{I}$分别表示等式和不等式约束条件的索引集。

非线性规划是一个相当复杂的问题，因为函数 $f$ 可以是任意复杂的非线性结构，而且约束条件可能非常复杂，可能存在多个局部极小值，需要进行全局最优化求解。

由于不能对所有非线性规划问题得到普遍可行、有效的算法，因此解决特定问题需要根据数据的特征和指定的模型选择合适的方法。

一般来说，非线性最优化问题的解决方法分为两大类：一类是基于局部方法的，另一类是基于全局方法的。

基于局部方法的算法主要基于牛顿/拟牛顿方法，信赖域算法，共轭梯度方法等等，这些方法对于小型问题是相当有效的。

在一些特定情况下，它们能够在现实时间内得到最优解。

但是，在复杂大型问题中，这些方法通常会被卡住在一个局部最小值处，而无法得到全局最优解。

基于全局方法的算法通常使用一些元启发式搜索技术，如遗传算法，模拟退火算法等等。

这些算法可以探索大部分搜索空间，从而获得全局最优解。

但是，相比于基于局部方法的高效性和准确性，全局算法要慢得多，而且结果可能不太精确。

最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。

无约束最优化直接方法和间接方法的异同一、什么是无约束最优化最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。

最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。

其的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。

实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为现代管理科学的重要理论基础和不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等各个领域，发挥着越来越重要的作用。

最优化问题分为无约束最优化和约束最优化问题，约束最优化问题是具有辅助函数和形态约束条件的优化问题，而无约束优化问题则没有任何限制条件。

无约束最优化问题实际上是一个多元函数无条件极值问题。

虽然在工程实践中，大多数问题都是具有约束的优化问题，但是优化问题的处理上可以将有约束的优化问题转化为无约束最优化问题，然后按无约束方法进行处理。

或者是将约束优化问题部分转化为无约束优化问题，在远离极值点和约束边界处按无优化约束来处理，在接近极值点或者约束边界时按照约束最优化问题处理。

所以无约束优化问题的解法不仅是优化设计方法的基本组成部分，也是优化方法的基础。

无约束最优化方法大致分为两类：一类是使用导数的间接方法，即在计算过程中要用到目标函数的导数；另一类是直接方法，即只要用到目标函数值，不需要计算导数。

这里我们比较这两类方法的异同。

二、无约束最优化方法1. 使用导数的间接方法1.1 最速下降法函数的负梯度方向是函数值在该点下降最快的方向。

将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。

无约束优化问题的数学模型可以表示为：()n R f ∈x x xmin ，我们假设函数()x f 具有一阶连续偏导数。

《最优化方法》课程教学标准第一部分：课程性质、课程目标与要求《最优化方法》课程，是我院数学与应用数学、信息与计算科学本科专业的选修课程，是系统地培养数学及其应用人才的重要的课程之一，它与工农业生产等实际问题紧密联系。

本课程的目的是利用微积分的思想，结合线性代数，解析几何等其他数学科学的知识，来对各种实际问题建立优化模型，并构造优化算法，使学生学会和掌握本课程的基本优化模型、基础理论和方法，为他们解决实际问题提供思想与方法；同时，通过这门课本身的学习和训练，使学生们学习数学建模的一些基本优化方法，初步了解当今自然科学和社会科学中的一些非线性问题，为将来从事相关领域的科学研究和教学工作培养兴趣，做好准备。

教学时间应安排在第六学期或第七学期。

这时，学生已学完线性代数，基本学完数学分析等课程，这是学习《最优化方法》课程必要的基础知识。

同时，建议在条件允许的情况下，介绍利用常用的数学软件解决优化问题的基本方法和技能，使学生初步体会计算机在解决数学及其应用问题的重要作用，增强使用数学方法和计算机解决问题的意识和能力。

第二部分：教材与学习参考书本课程拟采用由孙文瑜、徐成贤和朱德通编写的、高等教育出版社2004年出版的《最优化方法》一书，作为本课程的主教材。

为了更好地理解和学习课程内容，建议学习者可以进一步阅读以下几本重要的参考书：1、最优化方法，施光燕、董加礼，高等教育出版社，19992、最优化理论与算法，陈宝林，清华大学出版社，1989第三部分：教学内容纲要和课时安排第一章基本概念主要介绍优化问题的基本模型、凸集和凸函数的概念和性质、最优性条件及最优化方法概述。

本章的主要教学内容（教学时数安排：6学时）：§1.1最优化问题简介§1.2凸集和凸函数§1.3 最优性条件§1.4 最优化方法概述第二章线性规划本章介绍线性规划的基本性质及其对偶理论，求解线性规划的单纯形方法和对偶单纯形方法以及内点算法。