课程报告题目最优化理论与方法
学生姓名
学号
院系
专业
二Ｏ一二年十一月十日
最优化理论与方法综述
最优化方法是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。最优化方法的主要研究对象是各种管理问题及其生产经营活动。最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为管理科学的重要理论基础和不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等各个领域，发挥着越来越重要的作用。这就是我理解的整个课程的流程。在这整个学习的过程当中，当然也会遇到很多的问题，不论是从理论上的还是从实际将算法编写出程序来解决一些问题。下面给出学习该课程的必要性及结合老师讲解以及在作业过程中遇到的问题来阐述自己对该课程的理解。
20世纪40年代以来，由于生产和科学研究突飞猛进地发展，特别是电子计算机日益广泛应用，使最优化问题的研究不仅成为一种迫切需要，而且有了求解的有力工具。因此最优化理论和算法迅速发展起来，形成一个新的学科。至今已出现线性规划、整数规划、非线性规划、几何规划、动态规划、随机规划、网络流等许多分文。
最优化理论与算法包括线性规划单纯形方法、对偶理论、灵敏度分析、运输问题、内点算法、非线性规划K-T条件、无约束最优化方法、约束最优化方法、参数线性规划、运输问题、线性规划路径跟踪法、信赖域方法、二次规划路径跟踪法、整数规划和动态规划等内容。
最优化理论所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。这类问题普遍存在。例如，工程设计中怎样选择设计参数，使得设计方案满足设计要求，又能降低成本；资源分配中，怎样分配有限资源，使得分配方案既能满足各方面的基本要求，又能获得好的经济效益；生产评价安排中，选择怎样的计划方案才能提高产值和利润；原料配比问题中，怎样确定各种成分的比例，才能提高质量，降低成本；城建规划中，怎样安排基本单位的合理布局，才能方便群众，有利于城市各行各业的发展；农田规划中，怎样安排各种农作物的合理布局，才能保持高产稳产，发挥地区优势；军事指挥中，怎样确定最佳作战方案，才能有效地消灭敌人，保存自己，有利于战争的全局；在人类活动的各个领域中，诸如此类，不胜枚举。最优化这一数学分支，正是为这些问题的解决，提供理论基础和求解方法，它是一门应用广泛、实用性强的学科。
一、最优化学习的必要性
最优化，在热工控制系统中应用非常广泛。为了达到最优化目的所提出的各种求解方法。从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。从经济意义上说，是在一定的人力、物力和财力资源条件下，使经济效果达到最大，或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。
通过老师的讲解，我们了解不同类型的最优化问题可以有不同的最优化方法，即使同一类型的问题也可有多种最优化方法。反之,某些最优化方法可适用于不同类型的模型。最优化问题的求解方法一般可以分成解析法、直接法。
1、直接法
当目标函数较为复杂或者不能用变量显函数描述时，无法用解析法求必要条件。此时可采用直接搜索的方法经过若干次迭代搜索到最优点。这种方法常常根据经验或通过试验得到所需结果。对于一维搜索(单变量极值问题)，一维搜索介绍了黄金分割法即为0.618法（前提是存在单峰区间（所以在此时要提出使用进退法来得到该单峰区间））、二分法（效率最高，但是必须求取函数的导数不好求）、抛物线法（不推荐）；对于多维搜索问题(多变量极值问题)。
①黄金分割法是一维搜索方法，只针对一元函数来求解。黄金分割法的局限性在于要求是单峰函数，所以要先用进退法找到一个函数的其中一个单峰。步骤就是在区间[a,b]中取点x1=a+0.382(b-a)，x2=a+0.618(b-a)，如果f(x1)>f(x2),说明选取的步长太小，要扩大，令a=x1，x1=x2，再求新的x2;如果f(x1)<=f(x2)，步长选取过大，缩小步长，令b=x2，x2=x1，再求新的x1，循环。这样做每次可将搜索区间缩小0.382倍或0.618倍，直至缩为最小点。该算法为收敛速度很快的一维搜索方法。前提是要先利用进退法选择一个下降的单峰区间（即黄金分割法的单峰搜索区间）。
②进退法
用进退法来确定下单峰区间，即黄金分割法的搜索区间。
2、线性规划问题
单纯形法对于一般形式的线性规划问题，引入松弛变量或者剩余变量来化为标准型，可以将引入的变量作为初始基变量，该基变量对应的单位阵可以作为一个初始基可行解，然后进行单纯形法求解过程。如果线性规划是非退化的,则按照进基,离基迭代一次后,目标函数值有所下降.经过有限次迭代之后,一定可以得到一个基可行解,使得其所有判别数非负(得到最优解),或者其有一个判别数是负的,但对应列向量的所有分量非正(线性规划无最优解)。
而对于一般标准型的线性规划问题，约束方程组的系数矩阵中不包含单位阵，从而需要引入人工变量，构造一个单位矩阵，得到初始基可行解的方法。而利用单纯形法求解问题最关键的环节是初始基可行解的求解，因为单纯形法的迭代过程是在已有一个初始基可行解的
前提下进行的，而常用的方法有两种，一是大M法，二是两阶段法。
①大M单纯形法，其中M定义为一个比较大的数，通常比系数矩阵中的系数大一个数量级，与引入的人工变量结合构造辅助线性规划问题，从而也在系数矩阵中构造出了单位阵，对应的变量值作为一组初始基可行解进行单纯形法的迭代运算。在取得的最优解中人工变量全为零，即M的引入不影响目标函数的最优解。
②对偶单纯形法，单纯形法与对偶单纯形法是对偶的可以互相转换可以简化求解过程，而对偶之间只有最优解是相等的。单纯形法保证解可行，而对偶单纯形法保证对偶规划解可行。不同点在于对偶单纯形法的最优性判别是已知线性规划问题的基矩阵B及它所对应的基解的所有的判别数非负（即XB=B-1b>=0）时有最优解。对偶单纯形法并不是解对偶线性规划问题的单纯形法，而是根据对偶原理求解原线性规划问题的另一种单纯形法。
3、无约束最优化问题
解析法只适用于目标函数有明显的解析表达式的情况。求解方法是：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法求出必要条件，通过必要条件将问题简化，因此也称间接法。这种方法针对的是无约束最优化，主要考虑下降算法包括最速下降法、newton法、共轭梯度法、拟newton法等。
最速下降法是求梯度的方法中效率最低的方法，它所提供的下降方向只是眼前下降最快的方向，用图形表示是一种锯齿形的路线，收敛速度慢，但是迭代计算量小、算法简单。它的原理就是沿着负梯度方向就是下降速度最快的方向，主要步骤就是取初值以及允许误差，求取函数的负梯度，若梯度范数小于允许误差，此时得到最优解。反之，得到此时的xk再用一维搜索求取合适的步长满足最小函数值方程，计算下一个xk+1值，求出梯度，循环计算最小函数值找到最优解。
最速下降法
基本思想：最速下降法是应用目标函数的负梯度方向作为每一步迭代的搜索方向，因为每一步都取负梯度方向的最优步长。使用条件：目标函数在迭代点处必须可微，且导数不为0。
特点：沿负梯度方向寻优的最优梯度法，其搜索路径实际上是成直角的锯齿形前进的，它是在某一点附近的最速下降方向，是一局部性质，开始时步长较大，收敛速度较快，但越接近极小点，步长越小，收敛速度越慢。
Newton法有很快的收敛速度，但它只是局部收敛的。所以提出共轭梯度法。如果在共轭方向法中初始的共轭向量恰好取为初始点X0处的负梯度-g0，而以下各共轭方向Pk由
