1次最优化方法

无约束优化算法最优化课程作业（一）姓名：丁敏学号：31130510012014/6/24一、无约束优化算法无约束优化计算方法是数值计算领域中十分活跃的研究课题。

快速地求解无约束优化问题已经成为当今的焦点，除了其自身的重要性外，还由于目前求解约束优化问题的基本思想之一就是把约束问题变换为一系列无约束子问题进行求解。

因此，无约束优化算法的求解效率将直接影响到约束问题的求解，尤其是在大规模优化问题中。

所以，对无约束优化算法的研究具有重要的理论意义和实际价值。

无约束优化问题，是指优化问题的可行集为n R ，无约束的标准形式（1-1）为：R R f x f n→:)(m i n求解无约束优化问题时将会涉及到以下概念：(1) 驻点、鞍点：若f (x )在点x*处可微，并且0f (x*)∇=，则称x*为f (x )的一个驻点(或者平稳点)。

既不是极小点，也不是极大点的驻点称为鞍点。

(2) 全局最优解：若n x*Z,x R ∈∀∈均有f (x )f (x*)≥，则称x*为问题(1-1)的全局 最优解(3) 局部最优解：若*x D ∈且存在0δ>使得()()()**f x f x ,x DN x δ≥∀∈则称x*为问题(1-1)的一个局部最优解（极小点）；若*x D ∈且存在0δ>使得()()()**f x f x ,x DN x δ≤∀∈则称x*为问题(1-1)的一个局部最优解（极大点）；当目标函数 f ( x )为凸函数时，我们认为全局最优解即是局部最优解，然而，通常寻求全局最优解并不容易。

因此，在非线性优化中我们认为局部最优解即为所求。

无约束优化算法可以分为两大类: 一类是借助目标函数的导数信息来构造下降的搜索方向。

另一类是由目标函数值信息直接搜索求解的方法。

本文章重点介绍最速下降法，阻尼牛顿法以及共轭梯度法。

二、最速下降法1、最速下降法思想经典最速下降法是由 Cauchy 于 1847 年提出的，Forsythe 和 Motzkin 在 1951 年对它做了初步的分析。

牛顿法牛顿法作为求解非线性方程的一种经典的迭代方法，它的收敛速度快，有内在函数可以直接使用。

结合着matlab 可以对其进行应用，求解方程。

牛顿迭代法（Newton Newton’’s s method method ）又称为牛顿-拉夫逊方法（Newton-Raphson method ）,它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法,其基本思想是利用目标函数的二次Taylor 展开，并将其极小化。

牛顿法使用函数()f x 的泰勒级数的前面几项来寻找方程()0f x =的根。

牛顿法是求方程根的重要方法之一，其最大优点是在方程()0f x =的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时非线性收敛，但是可通过一些方法变成线性收敛。

收敛。

牛顿法的几何解释：牛顿法的几何解释：方程()0f x =的根*x 可解释为曲线()y f x =与x 轴的焦点的横坐标。

如下图：轴的焦点的横坐标。

如下图：设k x 是根*x 的某个近似值，过曲线()y f x =上横坐标为k x 的点k P 引切线，并将该切线与x 轴的交点轴的交点 的横坐标1k x +作为*x 的新的近似值。

鉴于这种几何背景，牛顿法亦称为切线法。

牛顿法亦称为切线法。

2 牛顿迭代公式：（1）最速下降法：x-d gk k×Gg sks×GGd 101x x x -（1）令k k G v I k G -=+，其中：，其中：0k v =，如果k G 正定；0,k v >否则。

否则。

（2）计算_k G 的Cholesky 分解，_T k k k k G L D L =。

（3）解_k k G d g =-得k d 。

（4）令1k k k x x d +=+牛顿法的优点是收敛快，缺点一是每步迭代要计算()()'k k f x f x 及，计算量较大且有时()'k fx 计算较困难，二是初始近似值0x 只在根*x附近才能保证收敛，如0x 给的不合适可能不收敛。

最优化方法实验报告（1）最优化方法实验报告Numerical Linear Algebra And Its Applications学生所在学院：理学院学生所在班级：计算数学10-1学生姓名：甘纯指导教师：单锐教务处2013年5月实验一实验名称：熟悉matlab基本功能实验时间: 2013年05月10日星期三实验成绩：一、实验目的：在本次实验中，通过亲临使用MATLAB，对该软件做一全面了解并掌握重点内容。

二、实验内容：1. 全面了解MATLAB系统2. 实验常用工具的具体操作和功能实验二实验名称：一维搜索方法的MATLAB实现实验时间: 2013年05月10日星期三实验成绩：一、实验目的：通过上机利用Matlab数学软件进行一维搜索，并学会对具体问题进行分析。

并且熟悉Matlab软件的实用方法，并且做到学习与使用并存，增加学习的实际动手性，不再让学习局限于书本和纸上，而是利用计算机学习来增加我们的学习兴趣。

二、实验背景：(一）0.618法（黄金分割法），它是一种基于区间收缩的极小点搜索算法，当用进退法确定搜索区间后，我们只知道极小点包含于搜索区间内，但是具体哪个点，无法得知。

1、算法原理黄金分割法的思想很直接，既然极小点包含于搜索区间内，那么可以不断的缩小搜索区间，就可以使搜索区间的端点逼近到极小点。

2、算法步骤用黄金分割法求无约束问题min (),f x x R ∈的基本步骤如下：（1）选定初始区间11[,]a b 及精度0ε>，计算试探点：11110.382*()a b a λ=+-11110.618*()a b a μ=+-。

（2）若k k b a ε-<，则停止计算。

否则当()()k k f f λμ>时转步骤（3）。

当()()k k f f λμ≤转步骤（4）。

（3）置11111110.382*()k kk k k k k k k k a b b a b a λλμμ+++++++=??=??=??=+-?转步骤（5）（4）置11111110.382*()k k k k k k k k k k a a b a b a μμλλ+++++++=??=??=??=+-?转步骤（5）（5）令1k k =+，转步骤（2）。

最优化⽅法：拉格朗⽇乘数法解决约束优化问题——拉格朗⽇乘数法拉格朗⽇乘数法（Lagrange Multiplier Method）应⽤⼴泛，可以学习⿇省理⼯学院的在线数学课程。

拉格朗⽇乘数法的基本思想 作为⼀种优化算法，拉格朗⽇乘⼦法主要⽤于解决约束优化问题，它的基本思想就是通过引⼊拉格朗⽇乘⼦来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的⽆约束优化问题。

拉格朗⽇乘⼦背后的数学意义是其为约束⽅程梯度线性组合中每个向量的系数。

如何将⼀个含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的⽆约束优化问题？拉格朗⽇乘数法从数学意义⼊⼿，通过引⼊拉格朗⽇乘⼦建⽴极值条件，对n个变量分别求偏导对应了n个⽅程，然后加上k个约束条件（对应k个拉格朗⽇乘⼦）⼀起构成包含了（n+k）变量的（n+k）个⽅程的⽅程组问题，这样就能根据求⽅程组的⽅法对其进⾏求解。

解决的问题模型为约束优化问题： min/max a function f(x,y,z), where x,y,z are not independent and g(x,y,z)=0. 即：min/max f(x,y,z) s.t. g(x,y,z)=0数学实例 ⾸先，我们先以⿇省理⼯学院数学课程的⼀个实例来作为介绍拉格朗⽇乘数法的引⼦。

【⿇省理⼯学院数学课程实例】求双曲线xy=3上离远点最近的点。

解： ⾸先，我们根据问题的描述来提炼出问题对应的数学模型，即： min f(x,y)=x2+y2（两点之间的欧⽒距离应该还要进⾏开⽅，但是这并不影响最终的结果，所以进⾏了简化，去掉了平⽅） s.t. xy=3. 根据上式我们可以知道这是⼀个典型的约束优化问题，其实我们在解这个问题时最简单的解法就是通过约束条件将其中的⼀个变量⽤另外⼀个变量进⾏替换，然后代⼊优化的函数就可以求出极值。

我们在这⾥为了引出拉格朗⽇乘数法，所以我们采⽤拉格朗⽇乘数法的思想进⾏求解。

最优化基础理论与⽅法⽬录1．最优化的概念与分类 (2)2. 最优化问题的求解⽅法 (3)2.1线性规划求解 (3)2.1.1线性规划模型 (3)2.1.2线性规划求解⽅法 (3)2.1.3 线性规划算法未来研究⽅向 (3)2.2⾮线性规划求解 (4)2.2.1⼀维搜索 (4)2.2.2⽆约束法 (4)2.2.3约束法 (4)2.2.4凸规划 (5)2.2.5⼆次规划 (5)2.2.6⾮线性规划算法未来研究⽅向 (5)2.3组合规划求解⽅法 (5)2.3.1 整数规划 (5)2.3.2 ⽹络流规划 (7)2.4多⽬标规划求解⽅法 (7)2.4.1 基于⼀个单⽬标问题的⽅法 (7)2.4.2 基于多个单⽬标问题的⽅法 (8)2.4.3多⽬标规划未来的研究⽅向 (8)2.5动态规划算法 (8)2.5.1 逆推解法 (8)2.5.2 顺推解法 (9)2.5.3 动态规划算法的优点及研究⽅向 (9)2.6 全局优化算法 (9)2.6.1 外逼近与割平⾯算法 (9)2.6.2 凹性割⽅法 (9)2.6.3 分⽀定界法 (9)2.6.4 全局优化的研究⽅向 (9)2.7随机规划 (9)2.7.1 期望值算法 (10)2.7.2 机会约束算法 (10)2.7.3 相关机会规划算法 (10)2.7.4 智能优化 (10)2.8 最优化软件介绍 (11)3 最优化算法在电⼒系统中的应⽤及发展趋势 (12)3.1 电⼒系统的安全经济调度问题 (12)3.1.1电⼒系统的安全经济调度问题的介绍 (12)3.1.2电⼒系统的安全经济调度问题优化算法的发展趋势 (12)2. 最优化问题的求解⽅法最优化⽅法是近⼏⼗年形成的，它主要运⽤数学⽅法研究各种优化问题的优化途径及⽅案，为决策者提供科学决策的依据。

最优化⽅法的主要研究对象是各种有组织系统的管理问题及其⽣产经营活动。

最优化⽅法的⽬的在于针对所研究的系统，求得⼀个合理运⽤⼈⼒、物⼒和财⼒的最佳⽅案，发挥和提⾼系统的效能及效益，最终达到系统的最优⽬标。

第一章最优化问题及数学预备知识最优化分支：线性规划，整数规划，几何规划，非线性规划，动态规划。

又称规划论。

应用最优化方法解决问题时一般有以下几个特点：1. 实用性强2. 采用定量分析的科学手段3. 计算量大，必须借助于计算机4. 理论涉及面广应用领域：工业，农业，交通运输，能源开发，经济计划，企业管理，军事作战……。

§1.1 最优化问题实例最优化问题：追求最优目标的数学问题。

经典最优化理论：（1） 无约束极值问题：),,,(opt 21n x x x f（),,,(m in 21n x x x f 或),,,(m ax 21n x x x f ）其中，),,,(21n x x x f 是定义在n 维空间上的可微函数。

解法（求极值点）：求驻点，即满足⎪⎪⎩⎪⎪⎨⎧='='='0),,(0),,(0),,(11121n x n x n x x x f x x f x x f n并验证这些驻点是否极值点。

（2） 约束极值问题：),,,(opt 21n x x x fs.t. )(,,2,1,0),,,(21n l l j x x x h n j <==解法：采用Lagrange 乘子法，即将问题转化为求Lagrange 函数),,(),,,(),,;,,,(1121121n j j lj n l n x x h x x x f x x x L λλλ∑=+=的无约束极值问题。

近代最优化理论的实例：例1 (生产计划问题) 设某工厂有3种资源B 1，B 2，B 3，数量各为b 1，b 2，b 3，要生产10种产品A 1，…，A 10 。

每生产一个单位的A j 需要消耗B i 的量为a ij ，根据合同规定，产品A j 的量不少于d j ，再设A j 的单价为c j 。

问如何安排生产计划，才能既完成合同，又使总收入最多？（线性规划问题）数学模型：设A j 的计划产量为 j x ，z 为总产值。

习题二包括题目：P36页5（1）（4）5（4）习题三包括题目：P61页1(1)(2); 3; 5; 6; 14；15(1)1(1)(2)的解如下3题的解如下5,6题14题解如下14. 设22121212()(6)(233)f x x x x x x x =+++---, 求点在(4,6)T-处的牛顿方向。

解：已知 (1)(4,6)T x=-，由题意得121212212121212(6)2(233)(3)()2(6)2(233)(3)x x x x x x x f x x x x x x x x +++-----⎛⎫∇= ⎪+++-----⎝⎭∴ (1)1344()56g f x -⎛⎫=∇=⎪⎝⎭21212122211212122(3)22(3)(3)2(233)()22(3)(3)2(233)22(3)x x x x x x x f x x x x x x x x +--+--------⎛⎫∇= ⎪+--------+--⎝⎭∴ (1)2(1)1656()()564G x f x --⎛⎫=∇=⎪-⎝⎭(1)11/8007/400()7/4001/200G x --⎛⎫= ⎪--⎝⎭∴ (1)(1)11141/100()574/100d G x g -⎛⎫=-=⎪-⎝⎭15（1）解如下15. 用DFP 方法求下列问题的极小点（1）22121212min 353x x x x x x ++++解：取 (0)(1,1)T x=，0H I =时，DFP 法的第一步与最速下降法相同2112352()156x x f x x x ++⎛⎫∇= ⎪++⎝⎭， (0)(1,1)T x =，(0)10()12f x ⎛⎫∇= ⎪⎝⎭(1)0.07800.2936x -⎛⎫= ⎪-⎝⎭， (1)1.3760() 1.1516f x ⎛⎫∇= ⎪-⎝⎭以下作第二次迭代(1)(0)1 1.07801.2936x xδ-⎛⎫=-= ⎪-⎝⎭， (1)(0)18.6240()()13.1516f x f x γ-⎛⎫=∇-∇= ⎪-⎝⎭0110111011101T T T TH H H H H γγδδδγγγ=+-其中，111011126.3096,247.3380T T TH δγγγγγ===11 1.1621 1.39451.3945 1.6734T δδ⎛⎫= ⎪⎝⎭ ， 01101174.3734113.4194113.4194172.9646T TH H γγγγ⎛⎫== ⎪⎝⎭所以10.74350.40560.40560.3643H -⎛⎫= ⎪-⎝⎭(1)(1)1 1.4901()0.9776d H f x -⎛⎫=-∇= ⎪⎝⎭令 (2)(1)(1)1xx d α=+ ， 利用 (1)(1)()0df x d d αα+=，求得 10.5727α=-所以 (2)(1)(1)0.77540.57270.8535x x d ⎛⎫=-= ⎪-⎝⎭ ， (2)0.2833()0.244f x ⎛⎫∇= ⎪-⎝⎭以下作第三次迭代(2)(1)20.85340.5599xx δ⎛⎫=-= ⎪-⎝⎭ ， (2)(1)2 1.0927()()0.9076f x f x γ-⎛⎫=∇-∇= ⎪⎝⎭22 1.4407T δγ=- ， 212 1.9922T H γγ=220.72830.47780.47780.3135T δδ-⎛⎫=⎪-⎝⎭1221 1.39360.91350.91350.5988T H H γγ-⎛⎫= ⎪-⎝⎭所以22122121222120.46150.38460.38460.1539T T T T H H H H H δδγγδγγγ-⎛⎫=+-= ⎪-⎝⎭(2)(2)20.2246()0.1465d H f x ⎛⎫=-∇= ⎪-⎝⎭令 (3)(2)(2)2xxdα=+ ， 利用(2)(2)()0df x d d αα+=，求得 21α= 所以 (3)(2)(2)11x x d ⎛⎫=+=⎪-⎝⎭， 因为 (3)()0f x ∇=，于是停止 (3)(1,1)T x =-即为最优解。

最优化算法（⽜顿、拟⽜顿、梯度下降）1、⽜顿法 ⽜顿法是⼀种在实数域和复数域上近似求解⽅程的⽅法。

⽅法使⽤函数f (x)的泰勒级数的前⾯⼏项来寻找⽅程f (x) = 0的根。

⽜顿法最⼤的特点就在于它的收敛速度很快。

具体步骤： ⾸先，选择⼀个接近函数f (x)零点的x0，计算相应的f (x0) 和切线斜率f ' (x0)（这⾥f ' 表⽰函数f 的导数）。

然后我们计算穿过点(x0, f (x0)) 并且斜率为f '(x0)的直线和x 轴的交点的x坐标，也就是求如下⽅程的解： 我们将新求得的点的x 坐标命名为x1，通常x1会⽐x0更接近⽅程f (x) = 0的解。

因此我们现在可以利⽤x1开始下⼀轮迭代。

迭代公式可化简为如下所⽰： 已经证明，如果f ' 是连续的，并且待求的零点x是孤⽴的，那么在零点x周围存在⼀个区域，只要初始值x0位于这个邻近区域内，那么⽜顿法必定收敛。

并且，如果f ' (x)不为0, 那么⽜顿法将具有平⽅收敛的性能. 粗略的说，这意味着每迭代⼀次，⽜顿法结果的有效数字将增加⼀倍。

下图为⼀个⽜顿法执⾏过程的例⼦。

由于⽜顿法是基于当前位置的切线来确定下⼀次的位置，所以⽜顿法⼜被很形象地称为是"切线法"。

⽜顿法的搜索路径（⼆维情况）如下图所⽰： ⽜顿法搜索动态⽰例图：2、拟⽜顿法（Quasi-Newton Methods） 拟⽜顿法是求解⾮线性优化问题最有效的⽅法之⼀，于20世纪50年代由美国Argonne国家实验室的物理学家W.C.Davidon所提出来。

Davidon设计的这种算法在当时看来是⾮线性优化领域最具创造性的发明之⼀。

不久R. Fletcher和M. J. D. Powell证实了这种新的算法远⽐其他⽅法快速和可靠，使得⾮线性优化这门学科在⼀夜之间突飞猛进。

拟⽜顿法的本质思想是改善⽜顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使⽤正定矩阵来近似Hessian矩阵的逆，从⽽简化了运算的复杂度。

《最优化方法》课程教学标准第一部分：课程性质、课程目标与要求《最优化方法》课程，是我院数学与应用数学、信息与计算科学本科专业的选修课程，是系统地培养数学及其应用人才的重要的课程之一，它与工农业生产等实际问题紧密联系。

本课程的目的是利用微积分的思想，结合线性代数，解析几何等其他数学科学的知识，来对各种实际问题建立优化模型，并构造优化算法，使学生学会和掌握本课程的基本优化模型、基础理论和方法，为他们解决实际问题提供思想与方法；同时，通过这门课本身的学习和训练，使学生们学习数学建模的一些基本优化方法，初步了解当今自然科学和社会科学中的一些非线性问题，为将来从事相关领域的科学研究和教学工作培养兴趣，做好准备。

教学时间应安排在第六学期或第七学期。

这时，学生已学完线性代数，基本学完数学分析等课程，这是学习《最优化方法》课程必要的基础知识。

同时，建议在条件允许的情况下，介绍利用常用的数学软件解决优化问题的基本方法和技能，使学生初步体会计算机在解决数学及其应用问题的重要作用，增强使用数学方法和计算机解决问题的意识和能力。

第二部分：教材与学习参考书本课程拟采用由孙文瑜、徐成贤和朱德通编写的、高等教育出版社2004年出版的《最优化方法》一书，作为本课程的主教材。

为了更好地理解和学习课程内容，建议学习者可以进一步阅读以下几本重要的参考书：1、最优化方法，施光燕、董加礼，高等教育出版社，19992、最优化理论与算法，陈宝林，清华大学出版社，1989第三部分：教学内容纲要和课时安排第一章基本概念主要介绍优化问题的基本模型、凸集和凸函数的概念和性质、最优性条件及最优化方法概述。

本章的主要教学内容（教学时数安排：6学时）：§1.1最优化问题简介§1.2凸集和凸函数§1.3 最优性条件§1.4 最优化方法概述第二章线性规划本章介绍线性规划的基本性质及其对偶理论，求解线性规划的单纯形方法和对偶单纯形方法以及内点算法。

基于Laurent分解实现多进制CPM 信号的相干检测全部作者：杨剑锋张长明张波陈颖第1作者单位：电子科技大学论文摘要：基于扩展Laurent分解，可以把任意连续相位调制（CPM）信号表示成1系列脉冲幅度调制(PAM)信号之和。

根据这1方法提出了1种可以减少CPM最大似然序列检测（MLSD）复杂性的最优化算法及次优化算法。

用4进制部分响应CPM系统实现了这两种算法，证明了可以明显减少接收端信号检测的复杂性，比较了最优化算法和次优化算法的码元误码率性能。

关键词：连续相位调制 Laurent分解最大似然估计维特比算法 (浏览全文)发表日期：2007年01月31日同行评议：作者采用基于扩展Laurent分解，将CPM信号表示成PAM信号序列之和，从而实现对CPM信号的相干检测。

论文对其相干检测的最优化方法和1种次优化方法进行了仿真分析，并将其仿真结果与MLSD方法进行了对比分析。

结果表明其次优化方法性能非常逼近最优化方法性能，而其对系统资源的开销则显著降低。

论文对有关系统的设计和实现具有1定的指导意义。

综合评价：修改稿：注：同行评议是由特聘的同行专家给出的评审意见，综合评价是综合专家对论文各要素的评议得出的数值，以1至5颗星显示。

作者采用基于扩展Laurent分解，将CPM信号表示成PAM信号序列之和，从而实现对CPM信号的相干检测。

论文对其相干检测的最优化方法和1种次优化方法进行了仿真分析，并将其仿真结果与MLSD方法进行了对比分析。

结果表明其次优化方法性能非常逼近最优化方法性能，而其对系统资源的开销则显著降低。

论文对有关系统的设计和实现具有1定的指导意义。

陆吾生教授是加拿大维多利亚大学电气与计算机工程系 (Dept. of Elect. and Comp. Eng. University of Victoria) 的正教授, 且为我校兼职教授，曾多次来我校数学系电子系讲学。

陆吾生教授的研究方向是：最优化理论和小波理论及其在1维和2维的数字信号处理、数字图像处理、控制系统优化方面的应用。

现陆吾生教授计划在 2007 年 10－11 月来校开设一门为期一个月的短期课程“最优化理论及其应用”（每周两次，每次两节课），对象是数学系、计算机系、电子系的教师、高年级本科生及研究生，以他在2006年出版的最优化理论的专著作为教材。

欢迎数学系、计算机系、电子系的研究生及高年级本科生选修该短期课程，修毕的研究生及本科生可给学分。

上课地点及时间：每周二及周四下午2:00开始，在闵行新校区第三教学楼326教室。

（自10月11日至11月8日）下面是此课程的内容介绍。

-----------------------------------最优化方法及应用I. 函数的最优化及应用1.1 无约束和有约束的函数优化问题1.2 有约束优化问题的Karush-Kuhn-Tucker条件1.3 凸集、凸函数和凸规划1.4 Wolfe对偶1.5 线性规划与二次规划1.6 半正定规划1.7 二次凸锥规划1.8 多项式规划1.9解最优化问题的计算机软件II 泛函的最优化及应用2.1 有界变差函数2.2 泛函的变分与泛函的极值问题2.3 Euler-Lagrange方程2.4 二维图像的Osher模型2.5 泛函最优化方法在图像处理中的应用2.5.1 噪声的消减2.5.2 De-Blurring2.5.3 Segmentation-----------------------------------------------注：这是一门约二十学时左右的短期课程，旨在介绍函数及泛函的最优化理论和方法，及其在信息处理中的应用。

最速下降法：算法简单，每次迭代计算量小，占用内存量小，即使从一个不好的初始点出发，往往也能收敛到局部极小点。

沿负梯度方向函数值下降很快的特点，容易使认为这一定是最理想的搜索方向，然而事实证明，梯度法的收敛速度并不快．特别是对于等值线（面）具有狭长深谷形状的函数，收敛速度更慢。

其原因是由于每次迭代后下一次搜索方向总是与前一次搜索方向相互垂直，如此继续下去就产生所谓的锯齿现象。

从直观上看，在远离极小点的地方每次迭代可能使目标函数有较大的下降，但是在接近极小点的地方，由于锯齿现象，从而导致每次迭代行进距离缩短，因而收敛速度不快.牛顿法：基本思想：利用目标函数的一个二次函数去近似一个目标函数，然后精确的求出这个二次函数的极小点，从而该极小点近似为原目标函数的一个局部极小点。

优点 1. 当目标函数是正定二次函数时，Newton 法具有二次终止性。

2. 当目标函数的梯度和Hesse 矩阵易求时，并且能对初始点给出较好估计时，建议使用牛顿法为宜。

缺点：1. Hesse 矩阵可能为奇异矩阵，处理办法有：改为梯度方向搜索。

共轭梯度法：优点：收敛速度优于最速下降法，存贮量小，计算简单.适合于优化变量数目较多的中等规模优化问题.缺点：变度量法：较好的收敛速度，不计算Hesse 矩阵1．对称秩1 修正公式的缺点（1）要求( ) ( ) ( ) ( ) ( ) 0 k k k T k y B s s − ≠0（2）不能保证B ( k ) 正定性的传递2．BFGS 算法与DFP 算法的对比对正定二次函数效果相同，对一般可微函数效果可能不同。

1） BFGS 算法的收敛性、数值计算效率优于DFP 算法；（2） BFGS 算法要解线性方程组，而DFP 算法不需要。

基本性质：有效集法：算法思想：依据凸二次规划问题的性质2，通过求解等式约束的凸二次规划问题，可能得到原凸二次规划问题的最优解。

有效集法就是通过求解一系列等式约束凸二次规划问题，获取一般凸二次规划问题解的方法。