下载文档原格式
最速下降法姓名：沈东东 班级：研1404 学号：1415033005一、最速下降法的原理目标函数:(1)n f R R n →>在决策变量的当前点()k n x R ∈处的一阶Taylor 展开式为()()()()()()()k k k T f x f x g x δδοδ+=++式中，()()k n g x R ∈为f 在点()k x 处的梯度向量。
当扰动量n R δ∈充分小时，有()()()()()()k k k T f x f x g x δδ+≈+设新的迭代点为(1)()k k x x δ+=+，于是得到(1)()()()()()k k k T f x f x g x δ+-≈为了使(1)k x +处的目标函数值比()k x 处有所下降，需要满足()()0k T g x δ<此外，梯度向量()()k g x 和扰动量δ的内积可以表示为()()()()cos k T k g x g x δδθ=式中，θ为两向量之间的夹角。
若要使目标函数值的下降量尽可能大，可知δ的方向应该为梯度方向的负方向，即cos 1θ=-。
函数f 在点()k x 处的负梯度方向称为该点的最速下降方向。
在每次迭代时都取最速下降方向作为搜索方向的方法就称为最速下降法。
二、最速下降法的特点1.若()k x 不是极小点，则f 在点()k x 处的最速下降方向总是下降方向。
2.如果每次迭代时都用精确搜索方法得到最佳步长作为搜索步长，则寻优过程中相邻的最速下降方向是正交的。
3最速下降法产生的迭代点序列在一定条件下是线性收敛的，其收敛性质与极小点*x 处的Hesse 矩阵有关。
三、最速下降法的计算步骤最速下降法的计算步骤如下：步骤1：已知待求问题的目标函数()f x ，选择初始点(0)x ，并设定精度要求tol ，令:0k =。
步骤2：计算()f x 在点()k x 处的梯度向量()()k g x ，得到最速下降方向()()()k k d g x =-。
随着人工智能、模糊控制、模式识别、人工网络等新技术的应用和发展。
可以让它们与广义预测控制相结合，建立高精度、多模态的预测模型。
使广义预测控制在异常情况下可以稳定运行，推进广义预测控制的进一步发展。
2.2.1最速下降法最速下降法是无约束最优化中是比较有效的方法，它是以d}=一可(x})作为下降方向的算法。
其迭代格式为xx+i=xx一。
*Of (xk)上式中，一般通过精确线搜索准则求得步长因子。
*，当然也不排除可以利用非精确线搜索准则来求得步长因子。
*。
不管最速下降法采取何种线搜索准则，它均具有全局收敛性，但是这也不能直接就认为最速下降算法就是一个良好的优化算法。
在实际试验中，有很多优化问题利用最速下降法并不是下降的特快，反而下将的十分缓慢。
这是因为出现了锯齿现象:就是在计算过程中，最速下降法开始几步还是挺快的，但是当目标函数f (x)的等高线接近于一个球的时候，就出现了类似锯齿现象，前进十分缓慢，降低了算法的效能。
2.2.12.2.2牛顿法牛顿法也是无约束最优化问题中的一种经典算法，它是利用目标函数.f (x)的二次泰勒展开式，并将二次泰勒展开式进行极小化。
其迭代格式为x}+}=xA十d}(2-5)其中步长因子。
、=l} d、为02f (x} )d + Of (xA ) = 0的解。
当目标函数f(x)是正定二次函数的时候，牛顿法可以一步达到最优解;当目标函数f (x)是非二次函数的时候，牛顿法经过有限次迭代之后就不能确保求得目标函数f (x)的最优解。
我们知道目标函数f (x)在极小点附近是很接近于二次函数的，所以，假如初始点非常靠近无约束最优化问题((1-1)的最优解x的时候，并且}Z.f (x.)正定的时候，那么牛顿法就会有很快的收敛速度，而由此算法产生的点列也具有了超线性收敛速度，同时还在一定条件下具有二次收敛性;假如初始点与无约束最优化问题(1-1)的最优解x’相距比较远的时候，这时的}Z.}(x})就不一定是正定的了，也就存在了一个问题，那就是此时的牛顿方向就不一定是下降方向，有可能是上升方向，此时由此算法产生的点列可能也就不收敛于无约束最优化问题((1-1)的最优解了。
课程论文论文题目：最速下降法原理及其算法实现课程名称：现代信号处理新方法学院：自动化学院专业班级：控制科学与工程1班学号： 92*名：***任课教师：***2014年6月20日最速下降法原理及其算法实现内容摘要摘要：基于最速下降法在解决无约束非线性规划问题中的重要性，对其原理与算法予以讨论。
论文主要是参阅大量数学分析和运筹学书籍以及一些学术资料，结合自己在平时学习中掌握的知识，并在指导老师的建议下，针对最速下降法的基本思路和原理进行研究。
关键词：运筹学最速下降法无约束梯度法最优解The steepest descent method, principle and its algorithmAbstractBased on the steepest descent method in solving unconstrained nonlinear programming problem, the importance of the principle and the algorithm is discussed. Paper mainly refer to a mathematical analysis and operations research books and some academic material, usually in the study of knowledge and mastery in teacher's suggestion, the steepest descent method according to the basic ideas and principles were studied.Key words：operational research steepest descent method Unconstrained gradient method optimal solution序言最速下降法又称为梯度法，是1847年由著名数学家Cauchy 给出的，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。
.
数学与计算科学学院
实验报告
实验项目名称使用精确搜索算法确定步长的最速下降法所属课程名称最优化方法
实验类型算法编程
实验日期 201
班级
学号
姓名
成绩
【实验目的】
(1) 掌握精确搜索算法确定步长的最速下降法； (2) 使用计算机语言表达最优化方法。
【实验原理】
最速下降法又称为梯度法，是1847年由著名数学家Cauchy 给出的。
他是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。
设无约束问题中的目标函数 f : Rn
R1一阶连续可微。
最速下降法的基本思想是：从当前点k x 出发，取函数 f (x)在点k x 处下降最快的方向作为我们的搜索方向k p .由 f (x)的 Taylor 展式知
()()()()
k k k k T k k f x f x tp t f x p o tp -+=-∇+
略去t 的高阶无穷小项不计，可见取()k k p f x =-∇时，函数值下降得最多。
于是，我们可以构造出最速下降法的迭代步骤。
解无约束问题的的最速下降法计算步骤
第 1 步 选取初始点(0)x ，给定终止误差ε ，令k:=0； 第 2 步 计算 f (k x )，，若‖ f (k x )‖ε ，停止迭代.输出k x .
否则进行第三步
第 3 步 取()k k p f x =-∇； 第 4 步进行一维搜索，求k t ，使得
1()(())min (())
k k k k k k f x f x t f x f x t f x +=-∇=-∇
令,k:=k+1，转第2 步。
由以上计算步骤可知，最速下降法迭代终止时，求得的是目标函数驻点的一个近似点。
【实验环境】
计算机 VC++
二、实验内容： 【实验方案】
1. 列举例题
2. 手工计算
3. 将计算步骤等实现程序化
4. 实验结果分析
【实验过程】
例题
222121)(x x x f +=
0.1ε= (0)(1,1)T
x =
计算步骤：
语言设计流程图：
【实验结论】
最小值：0.0006096631611
最优解时：x1=0.0329218107
X2=-0.008230452675
附录1：源程序
附录2：实验报告填写说明
1．实验项目名称：要求与实验教学大纲一致.
2．实验目的：目的要明确，要抓住重点，符合实验教学大纲要求.
3．实验原理：简要说明本实验项目所涉及的理论知识.
4．实验环境：实验用的软、硬件环境.
5．实验方案（思路、步骤和方法等）：这是实验报告极其重要的内容.概括整个实验过程.
对于验证性实验，要写明依据何种原理、操作方法进行实验，要写明需要经过哪几个步骤来实现其操作.对于设计性和综合性实验，在上述内容基础上还应该画出流程图、设计思路和设计方法，再配以相应的文字说明.对于创新性实验，还应注明其创新点、特色. 6．实验过程（实验中涉及的记录、数据、分析）：写明具体实验方案的具体实施步骤，包括实验过程中的记录、数据和相应的分析.
7．实验结论（结果）：根据实验过程中得到的结果，做出结论.
8．实验小结：本次实验心得体会、思考和建议.
9．指导教师评语及成绩：指导教师依据学生的实际报告内容，给出本次实验报告的评价.
10。
