下载文档原格式
第四章
第四章
无约束优化问题标准形式：
无约束优化问题标准形式：
§
§
§
§
§
§
图最速下降法的收敛过程
αα
2
2
例4－1 求目标函数
取初始点
[2,2]
=
x
例4－2 求目标函数解取初始点[2,2]
=x
算出一维搜索最佳步长
§
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
x
给定0,ε
一般迭代式：
§4.3
§4.3
§4.3
§4.3
α0
d 0
x
x 1
x*
1
α1d 1
1()
f −∇x d 1
4-4 共轭方向法
假设目标函数f (x ) 在极值点附近的二次近似函数为
沿某个下降方向
如果能够选定这样的搜索方向，那么对于二
α
0d0
x0x1x*
1
α
1
d1
1
()
f
−∇x d
1。
非线性抛物线法的特点牛顿迭代法虽然具有收敛速度快的优点，但每迭代一次都要计算函数导数，而有些函数的导数计算十分麻烦。
弦截法和抛物线法便是为了避免上述不便而提出的方法.一、弦截法：牛顿迭代公式： x k + 1 = x k − f ( x k ) f ′ ( x k ) 牛顿迭代公式：\\ x_{k+1}=x_k-\frac{f(x_k)}{f^{'}(x_k)}\\ 牛顿迭代公式：xk+1=xk−f′(xk)f(xk)替换牛顿公式中的f’(x),便得到迭代公式： x k + 1 = x k − f ( x k ) ( x k − x k − 1 ) f ( x k ) − f ( x k − 1 ) 这就是弦截迭代公式 . x_{k+1}=x_k-\frac{f(x_k)(x_k-x_{k-1})}{f(x_k)-f(x_{k-1})}\\ 这就是弦截迭代公式. xk+1=xk−f(xk)−f(xk−1)f(xk)(xk−xk−1)这就是弦截迭代公式.算法流程：注意，弦截迭代发要用到前两步的结果：x k 和 x k − 1 . x_{k}和x_{k-1}. xk和xk−1.二、抛物线法根据牛顿多项式插值公式： N n ( x ) = a 0 + a 1 ( x −x 0 ) + a 2 ( x − x 0 ) ( x − x 1 ) + . . . + a n( x − x 0 ) ( x − x 1 ) ⋯ ( x − x n − 1 )N_n(x)=a_0+a_1(x-x_0)+a_2(x-x_0)(x-x_1)+...+a_n(x-x_0)(x-x_1)\cdots(x-x_{n-1}) Nn(x)=a0+a1(x−x0)+a2(x−x0)(x−x1)+...+an(x−x0)(x−x1)⋯(x−xn−1)取三次牛顿插值公式得： N 2 ( x ) = f ( x k ) + f [ x k , x k − 1 ] ( x − x k ) + f [ x k , x k − 1 , x k − 2 ] ( x − x k ) ( x − x k − 1 )N_2(x)=f(x_k)+f[x_k,x_{k-1}](x-x_k)+f[x_k,x_{k-1},x_{k-2}](x-x_k)(x-x_{k-1}) N2(x)=f(xk)+f[xk,xk−1](x−xk)+f[xk,xk−1,xk−2](x−xk)(x−xk−1)令上式等于0，得到： x k + 1 = x k − 2 f ( x k ) ω ± ω − 4 f ( x k ) f [ x k , x k − 1 , x k − 2 ] 式中：x_{k+1}=x_k-\frac{2f(x_k)}{\omega±\sqrt{\omega-4f(x_k)f[x_k,x_{k-1},x_{k-2}]}}\\ 式中：\\ xk+1=xk−ω±ω−4f(xk)f[xk,xk−1,xk−2]2f(xk)式中：{ f [ x k , x k − 1 ] = f ( x k ) − f ( x k − 1 ) x k − x k − 1 f [ x k , x k − 1 , x k − 2 ] ( x k −x k − 1 ) = f [ x k , x k − 1 ] − f [ x k − 2 , x k − 2 ] x k − x k − 2 ω = f [ x k , x k − 1 ] + f [ x k , x k − 1 , x k − 2 ] ( x k − x k − 1 )\begin{cases} f[x_k,x_{k-1}]=\frac{f(x_k)-f(x_{k-1})}{x_k-x_{k-1}} \\ \\ f[x_k,x_{k-1},x_{k-2}](x_k-x_{k-1})= \frac{f[x_k,x_{k-1}]-f[x_{k-2},x_{k-2}]}{x_k-x_{k-2}}\\ \\ \omega=f[x_k,x_{k-1}]+f[x_k,x_{k-1},x_{k-2}](x_k-x_{k-1})\\ \end{cases} ⎩⎩⎩⎩⎩⎩⎩⎩⎩⎩⎩⎩⎩⎩⎩f[xk,xk−1]=xk−xk−1f(xk)−f(xk−1)f[xk,xk−1,xk−2](xk−xk−1)=xk−xk−2f[xk,xk−1]−f[xk−2,xk−2]ω=f[xk,xk−1]+f[xk,xk−1 ,xk−2](xk−xk−1)上式计算可以得到两个值，选择解得时候应该选择离xk更接近的解.弦截法和抛物线法只是对迭代公式进行了更改，并不影响算法的流程，可以参考链接中的代码进行算法仿真.链接非线性方程求解：二分迭代法和牛顿迭代法。
凸优化之⽆约束优化（⼀维搜索⽅法：⼆分法、⽜顿法、割线法）1、⼆分法（⼀阶导）⼆分法是利⽤⽬标函数的⼀阶导数来连续压缩区间的⽅法，因此这⾥除了要求 f 在 [a0,b0] 为单峰函数外，还要去 f(x) 连续可微。
（1）确定初始区间的中点 x(0)=(a0+b0)/2 。
然后计算 f(x) 在 x(0) 处的⼀阶导数 f'(x(0))，如果 f'(x(0)) >0 , 说明极⼩点位于 x(0)的左侧，也就是所，极⼩点所在的区间压缩为[a0,x(0)]；反之，如果 f'(x(0)) <0，说明极⼩点位于x(0)的右侧，极⼩点所在的区间压缩为[x(0)，b0]；如果f'(x(0)) = 0，说明就是函数 f(x) 的极⼩点。
（2）根据新的区间构造x(1)，以此来推，直到f'(x(k)) = 0，停⽌。
可见经过N步迭代之后，整个区间的总压缩⽐为（1/2）N，这⽐黄⾦分割法和斐波那契数列法的总压缩⽐要⼩。
1 #ifndef _BINARYSECTION_H_2#define _BINARYSECTION_H_34 typedef float (* PtrOneVarFunc)(float x);5void BinarySectionMethod(float a, float b, PtrOneVarFunc fi, float epsilon);67#endif1 #include<iostream>2 #include<cmath>3 #include "BinarySection.h"45using namespace std;67void BinarySectionMethod(float a, float b, PtrOneVarFunc tangent, float epsilon)8 {9float a0,b0,middle;10int k;11 k = 1;12 a0 = a;13 b0 = b;14 middle = ( a0 + b0 )/2;1516while( abs(tangent(middle)) - epsilon > 0 )17 {18 #ifdef _DEBUG19 cout<<k++<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;20#endif2122if( tangent(middle) > 0)23 {24 b0 = middle;25 }26else27 {28 a0 = middle;29 }30 middle =( a0+b0)/2;31 }3233 cout<<k<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;34 }1 #include<iostream>2 #include "BinarySection.h"345float TangentFunctionofOneVariable(float x)6 {7return14*x-5;//7*x*x-5*x+2;8 }910int main()11 {12 BinarySectionMethod(-50, 50, TangentFunctionofOneVariable, 0.001);13return0;14 }1th iteration:x=0,f'(0)=-52th iteration:x=25,f'(25)=3453th iteration:x=12.5,f'(12.5)=1704th iteration:x=6.25,f'(6.25)=82.55th iteration:x=3.125,f'(3.125)=38.756th iteration:x=1.5625,f'(1.5625)=16.8757th iteration:x=0.78125,f'(0.78125)=5.93758th iteration:x=0.390625,f'(0.390625)=0.468759th iteration:x=0.195312,f'(0.195312)=-2.2656210th iteration:x=0.292969,f'(0.292969)=-0.89843811th iteration:x=0.341797,f'(0.341797)=-0.21484412th iteration:x=0.366211,f'(0.366211)=0.12695313th iteration:x=0.354004,f'(0.354004)=-0.043945314th iteration:x=0.360107,f'(0.360107)=0.041503915th iteration:x=0.357056,f'(0.357056)=-0.001220716th iteration:x=0.358582,f'(0.358582)=0.020141617th iteration:x=0.357819,f'(0.357819)=0.0094604518th iteration:x=0.357437,f'(0.357437)=0.0041198719th iteration:x=0.357246,f'(0.357246)=0.0014495820th iteration:x=0.357151,f'(0.357151)=0.0001144412、⽜顿法（⼆阶导）前提：f 在 [a0,b0] 为单峰函数，且[a0,b0] 在极⼩点附近，不能离的太远否则可能⽆法收敛。
数值分析简述及求解应用摘要：数值分析是研究分析用计算机求解数学计算问题的数值计算方法及其理论的学科，本文主要介绍了数值分析的一些求解方法的原理和过程，并应用在电流回路和单晶硅提拉过程中的，进一步体现数值分析的实际应用。
关键字：解方程组插值法牛顿法一、引言随着科学技术的发展，提出了大量复杂的数值计算问题，在建立电子计算机成为数值计算的主要工具以后，它以数字计算机求解数学问题的理论和方法为研究对象。
有可靠的理论分析，要有数值实验，并对计算的结果进行误差分析。
数值分析的主要内容包括插值法，函数逼近，曲线拟和，数值积分，数值微分，解线性方程组的直接方法，解线性方程组的迭代法，非线性方程求根，常微分方程的数值解法。
运用数值分析解决问题的过程包括：实际问题→数学建模→数值计算方法→程序设计→上机计算求出结果。
在自然科学研究和工程技术中有许多问题可归结为求解方程组的问题,方程组求解是科学计算中最常遇到的问题。
如在应力分析、电路分析、分子结构、测量学中都会遇到解方程组问题。
在很多广泛应用的数学问题的数值方法中，如三次样条、最小二乘法、微分方程边值问题的差分法与有限元法也都涉及到求解方程组。
在工程中常会遇到求解线性方程组的问题，解线性方程组的方法有直接法和迭代法，直接法就是经过有限步算术运算，可求的线性方程组精确解的方法（若计算过程没有舍入误差），但实际犹如舍入误差的存在和影响，这种方法也只能求得近似解，这类方法是解低阶稠密矩阵方程组级某些大型稀疏矩阵方程组的有效方法。
直接法包括高斯消元法，矩阵三角分解法、追赶法、平方根法。
迭代法就是利用某种极限过程去逐步逼近线性方程组精确解的方法。
将方程组的解看作是某极限过程的极限值，且计算这一极限值的每一步是利用前一步所得结果施行相同的演算步骤而进行。
迭代法具有需要计算机的存储单元少，程序设计简单，原始系数矩阵在计算过程始终不变等优点，但存在收敛性级收敛速度问题。
迭代法是解大型稀疏矩阵方程组（尤其是微分方程离散后得到的大型方程组）的重要方法。
牛顿法步骤一、引言牛顿法（Newton's Method）是一种求解方程的迭代方法，由英国物理学家牛顿（Isaac Newton）首次提出。
它通过不断逼近方程的根，使得函数值逐渐趋近于零，从而求得方程的解。
本文将介绍牛顿法的具体步骤。
二、牛顿法的基本思想牛顿法的基本思想是通过构造切线来逼近方程的根。
具体来说，首先选择一个初始点，然后在该点处求取切线，切线与x轴的交点即为下一个近似解。
通过反复迭代，可以逐步逼近方程的根。
三、牛顿法的步骤1. 选择初始点在使用牛顿法求解方程时，首先需要选择一个初始点。
初始点的选择会影响到迭代的结果，通常需要根据问题的特点和经验来确定合适的初始点。
2. 求取切线在初始点处，求取方程曲线的切线。
切线的斜率等于函数在该点的导数值，切线的方程可以表示为：y = f(x0) + f'(x0)(x - x0)，其中f(x0)为函数在初始点处的函数值，f'(x0)为函数在初始点处的导数值。
3. 求取切线与x轴的交点求取切线与x轴的交点，即求解方程f(x0) + f'(x0)(x - x0) = 0。
解方程可以得到下一个近似解x1。
4. 迭代求解将x1作为新的初始点，重复步骤2和步骤3，求取下一个近似解x2。
如此反复迭代，直到满足迭代终止条件。
5. 判断迭代终止条件通常情况下，牛顿法的迭代终止条件有两种：一种是迭代次数达到了预设值；另一种是两次迭代之间的近似解之差小于预设的容差值。
根据具体问题的要求和实际情况，选择合适的迭代终止条件。
6. 输出结果当满足迭代终止条件时，输出最终的近似解作为方程的解。
如果迭代未能收敛，需要重新选择初始点或修改迭代终止条件，并进行调整。
四、牛顿法的优缺点牛顿法具有收敛速度快的优点，尤其适用于多项式和光滑函数等具有良好性质的方程。
然而，牛顿法也存在一些缺点，比如对初始点的选择敏感，可能导致迭代发散；另外，对于某些特殊的方程，牛顿法可能无法收敛或收敛很慢。
无约束优化：不对定义域或值域做任何限制的情况下，求解目标函数的最小值。
这是因为实际应用中，许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值。
（直接法：又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等。
间接法：又称解析法，是应用数学极值理论的解析方法。
首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造何种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法。
）在优化算法中保证整体收敛的重要方法就是线搜索法与信赖域法,这两种算法既相似又有所不同。
根据不同的线搜索准则就延伸出不同的线搜索算法,譬如比较常见和经典的最速下降法,牛顿法,拟牛顿法以及共辄梯度法等。
一维搜索又称线性搜索(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础,是求解无约束非线性规划问题的基本方法之一。
一维搜索技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想。
由于一维搜索的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义。
在多变量函数的最优化中,迭代格式X k+1=X k+a k d k其关键就是构造搜索方向d k和步长因子a k设Φ(a)=f(x k+ad k)这样从凡出发,沿搜索方向d k,确定步长因子a k,使Φ(a)<Φ(0)的问题就是关于步长因子a的一维搜索问题。
其主要结构可作如下概括:首先确定包含问题最优解的搜索区间，然后采用某种分割技术或插值方法缩小这个区间，进行搜索求解。
一维搜索通常分为精确的和不精确的两类。
如果求得a k使目标函数沿方向d k达到极小,即使得f (x k+a k d k)=min f (x k+ ad k) ( a>0)则称这样的一维搜索为最优一维搜索,或精确一维搜索,a k叫最优步长因子;如果选取a k使目标函数f得到可接受的下降量,即使得下降量f (x k)一f (x k+a k d k)>0是用户可接受的,则称这样的一维搜索为近似一维搜索,或不精确一维搜索,或可接受一维搜索。
