(1)
(5)
梯度下降法、牛顿迭代法、共轭梯度法 （参见：神经网络->PGM-ANN-2009-C09性能优化）
优化的目的是求出目标函数的最大值点或者最小值点，这里讨论的是迭代的方法 梯度下降法
首先，给定一个初始猜测值
，然后按照等式
逐步修改猜测。这里向量 ？
k 代表一个搜索方向，一个大于零的纯量 〉k
为学习
速度，它确定了学习步长。
当用 工k 二 X k a k P k 进行最优点迭代时，函数应该在每次迭代时
都减小，即
F
（、
k 1
■ F （二 k ）
考虑
的F （X ）在X k 的一阶泰勒级数展开:
F （工 k J = F （乂 「
-< k
） （4）
其中，
g T
为在旧猜测值X k
处的梯度
(2)
*
T"
F(x)二
F(x) 'F(x)
=*(X - x *)
1
(X - X * )
2
2
F (x)
(3)
F (工 k ) g ： *
(1)
(5)
g
k = ▽ F （x ）
x=x k
要使 F （工 k -1V :
F
k
）
只需要（4）中右端第二项小于 0，即
T
g T
k k k k k
（ 6）
（6）
选择较小的正数:A 。这就隐含g ：P k o °
满足g ：P k 0的任意向量成为一个下降方向。如果沿着此方向取足够小步长，函数一 定递减。并且，最速下降的情况发生在 g ： P k 最小的时候，容易知道，当P k = -g k 时g ：P k 最 小，此时，方向向量与梯度方向相反。
在（1式中，令P k =-g k ，则有
k 1
X
k
a
k g
k
（ 7）
对于式（7）中学习速率的选取通常有两种方法：一种是选择固定的学习速率
：“,
另一种方法是使基于学习速率
的性能指数或目标函数 F （X ki ）在每次迭代中最小化，即
沿着梯度反方向实现最小化：
X k1 = X k -，k g k °
注意:
1、对于较小的学习速度最速下降轨迹的路径总是与轮廓线正交，这是因为梯度与轮廓 线总是正交的。 2 、如果改变学习速度，学习速度太大，算法会变得不稳定，振荡不会衰减，反而会增 大。 3、稳定的学习速率
对于任意函数，确定最大可行的学习速度是不可能的，但对于二次函数，可以确定 一个上界。令特
征函数为：
1
X T
AX d T
X c
2
I F(X)二 AX d
代入最速下降法公式（7）中
X
k 1 二 X k -a k g k 二 X k
-ajAX k d) = (I -a
k A
) X k -a
k
d
(
9)
在动态系统中，如果矩阵［I -aA ］的特征值小于 1则该系统是稳定的。可用赫森矩阵
A 的特征值来表示该矩阵的特征值，假设
A 的特征值和特征向量分别为 匚仆’2, 'n
［和
立,Z 2,…Z n 二那么
g F(x)二
(8)
那么梯度为
〔I -aA^ =（l -a\）z （10）
2
于是，最速下降法的稳定条件为
如果二次函数有一个强极小点，则其特征值为正数，上式可以化为
a ：：：—
由于该式对于赫森矩阵的所有特征值都成立则
2
a
（ 12
）
m ax
分析：最大的稳定学习速度与二次函数的最大的曲率成反比。 曲率说明梯度变化的快慢。
如果梯度变化太快，可能会导致跳过极小点， 进而使新的迭代点的梯度的值大于原迭代点的 梯度的值（但方向相反）。这会导致每次迭代的步长增大。
4、沿直线最小化
选择学习速率的另一种方法是
a k 使得每次迭代的性能指数最小化，即选择 a k 使得下
式最小： F （X k ?a k P k ）
对任意函数的这种最小化需要线性搜索。
对a k 的导数为：
令式（13）导数为零求得
汴以)二氓R _ gk>k
T 2
—
T
P k l F(X)|XM R
RA k 耳
这里A k 为X k 的赫森矩阵：A k 八午（X ）|x
牛顿法
牛顿法基于二阶泰勒级数：
1
F （X k!^F （X^ Xk^ F （X k ） g k 人 2 XkA 人
（15
）
牛顿法的原理是求 F （X ）的二次近似的驻点，求这个二次函数对 X k 的梯度并令它等
于0,则有
g k A&X k = 0
（ 16）
解得：
'X k =-A ：g k
I 「
a i
：1
(11)
对二次函数解析线性最小化是可能的。
上式
d
da k
F(X k aP k )八 F(X)T
|
X =X k
P k a k PQ 2F(X)|xx
P k
(13)
(14)
最优化课程设计--共轭梯度法算法分析与实现(设计程序) 题目共轭梯度法算法分析与实现 班级 / 学号 14140101/2011041401011 学生姓名黄中武指导教师王吉波王微微 课程设计任务书 课程名称最优化方法课程设计院(系) 理学院专业信息与计算科学 课程设计题目共轭梯度法算法分析与实现课程设计时间: 2014 年 6月 16日至 2014 年 6月 27日 课程设计的要求及内容: [要求] 1. 学习态度要认真，要积极参与课程设计，锻炼独立思考能力; 2. 严格遵守上机时间安排; 3. 按照MATLAB编程训练的任务要求来编写程序; 4. 根据任务书来完成课程设计论文; 5. 报告书写格式要求按照沈阳航空航天大学“课程设计报告撰写规范”; 6. 报告上交时间:课程设计结束时上交报告; 7. 严禁抄袭行为，一旦发现，课程设计成绩为不及格。 一、运用共轭梯度法求解无约束最优化问题 要求:1)了解求解无约束最优化问题的共轭梯度法; 2)绘出程序流程图; 3)编写求解无约束最优化问题的共轭梯度法MATLAB程序; 4)利用编写文件求解某无约束最优化问题;
5)给出程序注释。 指导教师年月日 负责教师年月日 学生签字年月日 沈阳航空航天大学 课程设计成绩评定单 课程名称最优化理论与算法课程设计院(系) 理学院专业信息与计算科学课程设计题目共轭梯度法算法分析与实现学号 2011041401011 姓名黄中武指导教师评语: 课程设计成绩 指导教师签字 年月日 最优化方法课程设计沈阳航空航天大学课程设计用纸目录 目录 一、正 文 (1) 二、总结 ............................................................... 8 参考文 献 ............................................................... 9 附录 .. (10) 第 I 页 最优化方法课程设计沈阳航空航天大学课程设计用纸正文 一、正文 一无约束最优化问题的共轭梯度法
16梯度法和共轭梯度法基本原理和特点
16梯度法和共轭梯度法基本原理和特点？ 梯度法又称最速下降法，基本原理是在迭代点附近采用使目标函数值下降最快的负梯度方向作为搜索方向， 求目标函数的极小值，特 点；迭代计算简单，只需求一阶偏导数，所占的存储单 元少，对初始点的要求不 高，在接近极小点位置时收敛速度很慢，共轭的特点为 在梯度法靠近极值点收敛速度放慢时，它可以构造共轭方向使其收敛速度加快， 迭代计算比较简单，效果 好，在每一步迭代过程中都要构造共轭的、方向，比较繁琐。17迭代终止准则有哪三种？ 1）当设计变量在相邻两点之间的移动距离充分小时，可用相邻两点的矢量差的模作为终止的判据， 2）当相邻两点目标函数值之差达到充分小时，可 用两次迭代的目标函数之 差作为终止判据。 3）当迭代点逼近极值点时，目标函数在该点的梯度已达到充分小时，可用梯度的模作为 终止判据。
18 .无约束设计法，1）powell法，它是在下降迭代过 运算中只需计算和比较目标函数值的大小，不需计算偏导数的方法，是较好的一种直接搜索 算法。 2）梯度法，又称最速下降法，它是采用使目标 函数值下降最快的负梯度方向作为搜索方向来求目标函数的极小值。 3）共轭梯度法，又称FR法，是利用目标函数的 梯度确定共轭方向，使得计算简便而效 果好，只需利用相邻两点的梯度就可以构造一个共轭方向，这种方式产生共轭方 向并进行迭代的算法称为 共轭梯度法。 4）变尺度法，又称DFP法，为了得到既有快速收敛的性质，又能避免计算二阶导数矩阵及逆矩阵，减少计算工作量。迭代公式X=X+aS, 19有约束设计法？ 1）复合形法，在可行域中选取k个设计点作为 初始复合形的顶点，然后比较复合形个各项目标函数值的大小，其中目标函数值最大的点为坏点，以坏
实验的题目和要求 一、所属课程名称： 最优化方法 二、实验日期： 2010年5月10日~2010年5月15日 三、实验目的 掌握最速下降法，牛顿法和共轭梯度法的算法思想，并能上机编程实现相应的算法。 二、实验要求 用MATLAB实现最速下降法，牛顿法和共轭梯度法求解实例。 四、实验原理 最速下降法是以负梯度方向最为下降方向的极小化算法，相邻两次的搜索方向是互相直交的。牛顿法是利用目标函数)(x f在迭代点 x处的Taylor展开式作为模型函数，并利用这个二次模型函数的极k 小点序列去逼近目标函数的极小点。共轭梯度法它的每一个搜索方向是互相共轭的，而这些搜索方向 d仅仅是负梯度方向k g-与上一次接 k 待的搜索方向 d的组合。 k - 1 五．运行及结果如下: 最速下降法： 题目：f=(x-2)^2+(y-4)^2 M文件： function [R,n]=steel(x0,y0,eps) syms x; syms y; f=(x-2)^2+(y-4)^2; v=[x,y]; j=jacobian(f,v); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=0; syms kk; while (temp>eps) d=-T;
f1=x1+kk*d(1);f2=y1+kk*d(2); fT=[subs(j(1),x,f1),subs(j(2),y,f2)]; fun=sqrt((fT(1))^2+(fT(2))^2); Mini=Gold(fun,0,1,0.00001); x0=x1+Mini*d(1);y0=y1+Mini*d(2); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=n+1; end R=[x0,y0] 调用黄金分割法： M文件： function Mini=Gold(f,a0,b0,eps) syms x;format long; syms kk; u=a0+0.382*(b0-a0); v=a0+0.618*(b0-a0); k=0; a=a0;b=b0; array(k+1,1)=a;array(k+1,2)=b; while((b-a)/(b0-a0)>=eps) Fu=subs(f,kk,u); Fv=subs(f,kk,v); if(Fu<=Fv) b=v; v=u; u=a+0.382*(b-a); k=k+1; elseif(Fu>Fv) a=u; u=v; v=a+0.618*(b-a); k=k+1; end array(k+1,1)=a;array(k+1,2)=b; end Mini=(a+b)/2; 输入： [R,n]=steel(0,1,0.0001) R = 1.99999413667642 3.99999120501463 R = 1.99999413667642 3.99999120501463 n = 1 牛顿法：
偏微分方程数值解 （Numerical Methods for Partial Differential Equations） 课程代码：10210801 学位课程/非学位课程：非学位课程 学时/学分：46/3 课程简介： 《偏微分方程数值解》是数学类专业必修的一门专业课。主要内容包括：变分形式和Galerkin有限元法、椭圆型方程的差分方法、抛物型方程的差分方法、双曲型方程的差分方法、离散方程的解法。通过本课程的学习，使学生掌握求解偏微分方程数值解的基本方法，能够根据具体的微分方程使用合适的计算方法。 一、教学目标 1、知识水平教学目标 偏微分方程数值解课程的教学，要使学生掌握椭圆型微分方程、抛物型微分方程、双曲型微分方程等典型方程的差分方法，了解与之相关的理论问题，理解变分原理、有限元方法以及离散方程的解法，理解各种计算方法的收敛条件和收敛速度。 2、能力培养目标 通过偏微分方程数值解课程教学,应注意培养学生以下能力： （1）连续问题离散化能力——掌握科学的思维方法，能够使用差分方法和有限元方法的各种格式对三类典型方程进行离散化处理。 （2）算法分析与设计能力——结合各类偏微分方程的特点，设计各种计算方法，对计算方法的收敛条件和收敛速度等进行分析，具体设计易于上机实现的算法。（3）离散方程组的快速求解能力——理解离散方程组的特点，使用数学软件编程，具体上机实现，进行数值模拟的动手能力。 3、素质培养目标 通过数学物理方程课程教学,应注重培养学生以下素质： （1）具体问题有限化——善于对现实世界中得到的偏微分方程进行有限差分、有限元分析的有限化思想素养。 （2）数值解法定性化——通过学习，引导学生树立偏微分方程数值求解的基本原则，培养学生对数值方法中的稳定性、收敛性和误差等进行定性分析的素质。（3）算法实现程序化——培养学生的创造性和具体实现程序化的思维，使学生学会用数学中算法的观点思考实际问题，用程序和计算机解决数学问题。 二、教学重点与难点 1、教学重点：椭圆型、抛物型、双曲型等微分方程的差分方法，有限元方法。 2、教学难点：各种计算方法的稳定性、收敛性和误差分析，变分形式。 三、教学方法与手段 以教师讲授为主，安排上机实验，辅以习题课、课堂讨论、小论文，注重理论联系实际。 四、教学内容与目标 教学内容教学目标课时分配 （46学时） 1. 边值问题的变分形式 6 二次函数的极值掌握 两点边值问题掌握
共轭梯度法 1.算法思想： 共轭梯度法是利用目标函数梯度逐步产生共轭方向作为线搜索方向的方法，每次搜索方向都是在目标函数梯度的共轭方向，搜索步长通过一维极值算法确定。 2.算法步骤： 用共轭梯度法求无约束多维极值问题min (),n f x x R ∈的算法步骤如下： （1） 给定初始点(0)x ，及精度0ε>； （2） 若 (0)()f x ε ?≤，停止，极小值点为(0)x ，否则转步骤（3）； （3） 取(0)(0)()p f x =-?，且置0k =； （4） 用一维搜索法求k t ，使得()()()()()0 ()min k k k k k t f x t p f x tp ≥+=+，令，(1)()()k k k k x x t p +=+，转步骤5； （5） 若 (1)()k f x ε +?≤，停止，极小值点为(1)k x +，否则转步骤（6）； （6） 若1k n +=，令(0)()n x x =，转步骤（3），否则转步骤（7）； （7） 令(1)(1)()()k k k k p f x p λ++=-?+，2(1)2 () () () k k k f x f x λ+?=?，置1k k =+，转 步骤（4）。 3.算法源程序： #include
#define N 10 #define eps pow(10,-6) double f(double x[],double p[],double t) { double s; s=pow(x[0]+t*p[0],2)+25*pow(x[1]+t*p[1],2); return s; } /*以下是进退法搜索区间源程序*/ void sb(double *a,double *b,double x[],double p[]) { double t0,t1,t,h,alpha,f0,f1; int k=0; t0=2.5; /*初始值*/ h=1; /*初始步长*/ alpha=2; /*加步系数*/ f0=f(x,p,t0); t1=t0+h; f1=f(x,p,t1); while(1) {
题目和要求 最速下降法是以负梯度方向最为下降方向的极小化算法，相邻两次的搜索方向是互相直交的。牛顿法是利用目标函数)(x f在迭代点 x处的Taylor展开式作为模型函数，并利用这个二次模型函数的极k 小点序列去逼近目标函数的极小点。共轭梯度法它的每一个搜索方向是互相共轭的，而这些搜索方向 d仅仅是负梯度方向k g-与上一次接 k 待的搜索方向 d的组合。 k - 1 运行及结果如下: 最速下降法： 题目：f=(x-2)^2+(y-4)^2 M文件： function [R,n]=steel(x0,y0,eps) syms x; syms y; f=(x-2)^2+(y-4)^2; v=[x,y]; j=jacobian(f,v); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=0; syms kk; while (temp>eps) d=-T; f1=x1+kk*d(1);f2=y1+kk*d(2); fT=[subs(j(1),x,f1),subs(j(2),y,f2)]; fun=sqrt((fT(1))^2+(fT(2))^2); Mini=Gold(fun,0,1,0.00001); x0=x1+Mini*d(1);y0=y1+Mini*d(2); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=n+1; end R=[x0,y0] 调用黄金分割法：
几种拟牛顿算法综述 摘要: 拟牛顿方法是求解无约束优化问题有效而著名的算法。在拟牛顿法中，有根据矫正公式的不同分为几类方法。本文主要针对SR1、SR1的一种修改、BFGS、MBFGS、非单调的CBFGS、LBFGS这几种矫正公式产生方法进行理论阐述，包括其收敛性，收敛速度的证明并检验其在正定二次问题上的等价性。最后通过C#编程语言检验上述方法在收敛速度上的差异性。 关键字：拟牛顿法、矫正公式、收敛性、非线性方程 引言： 考虑无约束问优化题minf(x)（0.1）f是连续可微的函数。牛顿法利用 Newton方法最突出的优点是其收敛速度快，凡是目标函数的Hessian矩阵 较简单的问题都可以采用Newton方法,1- 。对于那些Hessian矩阵复杂的问题而 言，求解Hessian矩阵无疑是一项艰巨的工程，这是很多学者选择采用拟牛顿的方法来解决现实中较复杂的问题的原因所在。拟牛顿法和Newton法的主要区别于求解迭代方向。拟牛顿法的主要思路是通过构造一个矩阵序列*H（k）+去逼近 原问题迭代方向中的Hessian矩阵*G(k)?1+，这很好的避免了复杂矩阵求逆的问题。在算法上很好的降低了计算量，从而提高计算速度。为了寻找与G有某种近似的，我们需要来考察的各种相关关系。为此目的，我们将f(x)的梯度在处作Taylor 展开， (δ)()δ(x) f(x) 当δ充分小时，可得到近似关 δ()δ(δ)() 或δγ，γ 1 1(δ)（0.2） 关系式（1）对二次函数f(x)恒成立，但对于不一定成立。现在我们研究与寻找，使它满足关系式（1）。为讨论与计算上的方便，当得到 1 δ时，δ，γ已知，我们求得 1，它满足关系: 1 δγ （0.3）为了叙述方便，我们引入=?1那么有以下式子成立
一、共轭梯度法 共轭梯度法（Conjugate Gradient）是共轭方向法的一种，因为在该方向法中每一个共轭向量都是依靠赖于迭代点处的负梯度而构造出来的，所以称为共轭梯度法。由于此法最先由Fletcher和Reeves （1964）提出了解非线性最优化问题的，因而又称为FR 共轭梯度法。由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用于实际问题中。共轭梯度法是一个典型的共轭方向法，它的每一个搜索方向是互相共轭的，而这些搜索方向d仅仅是负梯度方向与上一次迭代的搜索方向的组合，因此，存储量少，计算方便，效果好。 二、共轭梯度法的原理 设有目标函数 f（X）=1/2X T HX+b T X+c 式1 式中，H作为f（X）的二阶导数矩阵，b为常数矢量，b=[b1,b2,b3,...b n]T 在第k次迭代计算中，从点X（k）出发，沿负梯度方向作一维搜索，得 S(K)=-?f（X（k））式2 X(k+1)=X(k)+ɑ(k)S(k) 式3 在式中，ɑ（k）为最优步长。 设与S(k）共轭的下一个方向S(k+1)由点S(k）和点X(k+1)负梯度的线性组
合构，即 S (k+1)=-?f （X （k+1））+β(k)S (k) 式4 根据共轭的条件有 [S (k)]T ?2f （X (k)）S (k+1)=0 式5 把式2和式4带入式5，得 -[?f(X (k))]T ?2f （X (k)）[-?f （X （k+1））+β(k)S (k) ]=0 式6 对于式1，则在点X (k)和点X (k+1)的梯度可写为 ?f(X (k))=HX (k)+b 式7 ?f （X （k+1）)=HX (k+1)+b 式8 把上面两式相减并将式3代入得 ɑ(k)H S (k)=?f （X （k+1）)-?f(X (k)) 式9 将式4和式9两边分别相乘，并代入式5得 -[?f （X （k+1）)+β(k)?f(X (k))]T [?f （X （k+1）)-?f(X (k)]=0 式10 将式10展开，并注意到相邻两点梯度间的正交关系，整理后得 β （k ） =2 2 ||))((||||))1((||k X f k X f ?+? 式11 把式11代入式4和式3，得 S （k+1）=-?f （X (k)）+β （k ） S （k ） X (k+1)=X （k ）+ɑ（k ）S （k ） 由上可见，只要利用相邻两点的梯度就可以构造一个共轭方向。以这种方式产生共轭方向并进行迭代运算的方法，即共轭梯度法。
MATLAB实现最速下降法_和牛顿法和共轭梯度法最速下降法: 题目:f=(x-2)^2+(y-4)^2 M文件: function [R,n]=steel(x0,y0,eps) syms x; syms y; f=(x-2)^2+(y-4)^2; v=[x,y]; j=jacobian(f,v); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=0; syms kk; while (temp>eps) d=-T; f1=x1+kk*d(1);f2=y1+kk*d(2); fT=[subs(j(1),x,f1),subs(j(2),y,f2)]; fun=sqrt((fT(1))^2+(fT(2))^2); Mini=Gold(fun,0,1,0.00001); x0=x1+Mini*d(1);y0=y1+Mini*d(2); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0;
n=n+1; end R=[x0,y0] 调用黄金分割法: M文件: function Mini=Gold(f,a0,b0,eps) syms x;format long; syms kk; u=a0+0.382*(b0-a0); v=a0+0.618*(b0-a0); k=0; a=a0;b=b0; array(k+1,1)=a;array(k+1,2)=b; while((b-a)/(b0-a0)>=eps) Fu=subs(f,kk,u); Fv=subs(f,kk,v); if(Fu<=Fv) b=v; v=u; u=a+0.382*(b-a); k=k+1; elseif(Fu>Fv) a=u; u=v; v=a+0.618*(b-a); k=k+1;
车辆薄板有限元分析中的多因子不完全分解 预处理解法 姚 松 田红旗 1中南大学轨道交通安全教育部重点实验室，湖南长沙，410075 dynacn@https://www.doczj.com/doc/7e1544496.html, 摘要：薄板是轨道车辆结构的主要形式，本文基于离散Kirchhoff 假设的DKT 弯曲板单元推导了四边形弯曲板单元DKQ 的构造过程，并进一步阐述了用于一般薄板问题分析的平板单元的构造。提出了一种“多因子不完全分解” 的预处理方法，与共轭梯度迭代法结合能够大大加快薄板问题大型稀疏方程组的收敛速度，经过数值试验，说明该方法是稳定可靠的。该方法避免了常规不完全分解不适用于薄板这样的 “病态”结构的情况。在此基础上，编写了一般薄板问题分析的有限元程序，程序对结构刚度矩阵采用压缩存贮的方法，节约了大量内存空间。本文还对分解算法中的可选参数进行了优化研究。通过一个数值试验，本程序计算结果与商业有限元软件ANSYS5.7的结果完全一致。 关键词：薄板结构，DKQ 单元，预处理，不完全分解，共轭梯度法 1 概 述 有限元单元法已经成为结构分析的重要方法，薄板结构是轨道车辆的主要结构形式，因此薄板结构有限元分析已成为车辆结构分析中的重大课题。早期的弯曲板单元大多基于经典的薄板理论，在以该理论为基础的板单元的能量泛函中，包含位移的二阶偏导数，要求位移为类连续。这给构造板单元带来了困难，由此研究人员将注意力转向了中厚板单元，大多采用中厚板理论，其能量泛函仅包含位移的一阶导数，只要求位移是类连续，但是用厚板理论建立的单元仅对中厚板有效，当板逐渐变薄时，单元刚度矩阵中的剪切项占主导地位，计算出的弯曲变形远小于实际变形；当板非常薄时，求得的位移趋向于零，从而产生了“剪切闭锁”现象。 1C issner Mindlin Re ?0C 基于离散的假设， 通过挠度和转角分别独立插值，然后在若干个离散点上强迫挠度与转角满足薄板经典理论中的约束，构造出三角形（DKT ）和四边形（DKQ ）薄板弯曲单元，其泛函的表达式又回复为经典薄板理论的泛函表达式，又自然解决了“剪切闭锁现象”问题。多个文献表明DKT 元与DKQ 元在求解薄板弯曲问题时都显示出良好的性能，具有较高的精度。在对实际车辆结构进行有限元分析时，由于结构受力复杂，在承受板平面内的载荷的同时，也有可能板平面外的载荷，因此在进行分析时所采用的平板单元是平面应力单元与DKT 弯曲单元的组合而成。由于三角形平面应力单元为常应变单元，为了提高分析的精度，在本文中我们讨论由四边形膜单元和DKQ 单元组合而成的平板单元。 Kirchhoff Kirchhoff 1 教育部博士点基金（20020533007）项目资助 1https://www.doczj.com/doc/7e1544496.html,
编号:_ 09 《最优化方法》 课程设计 题目：共轭梯度算法分析与实现 院系：数学与计算科学学院 专业：数学与应用数学 姓名学号： 指导教师： 日期：2013 年12 月23 日
摘要 在最优化计算中，共轭梯度法是非常重要的一种方法。共轭梯度法是一种改进的最速下降法，介于最速下降法与牛顿法之间的一种无约束优化算法,是为求解目标函数为二次函数的问题而设计的一类算法。它利用目标函数的梯度逐步产生共轭方向并将其作为搜索方向的方法，收敛速度快。共轭梯度法仅需利用一阶导数信息，避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，具有二次终止性。 关键词：共轭梯度法；牛顿法；二次函数；无约束优化 Abstract In the calculation of optimization method, conjugate gradient method is a very important one. The conjugate gradient method is a unconstrained optimization method between the steepest descent method and Newton method, and sove the objective function for the original quadratic function problems and design for a class of algorithm. Conjugate gradient method using only first derivative information, to avoid the Newton method requires storage and computing the inverse Hesse matrix and shortcomings, this method has the quadratic termination. Keywords: Conjugate gradient method; Newton method;Unconstrained optimization
一种修正的DY 共轭梯度法的全局收敛性 敖卫斌 （重庆师范大学 数学学院，重庆 401331） 摘要：本文提出了一种新的非线性修正的DY 共轭梯度算法（MDYCG ）,该算法得到的搜索方向为下降方向，它既不受线搜索规则的影响，也不受目标函数的凸性影响。在精确线搜索下，MDYCG 算法化归为标准的DY 共轭梯度算法。证明了该方法在Armijo 型线搜索下的全局收敛性，给出了初步的数值结果。 关键词：无约束优化；共轭梯度法；Armijo 型线搜索；全局收敛性 中图分类号：0182.1 1. 引言 考虑无约束优化问题： min (),,n f x x R ∈ （1） 其中:n f R R →为连续可微函数，其梯度向量记为() g x ，简记为g 。 共轭梯度法是求解大规模无约束优化问题的有效算法之一，它像最速下降法一样在每步迭代中不需要存储和计算矩阵，其迭代格式为： 1k k k k x x d α+=+ (2) 1,1;,1, k k k k k g k d g d k β--=?=?-+>? (3) 其中，()k k g f x =?，k d 为搜索方向，k α是通过一维线搜索获得的步长，k β为标量。不同的k β对应着不同的共轭梯度算法。1964, Fletcher 和 Reeves 首先提出非线性共轭梯度法参数k β，它定义为 22 1 k FR k k g g β-= ([2]). 还有其他著名的k β，比如 1 2 1 T PRP k k k k g y g β --= ( [3-4])， 111T HS k k k T k k g y d y β ---=([5]), 111 T LS k k k T k k g y d g β---=-([6]), 2 11 k DY k k k g d y βT --= ([7]), 2 11 k CD k k k g d g βT --=- （[8]）； 收稿日期：2013-05-07; 作者简介: 敖卫斌（1987-），男，重庆九龙坡人，硕士研究生，主要从事最优化理论与研究.
Newton迭代法求解非 线性方程
一、 Newton 迭代法概述 构造迭代函数的一条重要途径是用近似方程来代替原方程去求根。因此，如果能将非线性方程f (x )=0用线性方程去代替，那么，求近似根问题就很容易解决，而且十分方便。牛顿(Newton)法就是一种将非线性方程线化的一种方法。 设k x 是方程f (x )=0的一个近似根，把如果)(x f 在k x 处作一阶Taylor 展开，即： )x x )(x ('f )x (f )x (f k k k -+≈ (1-1) 于是我们得到如下近似方程： 0)x x )(x ('f )x (f k k k =-+ (1-2) 设0)('≠k x f ，则方程的解为： x ?=x k +f (x k ) f (x k )? (1-3) 取x ~作为原方程的新近似根1+k x ，即令： ) x ('f ) x (f x x k k k 1k -=+, k=0,1,2,… (1-4) 上式称为牛顿迭代格式。用牛顿迭代格式求方程的根的方法就称为牛顿迭代法，简称牛顿法。 牛顿法具有明显的几何意义。方程： )x x )(x ('f )x (f y k k k -+= (1-5) 是曲线)x (f y =上点))x (f ,x (k k 处的切线方程。迭代格式(1-4)就是用切线式(1-5)的零点来代替曲线的零点。正因为如此，牛顿法也称为切线法。 牛顿迭代法对单根至少是二阶局部收敛的，而对于重根是一阶局部收敛的。一般来说，牛顿法对初值0x 的要求较高，初值足够靠近*x 时才能保证收敛。若
要保证初值在较大范围内收敛，则需对)x (f 加一些条件。如果所加的条件不满足，而导致牛顿法不收敛时，则需对牛顿法作一些改时，即可以采用下面的迭代格式： ) x ('f ) x (f x x k k k 1k λ -=+, ?=,2,1,0k (1-6) 上式中，10<λ<，称为下山因子。因此，用这种方法求方程的根，也称为牛顿下山法。 牛顿法对单根收敛速度快，但每迭代一次，除需计算)x (f k 之外，还要计算 )x ('f k 的值。如果)x (f 比较复杂，计算)x ('f k 的工作量就可能比较大。为了避免计算导数值，我们可用差商来代替导数。通常用如下几种方法： 1. 割线法 如果用 1 k k 1k k x x ) x (f )x (f ----代替)x ('f k ，则得到割线法的迭代格式为： )x (f ) x (f )x (f x x x x k 1k k 1 k k k 1k --+---= (1-7) 2. 拟牛顿法 如果用 ) x (f )) x (f x (f )x (f k 1k k k ---代替)x ('f k ，则得到拟牛顿法的迭代格式为： )) x (f x (f )x (f ) x (f x x 1k k k k 2k 1k -+--- = (1-8) 3. Steffenson 法 如果用 ) x (f ) x (f ))x (f x (f k k k k -+代替)x ('f k ，则得到拟牛顿法的迭代格式为： ) x (f ))x (f x (f ) x (f x x k k k k 2k 1 k -+- =+
第四章 无约束优化方法 ——最速下降法，牛顿型方法 概述 在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无约束优化问题。尽管对于机械的优化设计问题，多数是有约束的，无约束最优化方法仍然是最优化设计的基本组成部分。因为约束最优化问题可以通过对约束条件的处理，转化为无约束最优化问题来求解。 为什么要研究无约束优化问题? （1）有些实际问题，其数学模型本身就是一个无约束优化问题。 （2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 （3）约束优化问题的求解可以通过一系列无约束优化方法来达到。 所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。 根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。 一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。 二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。 无约束优化问题的一般形式可描述为： 求n 维设计变量 []1 2T n n X x x x R =∈L 使目标函数 ()min f X ? 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。 无约束优化问题的求解： 1、解析法
可以利用无约束优化问题的极值条件求得。即将求目标函数的极值问题变成求方程 0)(min *=X f 的解。也就是求Ｘ＊使其满足 解上述方程组，求得驻点后，再根据极值点所需满足的充分条件来判定是否为极小值点。但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实际问题中一般是非线性的，很难用解析法求解，要用数值计算的方法。由第二章的讲述我们知道，优化问题的一般解法是数值迭代的方法。因此，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无约束极值问题。 2、数值方法 数值迭代法的基本思想是从一个初始点) 0(X 出发，按照一个可行的搜索方向) 0(d ρ搜索，确定最佳的步长0α使函数值沿) 0(d ρ方向下降最大，得到)1(X 点。依此一步一步 地重复数值计算，最终达到最优点。优化计算所采用的基本迭代公式为 ),2,1,0() () () 1(Λρ=+=+k d X X K K K K α （4.2） 在上式中， () K d r 是第是 k+1 次搜索或迭代方向，称为搜索方向（迭代方向）。 由上面的迭代公式可以看出，采用数值法进行迭代求优时，需要确定初始点)(k X 、搜 索方向) (k d ρ和迭代步长K α，称为优化方法迭代算法的三要素。第三章我们已经讨论了 如何在搜索方向) (k d ρ上确定最优步长K α的方法，本章我们将讨论如何确定搜索方向) (k d ρ。 最常用的数值方法是搜索方法，其基本思想如下图所示： 0) (0) (0) (*2*1*=??=??=??n x X f x X f x X f M
万方数据
万方数据
大型复线性方程组预处理双共轭梯度法 作者：张永杰， 孙秦， ZHANG Yong-jie， SUN Qin 作者单位：西北工业大学航空学院,西安,710072 刊名： 计算机工程与应用 英文刊名：COMPUTER ENGINEERING AND APPLICATIONS 年，卷(期)：2007,43(36) 被引用次数：1次 参考文献(6条) 1.Wu J P;Wang z H;Li X M High-performanco solution and paral lel computation of sparse linear equations 2004 2.Xu S F Theories and Methods on matrix computations 1995 3.Jin J M The finite element method in electromagneties 2002 4.Zhang Yongjie;Sun Qin A new ICCG method of large scale sparse linear equations[期刊论文]-Journal on Numerical Methods and Computer Applications 2007(02) 5.Betmmens Robert Itemtive solution methods 2004 6.Wu J P;Wang Z H Problems and improvements to the incomplete Cholesky decomposition with thresholds [期刊论文]-Journal on Numerical Methods and Computer Applications 2003(03) 引证文献(1条) 1.明星.苑秉成.刘建国基于共轭梯度的宽带相关处理快速算法[期刊论文]-系统工程与电子技术 2010(12) 本文链接：https://www.doczj.com/doc/7e1544496.html,/Periodical_jsjgcyyy200736007.aspx
题目和要求 最速下降法是以负梯度方向最为下降方向的极小化算法，相邻 两次的搜索方向是互相直交的。牛顿法是利用目标函数)(x f 在迭代点k x 处的Taylor 展开式作为模型函数，并利用这个二次模型函数的极小 点序列去逼近目标函数的极小点。共轭梯度法它的每一个搜索方向是互相共轭的，而这些搜索方向k d 仅仅是负梯度方向k g -与上一次接待 的搜索方向1-k d 的组合。 运行及结果如下: 最速下降法： 题目：f=(x-2)^2+(y-4)^2 M 文件： function [R,n]=steel(x0,y0,eps) syms x ; syms y ; f=(x-2)^2+(y-4)^2; v=[x,y]; j=jacobian(f,v); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=0; syms kk ; while (temp>eps) d=-T; f1=x1+kk*d(1);f2=y1+kk*d(2); fT=[subs(j(1),x,f1),subs(j(2),y,f2)]; fun=sqrt((fT(1))^2+(fT(2))^2); Mini=Gold(fun,0,1,0.00001); x0=x1+Mini*d(1);y0=y1+Mini*d(2); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=n+1;
end R=[x0,y0] 调用黄金分割法： M文件： function Mini=Gold(f,a0,b0,eps) syms x;format long; syms kk; u=a0+0.382*(b0-a0); v=a0+0.618*(b0-a0); k=0; a=a0;b=b0; array(k+1,1)=a;array(k+1,2)=b; while((b-a)/(b0-a0)>=eps) Fu=subs(f,kk,u); Fv=subs(f,kk,v); if(Fu<=Fv) b=v; v=u; u=a+0.382*(b-a); k=k+1; elseif(Fu>Fv) a=u; u=v; v=a+0.618*(b-a); k=k+1; end array(k+1,1)=a;array(k+1,2)=b; end Mini=(a+b)/2; 输入： [R,n]=steel(0,1,0.0001) R = 1.99999413667642 3.99999120501463 R = 1.99999413667642 3.99999120501463 n = 1 牛顿法： 题目：f=(x-2)^2+(y-4)^2 M文件：
油藏数值模拟技术现状与发展趋势 摘要：介绍了当前国内外油藏数值模拟的现状，简述了并行算法、网格技术、粗化技术、数值解法、动态油藏模型建立、动态跟踪模拟及三维显示等技术，指出了数值模拟的发展趋势。 关键词：并行算法；网格技术；网格粗化；分阶段模拟；动态跟踪模拟；数值解法 引言 近年来，随着计算机、应用数学和油藏工程学科的不断发展，油藏数值模拟方法得到不断的改进和广泛应用。通过数值模拟可以搞清油藏中流体的流动规律、驱油机理及剩余油的空间分布；研究合理的开发方案，选择最佳的开采参数,以最少的投资,最科学的开采方式而获得最高采收率及最大经济效益[1]。经过几十年的发展,该技术不断成熟和完善并呈现出一些新的特点。 1 国内外现状 1.1 并行算法 并行算法是一些可同时执行的诸进程的集合这些进程互相作用和协调动作从而达到给定问题的求解[2]。并行算法首先需合理地划分模块,其次要保证对各模块的正确计算,再次为各模块间通讯安排合理的结构,最后保证各模块计算的综合效果并行机及并行软件的开发和应用将极大地提高运算速度,以满足网格节点不断增多的油藏数值模型。在并行计算机上使用并行数值解法是提高求解偏微分方程的计算速度,缩短计算时间的一个重要途径[3,4]。在共享内存的并行机上把一个按向量处理的通用油藏模拟器改写成并行处理是容易的,但硬件扩充难；分布内存并行机编程较共享式并行机困难,但硬件扩充容易,关键是搞好超大型线形代数方程组求解的并行化。并行部分包括输入输出、节点物性、构造矩阵、节点流动及井筒等。 1.2 网格技术 为了模拟各种复杂的油藏、砂体边界或断层渗透率在垂向或水平方向的各向异性,以及近井地区的高速、高压力梯度的渗流状态,近年来在国外普遍发展了各种类型的局部网格加密及灵巧的网格技术。这种系统大体可以分为二类：一类称控制体积有限元网格(CVFE),这是将油藏按一定规则剖分为若干个三角形以后,把三角形的中心和各边的中点连接起来所形成的网格。另一类则称垂直等分线排比网格(PEBI),其剖分方法是将油藏分成若干三角形后,使三角形各边的垂直等分线相交而形成网格。这些方法在处理复杂几何形状油藏及进行局部网格加密时简单而一致。在多相流情况下,参照某一给定的几何准则时该方法是单调的,这保证了其稳定性和收敛性。这两种方法都能以直观的控制体积的概念出发并且采用一致的上游权而推导得出这些方法对网格的方向不敏感,在某些情况下比九点差分格式的效果好。 1.3 计算机辅助历史拟合技术
最速下降法与牛顿法及其区别 摘要：无约束优化方法是优化技术中极为重要和基本内容之一。它不仅可以直接用来求解无约束优化问题，而且很多约束优化问题也常将其转化为无约束优化问题，然后用无约束优化方法来求解。最速下降法和牛顿法是比较常见的求解无约束问题的最优化方法，这两种算法作为基本算法，在最优化方法中占有重要的地位。其中最速下降法又称梯度法，其优点是工作量少，存储变量较少，初始点要求不高；缺点是收敛慢，效率低。牛顿法的优点是收敛速度快；缺点是对初始点要求严格，方向构造困难，计算复杂且占用内存较大。同时，这两种算法的理论和方法渗透到许多方面，特别是在军事、经济、管理、生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。因此，研究最速下降法和牛顿法的原理及其算法对我们有着及其重要的意义。 关键字：无约束优化最速下降法牛顿法 Abstract: unconstrained optimization method is to optimize the technology is extremely important and basic content of. It not only can be directly used to solve unconstrained optimization problems, and a lot of constrained optimization problems are often transformed into unconstrained optimization problem, and then use the unconstrained optimization methods to solve. The steepest descent method and Newton-Raphson method is relatively common in the unconstrained problem optimization method, these two kinds of algorithm as the basic algorithm, the optimization method plays an important role in. One of the steepest descent method also known as gradient method, its advantages are less workload, storage variable is less, the initial requirements is not high; drawback is the slow convergence, low efficiency. Newtonian method has the advantages of fast convergence speed; drawback is the initial point of strict construction difficulties, directions, complicated calculation and larger memory. At the same time, these two kinds of algorithm theory and methods into many aspects, especially in the military, economic, management, production process automation, engineering design and product optimization design has important applications. Therefore, to study the steepest descent method and Newton-Raphson method principle and algorithm for us with its important significance. Keywords: unconstrained optimization steepest descent method