作业4-FR共轭梯度法

最速下降法1.最速下降方向函数f(x)在点x处沿方向d的变化率可用方向导数来表示。

对于可微函数，方向导数等于梯度与方向的内积，即：Df(x;d) = ▽f(x)T d,因此，求函数f(x)在点x处的下降最快的方向，可归结为求解下列非线性规划：min ▽f(x)T ds.t. ||d|| ≤ 1当 d = -▽f(x) / ||▽f(x)||时等号成立。

因此，在点x处沿上式所定义的方向变化率最小，即负梯度方向为最速下降方向。

2.最速下降算法最速下降法的迭代公式是x(k+1) = x(k) + λk d(k) ,其中d(k)是从x(k)出发的搜索方向，这里取在x(k)处的最速下降方向，即d = -▽f(x(k)).λk是从x(k)出发沿方向d(k)进行一维搜索的步长，即λk满足f(x(k) + λk d(k)) = min f(x(k)+λd(k)) (λ≥0).计算步骤如下：(1)给定初点x(1) ∈ R n，允许误差ε> 0，置k = 1。

(2)计算搜索方向d = -▽f(x(k))。

(3)若||d(k)|| ≤ε，则停止计算；否则，从x(k)出发，沿d(k)进行一维搜索，求λk，使f(x(k) + λk d(k)) = min f(x(k)+λd(k)) (λ≥0).(4)令x(k+1) = x(k) + λk d(k)，置k = k + 1，转步骤(2)。

共轭梯度法1.共轭方向无约束问题最优化方法的核心问题是选择搜索方向。

以正定二次函数为例，来观察两个方向关于矩阵Ａ共轭的几何意义。

设有二次函数：f(x) = 1/2 (x - x*)T A(x - x*) ,其中A是n×n对称正定矩阵，x*是一个定点，函数f(x)的等值面1/2 (x - x*)T A(x - x*) = c是以x*为中心的椭球面，由于▽f(x*) = A(x - x*) = 0，A正定，因此x*是f(x)的极小点。

最优化共轭梯度法最优化共轭梯度法（Conjugate Gradient Method）是一种迭代求解线性方程组或优化问题的方法。

它的特点是对于二次正定函数，可以在有限次迭代内精确地求出最优解。

在非二次函数的优化问题中，共轭梯度法表现出了较好的收敛性和全局能力。

共轭梯度法的核心思想是通过选择适当的方向，使得每一次方向的梯度互相“共轭”，从而加快收敛速度。

当目标函数为二次函数时，共轭梯度法能够在有限次迭代中得到精确解；而对于非二次函数的优化问题，共轭梯度法通过先验条件选择合适的方向，最大程度地减小目标函数值。

共轭梯度法的基本步骤如下：1.初始化参数：设置初始点的位置和方向，对于非二次函数，通常选取梯度方向作为方向。

2. 计算步长：通过线方法（如Armijo准则、Wolfe准则等）定位到目标函数上降速度最快的点，并计算目标函数在该点的梯度。

3.更新方向：利用“共轭”梯度法，根据先验条件计算新的方向。

4.判断终止条件：判断目标函数值是否满足设定的终止条件，若满足则停止迭代，否则返回步骤2对于二次函数，最优化共轭梯度法表现出了优良的性能。

当目标函数是非二次函数时，共轭梯度法的表现会有所下降，但仍然比一般的梯度下降法更具有优势。

因此，共轭梯度法常被用于求解大规模线性方程组、信号处理、数字滤波、机器学习等领域。

最优化共轭梯度法的优点在于：收敛速度较快，全局能力较强，不需要存储海量信息。

然而，该方法也存在一些缺点。

首先，共轭梯度法对目标函数的性质有一定的要求，例如目标函数必须是光滑的，并且梯度向量必须是有效的。

其次，共轭梯度法对初始点的选择较为敏感，不同的初始点可能导致不同的解。

总结来说，最优化共轭梯度法是一种高效的优化算法，可以加快目标函数收敛速度，尤其适用于解决二次函数优化问题。

在非二次函数的优化问题中，共轭梯度法以其较好的收敛性和全局能力在实际应用中发挥着重要作用。

共轭梯度法1. 算法原理求解一个系数矩阵为正定矩阵的线性方程组可通过求泛函)(x f 的极小值点来获得，进而可以利用共轭梯度法来求解。

共轭梯度法中关键的两点是，确定迭代格式)()()1(k k k k d x x α+=+中的搜索方向)(k d 和最佳步长k α。

实际上搜索方向)(k d是关于矩阵A 的共轭向量，在迭代中逐步构造之；步长k α的确定原则是给定迭代点)(k x 和搜索方向)(k d 后，要求选取非负数k α，使得)()()(k k k d x f α+达到最小，即选择0≥k α，满足)(min )()()(0)()(k k k k k d x f d x f kααα+=+≤。

设迭代点)(k x和搜索方向)(k d已经给定，k α可以通过一元函数)()()()(k k d xf g αα+=的极小化)()(min )()(0k k d xf g ααα+=≤来求得，所以最佳步长)()()()(k k k k k Addd r TT=α。

在给定初始向量)0(x 后，由于负梯度方向是函数下降最快的方向，故第1次迭代取搜索方向)0()0()0()0()(Ax b x f r d-=-∇==。

令)0(0)0()1(d x x α+=，其中)0()0()0()0(0Addd r TT=α。

第2次迭代时，从)1(x 出发的搜索方向不再取()1r，而是选取)0(0)1()1(d r d β+=，使得)1(d与()0d 是关于矩阵A 的共轭向量，即要求)1(d 满足()()()0,01=Ad d ，由此可求得参数)0()0()0()1(0-Ad d Ad r TT=β，然后从()1x 出发，沿方向)1(d进行搜索得)1(1)1()2(d x xα+=，其中1α已由上面k α的计算式获得。

一般地，设已经求出)()()1(k k k k d x x α+=+，计算)1()1(++-=k k Ax b r。

共轭梯度法是一种常用的迭代方法，用于求解线性方程组Ax = b。

它适用于对称正定矩阵的情况，可以高效地求解大规模的线性方程组。

下面是使用共轭梯度法求解方程组的一般步骤：1. 初始化：选择一个初始解x0 和初始残差r0 = b - Ax0，设置初始搜索方向d0 = r0。

2. 迭代计算：进行迭代计算，直到满足停止准则（如残差的大小或迭代次数达到一定阈值）为止。

a. 计算步长αk = (rk^T rk) / (dk^T A dk)，其中rk = b - A xk 是当前的残差。

b. 更新解xk+1 = xk + αk dk。

c. 计算新的残差rk+1 = rk - αk A dk。

d. 计算新的搜索方向dk+1 = rk+1 + (rk+1^T rk+1) / (rk^T rk) dk。

e. 更新迭代次数k = k + 1。

3. 输出解：当满足停止准则时，输出最终的解x。

需要注意的是，共轭梯度法的效率和收敛速度与矩阵的条件数有关。

对于病态矩阵或条件数较大的情况，可能需要进行预处理或使用其他更适合的求解方法。

此外，共轭梯度法还可以应用于非线性方程组的求解，采用牛顿法等方法来迭代求解。

在实际应用中，可以使用现有的数值计算库或软件来实现共轭梯度法，以提高计算的效率和精度。

无约束优化方法—共轭梯度法1.共轭梯度法共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算海赛矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。

其基本思想是利用负梯度方向，构造一共轭方向，使其尽快达到最优点。

共轭梯度法迭代过程如图1所示。

1X 2图1 共轭梯度法迭代过程()k 1x +点是沿()k x 点负梯度方向()()K k Sg =-搜索到的极值点。

如果接着从()k 1x +点出发，不是按着其负梯度方向()kg -搜索，而是沿着通过*x 点的方向()1K S +搜索，显然立即就能搜索到极值点*x 。

根据共轭理论，它们应当满足()()(1)1k Tk SAS+=即()KS 与()1K S +是互为共轭方向，新构造的共轭方向()1K S +，可由矢量合成，()(1)(1)()()2k k k k SgSβ++=-+()k β值可根据在极值点附近目标函数等值线近似为二次型函数的道理，推到出：()(1)(1)(1)2()()()()2||||3||||k T k k k k T k k gg g g g g β+++==利用两个点的梯度()k g和(1)k g+，就可以构造一个与梯度矢量为共轭的矢量()1K S +，沿着该方向搜索，即可求得极值点。

共轭梯度法程序框图如图2所示。

图2 共轭梯度法程序框图2. 共轭梯度法的应用用共轭梯度法计算22121212()52410f X x x x x x x =+---+ 的最优解，其中：初始点()0[1,1]T X =。

收敛精度ε=0.0001(1).共轭梯度法程序设计#include "stdio.h" #include "math.h"double fun1(double x1,double x2) {double y;y=x1*x1+x2*x2-5*x1*x2-2*x1-4*x2+10; return y; }double fun2(double g[],double d[]) {double buchang;buchang=-(g[0]*d[0]+g[1]*d[1])/(d[0]*(2*d[0]-5*d[1])+d[1]*(-5*d[0]+2*d[1])); return buchang; }main(){ double t, beta,x1=1,x2=1,d[2],g[4], y, m,e=0.0001; int k=1;g[0]=2*x1-5*x2-2; g[1]=2*x2-5*x1-4; m=(sqrt(g[0]*g[0]+g[1]*g[1]));while(m>e&&k<=200) { if (k==1) {d[0]=-g[0]; d[1]=-g[1];beta=0; } else {beta=(g[0]*g[0]+g[1]*g[1])/(g[2]*g[2]+g[3]*g[3]); d[0]=-g[0]+beta*d[0]; d[1]=-g[1]+beta*d[1]; }t=fun2(g,d); x1=x1+d[0]*t; x2=x2+d[1]*t; g[2]=g[0]; g[3]=g[1];g[0]= 2*x1-5*x2-2;g[1]= 2*x2-5*x1-4;m=sqrt(g[0]*g[0]+g[1]*g[1]); k++; }y=fun1(x1,x2);printf("迭代次数为k=%d\n",k);printf("分别输出x1=%f,x2=%f\n",x1,x2); printf("极小值y=%f",y); }(2).程序运行结果(3).结 论用共轭梯度法计算22121212()52410f X x x x x x x =+---+的最优解为*( 1.142857,0.857143)X =-- ,*()12.857143F X = 。