05.第五讲 鲍威尔共轭方向法

鲍威尔法二级斜齿轮减速器的优化设计姓名：王剑锋学号：109011159班级：机制096班一、基本原理前已述及，对于n维无约束最优化问题，采用原始共轭方向法在产生n个共轭方向时，有可能是线性相关或接近线性相关的，如遇这种情况，会导致在降维空间寻优使迭代计算不能收敛到真正最优点而失败。

鲍威尔在1964年提出了对上述原始共轭方向法的改进方法—鲍威尔共轭方向法。

这个改进方法与原始共轭方向法的关键区别是在构成第k + 1环基本方向组时，不再总是不管好坏一律去掉前一环的第一个方向，并再将前一环的新生方向补于最后，而是首先判断前一环的基本方向组是否需要更换；如需更换，还要进一步判断前一环原基本方向组中沿某一个方向作一维搜索函数值下降量最大，去掉该方向再将新生方向补入最后构成第k+1环的基本方向组以避免线性相关并最接近共轭。

判别前一环基本方向组是否需要更换的依据，则按导出的下列两个条件式。

（1）（2）是否得到满足来进行处理，式中各符号的涵义可参阅图5-13(P62)说明如下——k环起始点的函数值；——k环沿基本方向组依次一维搜索后的终点的函数值；——对的映射点的函数值，；——k环基本方向组中沿诸方向一维搜索所得各目标函数值下降量中之最大者，对应方向。

若条件式（1）或(2)中至少有一个成立，则第k +1环的基本方向组仍用原来第k环的基本方向组。

k十1环的初始点应选取、两点中函数值小者，亦即当时，取；时，取。

若式(1)及式(2)均不成立，则去掉原来第k环基本方向组中函数值下降量最大的方向，再将第k环所产生的新生方向补入k+1环基本方向组的最后，即以构成第k+l环的基本方向组。

k+1环的初始点应取第k环中沿方向一维搜索的极小点，亦即取。

图2显示了二维正定二次函数用鲍威尔共轭方向法求极小点的搜索路线，其几何意义亦完全可推广到n维正定二次函数。

二、迭代过程及算法框图鲍威尔共轭方向法的具体迭代步骤如下:(1)给定初始点，迭代精度，维数n，。

数据分析知识：数据分析中的鲍威尔法在数据分析中，鲍威尔法（Box-Jenkins方法）是一种常用的时间序列分析方法。

它的主要目的是利用历史数据来预测未来数据，以便制定在合适的时间做出相应决策的策略。

本文将对于鲍威尔法进行详细介绍。

一、鲍威尔法鲍威尔法是由英国统计学家George Box和美国统计学家GM Jenkins于1970年提出来的。

它是一种识别、估计和预测时间序列模型的方法，包括（AR）自回归模型、（MA）移动平均模型和（ARIMA）自回归移动平均模型等。

定量的时间序列数据越来越广泛地应用于经济、金融、气象等日常领域和科学研究中，准确预测和解释时间序列数据的变化越来越重要。

鲍威尔法的基本思路是把观察到的时间序列数据转变成计算机可以处理的数据模型，然后利用这些模型来预测未来的数据。

这样，它可以帮助我们更好地理解与预测一系列未知的数据，包括预测市场趋势、月销量、流量分析、旅游业务、未来的气温和气候变化等。

二、鲍威尔法模型的建立鲍威尔法的建立是一个动态迭代过程，包含模型的建立、模型诊断、模型修正和模型的应用等步骤。

下面，我们将详细讲述具体流程。

1.模型的建立首先，我们需要定义时间序列模型的“参数集”，包括“自回归”参数、“移动平均”参数和“截距”参数等。

自回归是指复杂系统内部的历史行为会影响未来行为的现象，移动平均是指未来行为可能会受到突发事件或预测错误影响的现象。

基于已有的数据，我们需要计算各个参数的值，建立时间序列模型。

2.模型诊断在模型诊断的过程中，我们需要评估和诊断模型的各个方面和参数选择的合理性，以确定模型是否能够有效预测未来数据。

其中，常用的诊断工具包括统计检验、残差诊断以及预测诊断等。

通过对时间序列数据的观察和诊断，可以找出模型中可能存在的错误和不一致之处，并根据诊断的结果及时地修正和更新模型。

3.模型修正在模型修正的过程中，如果我们发现时间序列的参数集合不足以对未来数据进行准确的预测，我们需要对模型进行修正。

机械优化设计鲍威尔法
机械优化设计鲍威尔法（Powell method）是一种常用的非线性优化
算法，它以鲍威尔的名字命名，用于解决无约束非线性优化问题。

该方法
在各个领域都有广泛的应用，如工程优化设计、机器学习等。

下面将详细
介绍机械优化设计鲍威尔法的原理及应用。

鲍威尔法的具体步骤如下：
1.初始化参数：选择初始设计参数和方向。

2.寻找一维极小值点：沿着方向找到目标函数在该方向上的极小值点。

3.更新方向：通过比较前后两个极小值点的差异来更新方向。

4.迭代优化：重复步骤2和步骤3，直到达到指定的收敛条件。

鲍威尔法的优点是收敛速度较快、计算量较小，同时可以处理非线性
的优化问题。

然而，该方法也存在一些不足之处，如可能陷入局部最优解、对初值敏感等。

机械优化设计鲍威尔法在工程领域中有广泛的应用。

例如，在机械结
构设计中，可以利用鲍威尔法来优化结构参数，以满足特定的性能指标。

在汽车工业中，可以使用鲍威尔法来优化车辆的燃油效率和性能。

在航空
航天领域，可以利用该方法来优化飞行器的飞行性能。

此外，该方法还可
以用于机器学习中的参数优化，如调整神经网络的权重和偏置等。

总之，机械优化设计鲍威尔法是一种常用的非线性优化算法，通过迭
代逼近最优解。

虽然该方法有一些不足之处，但在实际应用中具有广泛的
适用性，尤其在工程优化设计和机器学习等领域。

通过使用该方法，可以
优化设计参数，改进性能指标，提高工程效率和产品质量。

⼗⼀、Powell算法（鲍威尔算法）原理以及实现⼀、介绍 Powell算法是图像配准⾥⾯的常⽤的加速算法，可以加快搜索速度，⽽且对于低维函数的效果很好，所以本篇博客主要是为了介绍Powell算法的原理以及实现。

由于⽹上已经有了对于Powell算法的讲解，所以我只是把链接放出来（我觉得⾃⼰⽬前还没有这个讲解的能⼒），⼤家⾃⼰去了解。

放在这⾥主要也是为了节省⼤家搜索的时间。

（都是我⾟⾟苦苦搜出来的^-^）。

⼆、预备知识 了解⼀维搜索算法：进退法，消去法，黄⾦分割法 阅读以下博客：三、鲍威尔算法 具体原理阅读这⾥： 参考博客： 原理与例⼦（⼀个例⼦的计算过程）：四、matlab代码实现⼀个简单函数的求解 代码来源： 这个代码的程序与思路很是简洁，我觉得写得很好。

原⽂代码放在这⾥： ⽂件：MyPowell.m　function MyPowell()syms x1 x2 x3 a;f=10*(x1+x2-5)^4+(x1-x2+x3)^2 +(x2+x3)^6;error=10^(-3);D=eye(3);x0=[000]';for k=1:1:10^6MaxLength=0;x00=x0;m=0;if k==1,s=D;endfor i=1:3x=x0+a*s(:,i);ff=subs(f,{x1,x2,x3},{x(1),x(2),x(3)});t=Divide(ff,a); %调⽤了进退法分割区间aa=OneDemensionslSearch(ff,a,t); %调⽤了0.618法进⾏⼀维搜索 xx=x0+aa*s(:,i);fx0=subs(f,{x1,x2,x3},{x0(1),x0(2),x0(3)});fxx=subs(f,{x1,x2,x3},{xx(1),xx(2),xx(3)});length=fx0-fxx;if length>MaxLength,MaxLength=length;m=m+1;endx0=xx;endss=x0-x00;ReflectX=2*x0-x00;f1=subs(f,{x1,x2,x3},{x00(1),x00(2),x00(3)});f2=subs(f,{x1,x2,x3},{x0(1),x0(2),x0(3)});f3=subs(f,{x1,x2,x3},{ReflectX(1),ReflectX(2),ReflectX(3)});if f3<f1&&(f1+f3-2*f2)*(f1-f2-MaxLength)^2<0.5*MaxLength*(f1-f3)^2x=x0+a*ss;ff=subs(f,{x1,x2,x3},{x(1),x(2),x(3)});t=Divide(ff,a);aa=OneDemensionslSearch(ff,a,t);x0=x0+aa*ss;for j=m:(3-1),s(:,j)=s(:,j+1);ends(:,3)=ss;elseif f2>f3, x0=ReflectX;endendif norm(x00-x0)<error,break;endk;x0;endopx=x0;val=subs(f,{x1,x2,x3},{opx(1),opx(2),opx(3)});disp('最优点：');opx'disp('最优化值：');valdisp('迭代次数：');k ⽂件 Divide.m ：%对任意⼀个⼀维函数函数进⾏区间分割，使其出现“⾼—低—⾼”的型式function output=Divide(f,x,m,n)if nargin<4,n=1e-6;endif nargin<3,m=0;endstep=n;t0=m;ft0=subs(f,{x},{t0});t1=t0+step;ft1=subs(f,{x},{t1});if ft0>=ft1t2=t1+step;ft2=subs(f,{x},{t2});while ft1>ft2t0=t1;%ft0=ft1;t1=t2;ft1=ft2;step=2*step;t2=t1+step;ft2=subs(f,{x},{t2});endelsestep=-step;t=t0;t0=t1;t1=t;ft=ft0;%ft0=ft1;ft1=ft;t2=t1+step;ft2=subs(f,{x},{t2});while ft1>ft2t0=t1;%ft0=ft1;t1=t2;ft1=ft2;step=2*step;t2=t1+step;ft2=subs(f,{x},{t2});endendoutput=[t0,t2];View Code ⽂件：OneDemensionslSearch.mfunction output=OneDemensionslSearch(f,x,s,r)if nargin<4,r=1e-6;enda=s(1);b=s(2);a1=a+0.382*(b-a);fa1=subs(f,{x},{a1});a2=a+0.618*(b-a);fa2=subs(f,{x},{a2});while abs((b-a)/b)>r && abs((fa2-fa1)/fa2)>rif fa1<fa2b=a2;a2=a1;fa2=fa1;a1=a+0.382*(b-a);fa1=subs(f,{x},{a1});elsea=a1;a1=a2;fa1=fa2;a2=a+0.618*(b-a);fa2=subs(f,{x},{a2});endendop=(a+b)/2;%fop=subs(f,{x},{op});output=op;View Code 全部放到同⼀个⼯程⽬录⾥⾯，设置为当前⽬录，然后输⼊Powell即可运⾏得到结果。

共轭方向法引言本节之后的方法大多属于共轭方向法。

3.6.1 共轭方向的概念若两个向量n R X ∈，n R Y ∈，满足如下关系：0=AY X T (3-6-1)其中，A 为n n ×的对称正定阵，则称X 和Y 是关于A 共轭的，X 和Y 称之为共轭方向。

注意：若0=Y X T ，则称X 与Y 正交。

实际上，共轭是正交的推广。

例1： 有两个二维向量⎥⎦⎤⎢⎣⎡=111S ，⎥⎦⎤⎢⎣⎡−=112S ，⎥⎦⎤⎢⎣⎡=2112A ，判断1S 与2S 是否关于A 共轭，是否正交？解：[]01121121121=⎥⎦⎤⎢⎣⎡−⋅⎥⎦⎤⎢⎣⎡⋅=AS S T ，因此，1S 与2S 关于A 共轭。

[]0111121=⎥⎦⎤⎢⎣⎡−⋅=S S T ，因此，1S 与2S 正交。

3.6.2 共轭向量的概念如果有m 个n 维向量m S S S S ,...,,,321，满足正定且A j i AS S j i AS S j T i j T i ,)(0)(0⎪⎩⎪⎨⎧=≠≠= (3-6-2) 则称这m 个向量是A 的共轭向量。

如果A 为n 维单位阵，则称这m 个为正交向量。

3.6.3 共轭向量的几何意义设目标函数为1()2T T F X X AX B X C =++ (3-6-3)其中，A 为n n ×阶的对称正定阵。

()F X 的梯度为：B AX X F +=∇)( (3-6-4)设从某点0X 出发，沿0P 方向进行搜索得到()F X 的极小点1X ，则有0)()(0101=+=∇P B AX P X F T T (3-6-5)设从某点'0X 出发，仍沿0P 方向进行搜索得到()F X 的极小点2X ，则有0)()(0202=+=∇P B AX P X F T T (3-6-6)式(3-6-6)减(3-6-5)，可得：0)(012=−AP X X T (3-6-7)这说明)(12X X −与0P 是关于A 共轭的。

改进鲍威尔法更新寻优方向组条件的证明与补充鲍威尔法是一种常用的寻优算法，它通常用于求解无约束优化问题。

该算法通过权衡历史搜索方向和当前梯度信息，寻找最优解的方向。

然而，鲍威尔法在更新搜索方向时需要一系列条件的约束，在某些情况下可能会导致算法失效。

本文将对鲍威尔法的更新搜索方向的条件进行改进，并加以证明与补充。

首先，我们回顾鲍威尔法的基本思想。

在每一次迭代中，鲍威尔法首先计算当前的梯度方向g，然后选择一个搜索方向p。

在原始的鲍威尔法中，p的选择是基于历史搜索方向的加权和，即：p = -g + βp_his其中，p_his表示历史搜索方向的加权和，β是一个权衡历史搜索方向和当前梯度信息的参数。

然而，这种简单的更新方式可能导致搜索方向在某些情况下不准确或无效。

为了解决这个问题，我们对原始的鲍威尔法进行改进。

改进的思路是通过增加一系列条件来限制搜索方向的选择，以提高搜索的准确性和有效性。

具体来说，我们可以添加以下三个条件：1.搜索方向与梯度方向的夹角小于90度：这个条件的目的是确保搜索方向与梯度方向足够接近，从而使得搜索方向在靠近最优解的路径上。

为了满足这个条件，我们可以引入一个夹角限制参数φ，然后更新搜索方向p如下：p = -g + βp_his, if |cos(φ)| < 1否则，我们选择梯度方向作为搜索方向，即p = -g。

2.搜索方向的长度小于历史搜索方向的加权和的长度：这个条件的目的是确保搜索方向的长度不会大于历史搜索方向的长度，从而避免搜索方向过长。

为了满足这个条件，我们可以引入一个长度限制参数λ，然后更新搜索方向p如下：p = min(-g + βp_his, λ)其中，min()函数表示取两个向量中长度较小的一个。

3.在搜索方向与梯度方向夹角大于90度的情况下，搜索方向与历史搜索方向夹角小于90度：这个条件的目的是在搜索方向与梯度方向夹角大于90度的情况下，尽可能减小搜索方向与历史搜索方向的夹角。

简述共轭方法和共轭方向法
共轭方法（Conjugate Method）是一种常用于求解无约束最优化问题的迭代方法。

它的基本思想是通过选择共轭方向进行搜索，以加快收敛速度。

共轭方向法（Conjugate Direction Method）是共轭方法的具体实现方式。

它通过迭代计算一组相互共轭的搜索方向，以逐步逼近最优解。

在每次迭代中，选择一个共轭方向进行搜索，并通过线搜索确定步长，使得目标函数在该方向上的值最小化。

然后更新当前解，并计算新的共轭方向，再进行下一次迭代。

共轭方向的选择是该方法的关键。

在每一步迭代中，计算出的共轭方向与之前的共轭方向相互垂直，这样可以确保每一次迭代都在尽量不同的搜索方向上进行，从而加快收敛速度。

具体而言，如果两个方向 d1 和 d2 满足 d1⋅d2 = 0，则它们是共轭方向。

而如果目标函数是二次型，则共轭方向的选择可以通过计算 Hessian 矩阵来得到。

总结来说，共轭方法是一种常用的无约束最优化算法，而共轭方向法则是共轭方法的一种具体实现方式。

通过选择共轭方向进行搜索，共轭方向法可以快速逼近最优解。

鲍威尔⽅法机械优化设计中的鲍威尔⽅法鲍威尔（Powell ）法是直接利⽤函数值来构造共轭⽅向的⼀种⽅法。

对函数 f(x)=21x 2Gx+b T +c 的极⼩化问题，基本思想是：在不⽤导数的前提下，在迭代中逐次构造G 的共轭⽅向。

鲍威尔算法的基本思想：性质⼀：同⼼椭圆簇；性质⼆：平⾏切点的连线必经过椭圆簇中⼼；性质三：椭圆中⼼即为极⼩点。

⼀.共轭⽅向的⽣成如图1，设x k ,x k+1为从不同点出发，沿同⼀⽅向dj 进⾏⼀维搜索⽽到的两个极⼩点。

根据梯度和等值⾯相垂直的性质, dj 和xk, xk+1两点处的梯度g k ,g k+1之间存在关系: （d j ）T g k =0 (d j )T g k+1=0:另⼀⽅⾯，对于上述⼆次函数，其xk, xk+1两点处的梯度可表⽰为:g k =Gx k +b g k+1=Gx k+1+b ：因⽽有（d j ）T (g k+1-g k )=(d j )T G(x k+1-x k )=0,取d k =x k+1-x k 这说明只要沿d j ⽅向分别对函作两次⼀维搜索，得到两个极⼩点x k和x k+1，那么这两点的连线所给出的⽅向d k就是与d j⼀起对G 共轭的⽅向。

⼀.基本算法1）任选⼀初始点x 0，再选两个线性⽆关的向量，如坐标轴单位向量e 1=[1,0]T 和e 2=[0,1]T 作为初始搜索⽅向。

12）从x 0出发，顺次沿e 1， e 2作⼀维搜索，得x 10,x 20点，两点连线得⼀新⽅向 d 1=x 20-x 0。

⽤ d 1代替e 1形成两个线性⽆关向量d 1 ,e 2 ,作为下⼀轮迭代的搜索⽅向。

再 x 20出发，沿d 1作⼀维搜索得点 x 01，作为下⼀轮迭代的初始点。

3）从x 1出发，顺次沿,e 2。

d 1 作⼀维搜索，4）得到点x 11，x 21，两点连线得⼀新⽅向:d 2=x 21-x 11。

4）沿d 2d2作⼀维搜索得点.x 2 ，即是⼆维问题的极⼩点x* 。