一种新的混合的共轭梯度算法的全局收敛性

格式：pdf
大小：118.54 KB
文档页数：3

下载文档原格式

精确搜索下具有充分下降性的混合共轭梯度法

ｔａｔｅｏｊｃｖｎｔｎｉｃｎｉｏｓｉｅｅｔｂｅｈｔｈｂｅｔｅｆｃｉｏｔｕｕｌｄｆｒｎｉｌ．ｉｕｏｓｎｙｆａ
Ｋｅｒｓｏｊｇｔｒｄｅｔｉｅｓａｃｙｗｏｄ：ｃｎｕａｅｇａｉｎ；ｌｅｒｈ；ｕｃｎｔｉｅｐｉｚｔｎｕｆｉｎｅｃｎｎｎｏｓａｎｄｏｔａｉ；ｓｆｃｅｔｓｅｔｒｍｉｏｉｄ
ｔｒｉｅｈｎａｎｗｃｎｕａｅｇａｉｎｌｏｉｍｉｐｏｏｅ．ＩｉｐｏｅａｈｅｔｏｓｏｌｅＩｓｇｖｎ，ｔｅｅｏｊｇｔｒｄｅｔｇｒｈｓｒｐｓｄｔｓｒｖｄｔｔｅｎｗｍｅｈｄｉｆｕｌｉａｔｈｔｆ
ｇｔｒｄｅｔａｇｒｔｍ．Ｂａｅｎｔｅｉｓｉａｉｎｏｘｓｉｇｒｓａｃｅｕｔ，ａｎｗｏｓｒｃｏｆｔｅｐｒｍｅａｅｇａｉｎｌｏｉｈｓｄｏｈｎｐｒｔｏｆｅｉｔｎｅｅｒｈｒｓｌｓｅｃｎｔｔｒｏａａ－ｕｈ
ＡｂｔａｔｏｊｇｔｇａｉｎｉａｐｒｎｔｏａｉｕｅＯｅｔｒｂｅｆａｇ —ｓａｎｏ－ｓｒｃ：ＣｎｕａｅｒｄｅｔｓｎｉｏｔｔｈｄｔｔｓｓｄｔＳｌｅｐｏｌｍｏｒｅｃｌｕｃｎｍａｍｅｈｏＶｈｌｅｓａｅｏｌｅｒｐｉｉｔｎ．Ｔｅｓｕｔｒｏｅｐｒｍｔｉｄｆｒｎ，ｈｃｏｉｄｏｏｊ－ｔｉｄｎｎｉａｔｚｉｒｎｎｏｍａｏｈｔｃｅｆｈａａｅｅｒｕｔｒｓｉｅｔｗｉｈｆｍｓａｋｎｆｎｆｅｒｅｕ

一种新的非精确线性搜索下DY共轭梯度法的全局收敛性

（ｒｓｍａｄｃｔｎＤｐｒｅｔＹｎｔｎｖｒｉ，ｉｇｈｕ４４２．ｈｎ）ＦｅｈｎＥｕａｉｅａｔｎ。ａｇｅＵｉｓｙＪｚｏ３０３Ｃｉａｏｍｚｅｔｎ
Ａｂｓｒｃ：ｈｉｐｒｇｖｓａｎｗｎｘｃｉｅｓａｃｔｅｄｓｅｉｅｔｏｓｈｓｐｏｕｃｄｉｔａｔＴｓｐａｅｉｅｅｉｅａｔｌｎｅｒｈ，ｈｅｃｎｔｄｒｃｉｎａｒｄｅｎ
１预备知识
考虑无约束优化问题
ｍｉｎ）ＥＲ，（）１
的共轭梯度算法．的选取常用到的有标准Ｗｏｆｌｅ
线性搜索，即选取满足＋ｄ）≤ ）＋ｐａｇｄＴ（）４
ｇ＋ｄ）ｄ（ ≥ ｇｄＴ其中：ＥＲ连续可微．Ｒ求解问题（）１的一个著Ｐ＜１，和强Ｗｏｅｌ线性搜索，ｆ名方法共轭梯度算法，Ｆｅｈｒ和Ｒｅｅ由ｌｃｅｔｅｖｓ在其中０＜Ｐ＜＜ｌ１６９４年提出，一般迭代格式为即选取满足式（）４和
一
由式（）一Ｔ（ｇ一０即ｄ。２有：。－ｇ一）＞，是：一ｇｄ。。（
一
ｇｘ＋ａｄ）ｄ￣ｓ｛＾＾＾一：ｌ＾Ｊ｝（＾ｋ＾Ｔ＾ｍｘｇｄ，２ｄＪＩｄＴｄ（中０＜＜＜１０＜＜１下的全局收敛其ｐ，）性．文结合上述想法对新线性搜索作了推广，本要
＋＋０ｄｌ＝／（）２
Ｉ（ｋ）ｄＩｏＴＩｘ＋ａｄ ≤ ｒｇ

一个新的共轭梯度算法

Ａｎｗｃｎｕａｅｇａｉｎｔｏｅｏｊｇｔｒｄｅｔｍｅｈｄ
ＺＨＡＮＧｎｇ，ＦＡＮＧｉｇ—ｅ，ＣＨＥＮｎｈｕＣｏＭｎｌｉＦｅｇ— ａ
（ｃｏｌｆＭａｈｍａｉｎｏｕｉｇＳｉｃ，ＧｕｌｉｒｉｆｅｔｏｉＴｃｎｌｇ ’Ｇｕｌ４Ｏ４Ｃｈｎ）ＳｈｏｔｅｔｓａｄＣｍｐｔｃｎｅｏｃｎｅｉｎＵｎｖｓｔｏｃｒｎｃｅｈｏｏｙｉｅｙＥｌｉｎ５１０ ’ ｉａｉ
Ｖｏ．７ＮＯ５１２，．０ｃ．０７ｔ２０
一
个新的共轭梯度算法
张聪，房明磊，陈凤华
５１０）４０４
（林电子科技大学数学与计算科学学院，广西桂林桂
摘
要：针对许多共轭梯度算法的充分下降性都依赖于线搜索过程这一不足，给出了一个新的共轭梯度算法，并在
ｏｔａｙｌｅｓａｃｅ．ＡｌｂｌｏｖｒｅｃｅｕｔｉｒｖｄｗｈｎｔｅＺｕｅｄｊｏｄｔｏｓｍｅｎｔｅｉｅａｔｕｎｉｅｒｈｓｎｇｏａｎｅｇｎｅｒｓｌｓｐｏｅｅｈｏｔｎｉｃｎｉｉｎｉｃｋｔｉｈｎｘｃ
ｔｕｒｐｓｄａｎｗｌｏｉｈｈｓｐｏｏｅｅａｇｒｔｍ．Ｔｈｒｐｓｄａｇｒｔｍａｎｕｅｔａｈｕｆｉｎｅｃｎｒｐｒｙｈｌｓｗｉ — ｅｐｏｏｅｌｏｉｈｃｎｅｓｒｈｔｔｅｓｆｉｅｔｄｓｅｔｏｅｔｏｄｔｃｐｈ

Pi—sigma神经网络混合学习算法及收敛性分析

Ｅｇｅｒｎｎｐｌａｉｓ２０，４３）５－８ｎｉｅｉｇａｄＡｐｉｔｎ，０８４（５：６５．ｎｃｏ
ＡｂｔａｔＴｉａｅｓｓａｙｒｄｇｎｔｌｏｔｍｏｔａｎｎｉｓｇｅｒｌｎｔｒｎｔｉａｇｒｔｍｓｎｅａｐｉｄｔｓｒｃ：ｈｓｐｐｒｕｅｈｂｅｅｉａｇｒｈｔｒｉｉｇＰ — ｉｍａｎｕａｅｗｏｋａｄｈｓｌｏｈｉｉｃｉｉｏｃｐｌｏｅｒｓｌｅａｆｎｔｎｏｔｚｎｒｂｅＴｅｈｂｄｅｅｉｌｏｔｍｎｏｐｒｔｓｔｅ￣ｎｅｌｂｌｓａｃｆｇｎｔｌｏｔｍｎｅｏｖｕｃｉｐｉｉｇｐｏｌｍ．ｈｙｒｇｎｔａｇｒｈｉｃｒｏａｅｈｓｏｇｒｇｏａｅｒｈｏｅｅｉａｇｒｈｉ — ｏｍｉｉｃｉｃｉ
Ｐ—ｉｍａ神经网络混合学习算法及收敛性分析ｉｓｇ
聂永，伟邓
ＮＩＥＹｏｇ，ｎＤＥＮＧｅＷｉ
苏州大学计算机科学与技术学院，江苏苏州２５０１０６
ＣｌｇｆＣｍｐｔｒＳｉｎｅＳｚｏｉｅｓｙｏｃｅｃｎｅｈｏｏｙ，ｕｈｕ，ｉｎｓ１０６Ｃｉａｏｌｅｏｏｕｅｃｅｃ，ｕｈｕＵｎｖｒｉｆＳｉｎｅａｄＴｃｎｌｇＳｚｏＪａｇｕ２５０，ｈｎｅｔ
Ｅ— ｉ：１５３５＠ｓｄ．ｄ．ｎｍａｌ２０１０３ｕａｅｕａ

一种改进的DY共轭梯度法及其全局收敛性

式中，为初始点；为搜索方向；ａ是由某种线性搜索或由特定公式计算出的步长因子；为标量；ｇ（ｚ）一厂（ｚ），ｇ一ｆ（ｘ）。共轭梯度法的关键是选取ａ和，不同的ａ和决定了不同的共轭梯度算法。常用选取ａ的线搜索是标准Ｗｏｌｆｅ线搜索，即选取ａ＞０满足：
长江大学学报（自科版）２０１３年７月号理工上旬千ｕ第１ｏ卷第１９期ＪｏＵｎｉｖｅｒｓｉｔｙ（ＮａｔＳｃｉＥｄｉｔ）Ｊｕ１．２０１３，Ｖｏ１．１０Ｎｏ．１９
考虑无约束优化问题：
ｍｉｎｆ（）
∈Ｒｎ
（１）
式中，ｆ：Ｒ一Ｒ连续司微。共轭梯度法是求解该问题的一类有效算法。一般的共轭梯度法迭代公式为：
一
＋ａｋｄ￣
一ｉ — ＋忌＞１
‘ ２
定理１设迭代方向由：
ｄ女一一ｇ＋ＭＤＹｄｄ。一一ｇ。（５）
产生，若
Ｔ
Ｙ一 ≠ ０，则有：
ｇ ≤一ｃ＿ｌｇｌｌ
ｋ≥ ０
ｆ＞０
（６）
证明当ｋ一０时，。Ｔｇ。一一ｌｌｇ。ｌｌ。，结论成立。
。一竺
一ＩＩｇｋＩＩ２
对应的共轭梯度法依次为ＦＲ方法、ＰＲＰ方法、ＨＳ方法、ＣＤ方法、ＬＳ方法和ＤＹ方法。

一类修正WYL共轭梯度法的全局收敛性

Ａｂｔａｔ：ＢａｅｎｔｅｍｏｉｅｓｒｃｓｄｏｈｄｆｄＰＲＰｍｅｈｄｐｏｏｅｙＹｕ，ａｍｏｆｅＹＬｍｅｈｄ，ｗｈｃｌｉｔｏｒｐｓｄｂｄｉｄＷｉｔｏｉｈａ－ｗａｓｈｓｓｆｉｉｎｔｅｃｎｉｅｔｏｔｕｔｉｉｇａｌｎｅｒｈ．ｉｏｏｅｎｔｉａｅ．Ｍｏｅｙａｕｆｃｅｌｄｓｅｔｄｒｃｉｎｗｉｙｈｏｔｕｉｚｎｉｅｓａｃｌｓｐｒｐｓｄｉｈｓｐｐｒｒ－
，－］这些公式所对应的共轭梯度法在不同线搜索下的全局收敛性卢４，
在文献［］，５中韦等提出一个新的参数公式
ＩｌＩｌｇ
：
、
＝— Ｌ —■ —
ｇ一ｇ１Ｉ一
（㈩４）
此前的相关研究表明，于ＷＹ基Ｌ公式的共轭梯度法不仅有良好的数值试验结果，而且具有良好的收敛性：精确线搜索、ｒｐ —ｕｉｉ搜索和ＷｏｆＰｗｌ线搜索条件下都具有全局收敛性。在强在ＧｉｏＬｃ线ｐｄｌ —ｏｅｌｅ
ｏｅ，ｎｅｏｅｍｌｃｎｉｏｓｔａｏｅｏｕｉｉｐｏｅａｔｅｍｔｏｉｅＡｍｊｎｖｒｕｄｒｍｒｉｏｄｔｎｎｔｓｆ，ｔｓｒｖｄｔｔｈｅｄｗｔｔｒｉｌｅｄｉｈｈＹｈｈｈｈｏｉ
ｓａｃｎｌｅＰｗｅｌｌｅｓａｃｏｓｓｌｂｌｃｎｅｇｎｅｅｒｈａｄＷｏｆ－ｏｌｉｅｒｈｐｓｅｓｇｏａｏｖｒｅｃ．ｎ

具有性质(＊)的一类共轭梯度法的全局收敛性

性质｛＊）考虑形如（１～（２的迭代算法，１）１）假设对任意，０＜７ｌｆ７ ≤ ｌＩｇ ≤ 在此假设之下，我们称算法具有性质（，＊）如果说存在常数ｂ＞１和＞０，任意，对有ＩＩ６和Ｉ１ ≤ ｌ耻Ｉ≤
具有性质（的一类共轭梯度法的全局收敛性＊）
胡国芳①，王海奇②，屈彪③
（一作者：，９岁．士，师；曲阜师范大学运筹研究所．７１５山东省曲阜市；第女２砸讲 ① ２３６、 ② 滩坊师范学校，６】、２１∞ 山束古椎坊市；走连理工太学应用数学系．１１４ｉ宁省大连市）＠１６２，Ｉ）
（）在＋２，的某邻域Ｎ上 √ （）连续可微，其梯度ｇ（）Ｌｐｃｉ连续，ｚｉｓｈｔｚ即存在常数Ｌ＞０使得Ｊｚ），ｌｇ（
一
ｇ）ｌＬ（一＿）Ｖ， ∈ ．（ ≤ ｙ，，
易见，假设（之下，Ｒ算法和ＨＳ算法都具有性质（，在Ｈ）Ｐ＊）但对ＨＳ算法，要求满足充分下降条件和还
，
那么存在＾，＞０使得对任意ＣＮ及任意指标０都存在一指标＞ｏ使得ｌ｛ｌ，－，，Ｋ．＞这里ｄ
础ｄ＝｛ＣＪ七 ≤点：ｉ￣ ≤ 十△ １ｌ＿ｌ，－，ｌｌ＞｛
Ｋｌ｛表示Ｋ．中元素的个数，ｉＮ表示自然数集下面出现的ｒ” 表示大于的最小的整数］
Ｗｏｅ件Ｌ条ｆ

一种新的杂交共轭梯度算法

收稿日期：０６１－２２０— ２１
修回日期；０７０－６２０— ３２
＝
ｇ＇ｋ￣ｇ
ｐｒｐｏｅｅｈｏｓｖｒｆｉｉｎ．ｏｓｄｍｔｄｉｅｙｅｆｃｅｔ
Ｋｅｒｓｕｃｎｔａｎｄｏｔｎｔｎ，ｏｊｇｔｒｄｅｔｍｅｈｄ，ｎｅｒｈ，ｌｂｌｏｖｒｅｃｙｗｏｄ：ｎｏｓｒｉｅｐｉａｉｃｎｕａｅｇａｉｎｔｏｌｅｓａｃｇｏａｎｅｇｎｅｍｉｏｉｃ
ｇｘ＋ｔｄ（ ≥ ｏｆ（ｋ）ｘ）ｄｇｄ，
，
Ｐ一ｇ＇ｋ１￣Ｙ－
，
（・）ｏ８
（．）Ｏ９
ｇｆｋｆｇ
（．）Ｏ３
（．）Ｏ４一一 Nhomakorabea，
Ｔ
一一
，
（．ｏｏ１）
（・１ｏ１）
其中参数０＜＜１ ∈ （，），１．在（．）中搜索方向定义为Ｏ２式
．
ｗ。ｐｒｖｔｏ。ｈ
ｈ。。ｒｅｐｎｎｇｍ。ｈｏａ。ｓｒｔ。０ｒＳ。ｄｉｔｄｃｎｎｕ。ｈ
ｇｏａｏｖｒｅｃｎｅａｏｆＰｗｅｌｉｅｓａｃ．ｒｌｎｒｕｒａｅｕｔｈｗｈｔｈｌｂｌｃｎｅｇｎｅｕｄｒｗｅｋＷｌｏｌｌｅｒｈＰｅｉａｙｎｍｅｉｌｓｌｓｏｔａｅ — ｎｍｉｃｒｓｔ

一个具有充分下降性的谱共轭梯度法的全局收敛性证明

，、
【ｇｘ＋Ｉ（
）一－ｄ，ｌｏ￣ｄｇ
一
０本文的主要目的是讨论．
其中参数０＜６＜＜１由强Ｗｏ线搜索条件易证ｙ ¨ ０故谱系数．ｌｆｄ，ＤＬＳＳ方法对非凸函数极小化问题的全局收敛性．
了一类具有充分下降性质的谱共轭梯度算法，大量的数值结果表明谱共轭梯度算法比传统的共轭梯度算法更有效．最近希腊学者ＩＥＬｖｒ，．．Ｓｔｏｏｌ和ＰＰｔａ全文引用文献［］．．ｉｅｓＤＧｏｒｕｓｉｉｉｐｏ．ｉｅｓｎｌ３中的谱共轭梯度算法用于训练周期性神经网络，取得了很好的效果，表明谱共轭梯度算法能够有效地提高训练速度和准确率．４】本文主要讨论下述的谱共轭梯度公式Ｊ：
中图分类号：２；２０２０４
文献标识码：Ａ
文章编号：０４— ３２２１）３－０１ｏ１０８３（０１０００一４
１引言
共轭梯度法具有算法简便，存储需求小等优点，常适合于求解大规模优化问题－．非１考虑无约束优化Ｊ
２
赣南师范学院学报
２１年０１
文献［］５证明了ＤＬＳＳ方法在强Ｗｏ线搜索条件下对强凸函数极小化问题具有全局收敛性质．ｌｆ所谓强Ｗｏｌｆ线搜索条件指步长因子满足
’ ＋ｄ）－（）６（ｆｇｄＴ
如果是由（）８产生，我们称它为ＤＬ方法，以证明充分下降条件（）然成立．面讨论ＤＬＳＳ＋可４仍下ＳＳ＋方法在强Ｗｏ线搜索条件下对非凸函数极小化问题的全局收敛性．先由强Ｗｏ线搜索条件可证明如下结ｌｆ首ｌｆ

Wolfe线搜索下的一类新的共轭梯度法

收稿日期：０－５１２９０．０９
定理１假设条件（）Ｈ成立， ‘ ｝｛是由算法１ ’
作者简介：张雅琴（９９，，师，，１６一）女讲硕士主要研究方向为最优化理论与方法。
太
原
科
技
大
学
学
报
２１００生
产生的序列，如果对任何ｋ均பைடு நூலகம் ｇｘ）≠ ０（ ’ ，
得到一个新的共轭梯度法，并在Ｗｏｅｌ线搜索ｆ下证明了此共轭梯度法的收敛性。ｗ０ｅｌ线搜索要求步长满足：ｆ
厂 ’ 厂 ‘ ＋ａｄ）≥ 一（）一（ｋ‘ ’
则
‘ ’停； “ 否则，Ｓｐ；转ｔｅ６Ｓｅ令ｄ“ ＝一（ ‘ ）＋＋ ‘ 其中ｔ６ｐ ‘ ｇ１ ¨，ｄ
行研究。ｇｘ）＝Ｖ戈记（‘ ’ ‘ ，共轭梯度法）则的计算公式为：
（）＝（ｄ ’＋（ ’ （）１
１假设与算法
对目函数）标作如下假设（）Ｈ：（）目标函数）Ｉ在水平集￡ｏ）＝｛ ∈ （（ ’ 引
）≤ ‘ ）有界；。｝ ’
（ＩＩ）目标函数厂）（在水平集Ｌ）内连续可（
微，且其梯度ｇｘ（）满足Ｌｓｃｉ条件，ｉｈｔｐｚ即存在常数Ｍ＞０使得ｌ（）一（）Ｉ≤ Ｍ｝一，ｘ，ＩｘｇＹＪｇＪＹＩＶ，Ｊ
参数＋满足（），ｋ＝ｋ＋１转Ｓｅ．，３式令，ｔ３ｐ
ｇｘ（‘ ’＋ｃｄ ’ ‘ ｔ）ｄｋ ’≥ ｏ（ ‘ ）ｄ＇ｘ ‘ ｇ ’ ’

一类推广的共轭梯度法及其全局收敛性

步长因子；
ｆｘ）（＾１＋ｇ１ ÷ １“ １（）（＾＝ｆｘ一）Ｌ１一＋ＴＡ一．４－
在式（）础上结合式（）并做适当变化可得公式：３基４，
＝
．
一
参数。
ｃ＞㈣
自１６９４年Ｆｅｃｅ和Ｒｅｖｌｔｈｒｅｅ首先提出非线性共轭梯度法以来，数的取法一直是一个研究热参点［。最近，１］文献［］２构造出一个新的的取法：
摘
要：共轭梯度法是求解非线性优化问题的一种重要方法。通过对共轭梯度法及其全局收敛性的分析，出一个提
新的非线性共轭梯度公式，采用该公式和Ｗｏｆ非精确线搜索的方法是全局收敛的。ｌｅ文末的数值实验验证了算法是
有效的。
关键词：约束优化；共轭梯度法；局收敛性；ｌ准则无全Ｗｏｆｅ中图分类号：２０２４文献标识码：Ａ文章编号：１７ —０Ｘ（０７０ —２１０６３８８２０）４０９ —２
ＶｏＩ２７，．Ｎｏ．４Ａｕｇ．２０７０
２０年８月０７
一
类推广的共轭梯度法及其全局收敛性
黄传勇，董晓亮。，徐健。
（．１桂林电子科技大学数学与计算科学学院，西桂林广５１０；４０４２北方民族大学信息与计算科学学院，夏银川７０２；．宁５０１３安徽财经大学统计与应用数学学院，．安徽蚌埠２３３）３００

Armijo型线搜索下一种共轭梯度法的收敛性

线搜索：ａ满足（）（）７和８；线搜索：满足（）以下不等式７和
ｆｘ（＋ａｄ）ｆｘ）ａＩｄ，ｋ（＋５ｋ９
（０１）
其中０＜＜１，该文在假设搜索方向ｄ下降的条件下证明了ＣＤ方法在这些线搜索下的全局收
敛性，即ｌｉｆ＋。ｌｌ０ｉｎｏｌｌ。本文将在这两种线搜索下证明由Ｌ方法确定的搜索方向是充ａｒ：Ｓ
分下降方向，并且Ｌ方法是全局强收敛的。Ｓ
２主要结果
本文假定迭代方法（）３、（）产生一个无穷序列｛（）＝１２… ）２、（）４将９，，，，否则，算法有限终止时的迭代点就是所求稳定点。另外，还对目标函数ｆｘ￣Ａｍｉ型线搜索做出以下假（）ｒｊｏ
是
文章编号：０－０５２０）３００－６１５３８（０８０－４５００
搜索步
长
Ａｍｉｒｊｏ型线搜索下一种共轭梯度法的收敛性木
周光明（湘潭大学数学与计算科学学院，湘潭４１０）１１５
摘是
搜索
＝要：无约束非线性规划问题，本文分别在两种不同的Ａｒｊ型线搜索下证明ＴＬｕＳｏｅ共轭梯度对ｍｉｏｉ．ｔｒｙ
ｆｘｄ）ｆｘ）（＋ｋ（一
一
（）８（）９
ＣＩ七１２Ｉ１ｋ１一１Ｉ＋，２ｇ＋９ｄ＋ｃｌ七１２ＩＩｌｌｌ９ｌ
其中＞０７＞０ ∈（，）０＜ｃ＜１＜ｃ。，＿，０１，１２

限制PR共轭梯度法及其全局收敛性

２算法及其性质
若假设ｃ）立，则有下列限制Ｐ共轭梯度法Ｈ１成Ｒ初始步：０＜＜１ｚ０∈Ｒ” ｋ＝ｏ，．第一步：若１＝０停！则转第二步；Ｉ否第：步＝
ｇｋ．ｋ一０
＋
，）若，在ｚ（ｋ，（）点二阶连续可
ｌ＝
＋
ｄ
其中。ｋ为某种搜索步长，
为搜索方向：
ｆ＝
其中的不同取法就构成了不同的共轭梯度法，如
，
则称为ＰＲ共轭梯度法，方法由Ｅ．ｏａ该Ｐｌｋ和ＧｄｉｒＰｂｅｅ于１６９９年提出－ｌｌ虽然算法的数值计算Ｊ
， ●● ● ● １， ● ● 、
。ｋ∈ （１Ｊ＝０１）为满足ｉ；
ｆ１＾一ｋ
Ⅱ
Ⅱ
【ｊ９
的最大者．若算法：生无穷点列｛ｚ）我制在很弱的条件下证明了ｃ］８式成立数值试验表明Ｒ算法是很有效的．Ｒ，
维普资讯
第３卷第１ｌ期２０年２０２月
数学
进展
Ｖｏ．１３Ｌ．Ｎｏ１
Ｆｂ．０２ｅ２０
ＡＤＶＡＮＣＥＳＩＭＡＴＨＥＭＡＴＩＮＣＳ
限制ＰＲ共轭梯度法及其全局收敛性
维普资讯
数
学
进
展
３卷ｌ
由（）４式确定，假设Ｈ标函数满足：其中＞户＞０１＞０ｏＣ（１．＞１１１－Ｏ）－＞＞０（ＩＨ１Ｌ０一ｆｚ∈Ｒｆｘ，ｚ）界；：（）（１）有＜）上，连续可微且其梯度函数在Ｂ（１Ｈ２在包含￡０的个开球Ｂ＝｛ｚ∈ＲｚＩｒ：上Ｌｐｃｉｉｓｈｔ续，即对Ｖｚ连ｘＹ∈Ｂ有

一类共轭梯度法在非单调Armijo型线搜索下的全局收敛性

维普资讯
第２期
王艳，：等一类共轭梯度法在非单调Ａｍｉ型线搜索下的全局收敛性ｒｊｏ
３３
显然，由假设Ａ和Ｂ可知，在一常数，存使得
ｌ＾ｌｌ≤ ，Ｖ ∈ Ｑｇ
文献［］中提出一新的共轭梯度法，中如下：１其
一
线搜索下的全局收敛性分析的诸多文献中，下面两个假设经常用到：假设Ａ水平集
Ｑ一｛Ｘ∈ Ｒｌ（ ≤ ｆｘ）厂）（１｝
有界。
ቤተ መጻሕፍቲ ባይዱ
假设Ｂ在Ｑ上，厂是连续可微的，并且其梯度ｇＬｐｃｉ连续的，是ｉｈｚｓｔ即存在一常数Ｌ使得对任意ｚ，，
．．
著名的共轭梯度公式有ＦｅｃｅＲｅｅ（Ｒ，ｏａ — ｂｅｅＰｌａ（Ｒ）Ｈｅｓｅｅ－ｔｆＩＨＳ，ｌｔｈ — ｅｖｓＦ）ＰｌＲｉｉ — ｏｙｋＰＰ，ｎｔｎｓＳｉｅ（）ｋｒｅ
ＣｎｕａｅＤｓｅｔＣｏｊｇｔｅｃｎ（Ｄ）ａｄＤｉＹｕｎＤＹ）等。们由以下公式给出：ｎａ— ａ（它
（）一０（）一ｍｉ｛ｋ１＋１Ｍｏ０，愚ｎｍ（一），｝
其中Ｍｏ０是一整数。＞我们定义
ｘ（Ｊ）ｚ愚一｛ ≤ ｋ ≤ （）ｆｘ）。ｍ≤ａ（Ｄ厂一）（）ｌ０ —ｉ愚，（一
ＤＹｎ证了ｄ一降向存（｝ｊ）足搜ａｕ３明若＾下方，在 ∈０ｆ，线索ｉａ［是则，１满唔

一种新搜索技术下的CD共轭梯度法收敛性研究

（０。５）
它的迭代格式为：
＋Ｉ＝＋Ａｄ，
ｄ｛－
。
ｇｋ
＋ｄ
一
（ｌ２）
．
（０．６）
（０．７）
标量卢的取法不同，对应的梯度算法也不同．１９８７年Ｆｌｅｔｃｈｅｒ … 提出了共轭下降法，即ｃＤ共轭梯度
（１．郑州大学数学系，河南郑州４５０００１；２．开封大学数学教研部，河南开封４７５００４）
摘
要：介绍了一种新搜索技术的背景，证明了ＣＤ共轭梯度法在这种搜索技术下全局收敛，
进而在理论上推广了ＣＤ共轭梯度法．
第２７卷
第２期
开封大学学报
ＪＯＵＲＮＡＬＯＦＫＡＩＦＥＮＧＵＮＩＶＥＲＳＩＴＹ
Ｖｏ１．２７Ｎｏ．２
２０１３年６月
Ｊｕｎ．２０１３
一
种新搜索技术下的ＣＤ共轭梯度法收敛性研究
余平洋，路世英。
关键词：ＣＤ共轭梯度法；全局收敛性
中图分类号：０２２
文献标识码：Ａ
文章编号：１００８— ３４３Ｘ（２０１３）０２— ８２— ０４
０引言
文献［１］提出了一种新的非精确强线性搜索－厂（＋Ａｄ）一）≤一ｐＡｍｉｎ｛一ｇｄ，『ｌｇ｛ｆ｝，

无约束最优化中两种改进共轭梯度法的收敛性证明

无约束最优化中两种改进共轭梯度法的收敛性证明周安娃;范浩;黄青群【摘要】对于无约束优化中已提出的两种改进共轭梯度算法:改进的DY算法(MDY)和新的混合HS-DY算法(NH),证明了其在Wolfe线搜索下的全局收敛性.证明中的关键技巧是利用DY算法公式的一个等价公式,也正是由于该策略的运用,使得证明更为简化,进而得到了上述两种改进的共轭梯度法的全局收敛性.%Considering two modified conjugare gradient methods which had been presented: the modified DY method and the new hybrid HS-DY method for unconvex function, we explore the global convergence of these two methods with the Wolfe line search. It is very important to use a equivalence formula of DY method for the proof, which makes it simplify and shows that these modified methods are both globally convergent.【期刊名称】《桂林电子科技大学学报》【年(卷),期】2011(031)001【总页数】4页(P37-40)【关键词】共轭梯度法;下降方向;全局收敛性【作者】周安娃;范浩;黄青群【作者单位】桂林电子科技大学,数学与计算科学学院,广西,桂林,541004;桂林电子科技大学,数学与计算科学学院,广西,桂林,541004;桂林电子科技大学,数学与计算科学学院,广西,桂林,541004【正文语种】中文【中图分类】O224其中:gk是f在点xk处的梯度,βk是一参数。

一类Armijo搜索下的混合HS-PRP共轭梯度法

一类Armijo搜索下的混合HS-PRP共轭梯度法∗董晓亮;高岳林;何郁波【摘要】Based on the HS method and the PRP method, a new kind of hybrid conjugate gradient methods for solving large scale unconstrained optimization problems is proposed. The modified method provides automatically a suffcient descent direction for the objective function at each iteration, a property depends neither on the line search used, nor on the convexity of the function. If the exact line search is used, the given method reduces to the standard PRP method. Under mild conditions, the proposed method with the Armijo line search converges globally even if the objective function is nonconvex. Numerical results show that the new method is effcient and can be used to deal with some test problems.%为有效求解大规模无约束优化问题，本文基于HS方法和PRP方法，提出了一类新的混合共轭梯度法。

该方法在每步迭代中都不依赖于函数的凸性和搜索条件而自行产生充分下降方向。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

其中ｔ＞Ｏ口２＇，ｋ为步长；ｄ为搜索方向；为一标量；７ｚ）ｇ一ｆ（．
ＣＤ方法即共轭下降法最先由Ｆｅｃｅｌ于１８ｌｔｈｒ】９７年引入，一个很重要的性质是：其只要强Ｗｏｆ线搜索ｌｅ
｝
假设Ｂ厂在水平集Ｑ上梯度ｇｚ存在且满足Ｌｐｃｉ条件，（）ｉｓｈｔｚ即存在常数Ｌ）Ｏ使
收稿日期：０００ — ６２１—７０

作者简介：瑞艳（９）女，余１７一，湖北枝江人，士，江大学讲师，要从事计算数学研究９硕长主
ｌｌ＜ ∞・ｌＩ、一‘ ｄ
¨ｗ㈣
引理２设目标函数满足假设Ａ，｛由迭代算法（）（）生，Ｂ，５｝１２２，３产ａ满足ｗｏｆＩｅ条件（）（）则８，９，
第４期
余瑞艳：种新的混合的共轭梯度算法的全局收敛性一
１９
１（）ｇ）Ｉ≤ ＬｌｚＹｌ，，Ｉｚ一（ｌｇ．— ＶＹ∈ Ｑ】ｌ
成立．
（）７
步长ａ由Ｗｏｆ非精确线性搜索求得，形式如下：ｌｅ其
Ｓｅ令ｋ一是，Ｓｅ．ｔｐ５：＋１转ｔｐ２引理ｌ设目标函数满足假设Ａ，｛由迭代算法（）（）生，满足ＷｏｆＢ，ｚ｝２，３产ａｌｅ条件（）（）则８，９，
Ｚｕｅｄｊ件成立，ｏｔｎｉｋ条即
＋１
一
－
＇
。，
” 喜．】。
ｃ６
其中Ｅ［，］０１．
当一１时，式就是Ｃ公Ｄ法，当一０时，式就是Ｌ公Ｓ法．
１新算法及其全局收敛性
本节对目标函数做如下假设：
假设Ａ＿在水平集Ｑ．厂． ≤厂ｚ）上有下界，．为初始点．厂一｛∈Ｒｌ（）（｝７２ｚ其中３２
２１００年１２月
一
种新的混合的共轭梯度算法的全局收敛性
余瑞艳
（江大学一年级教学Ｘ作部，长－湖北荆州４４２）３００
［要］文章提出了一个新的混合共轭梯度法，可以被看作是ＨＳ和ＤＹ的凸组合方法，摘它并证明了在Ｗｏｆｌｅ条件下具有全局收敛性，为一个算法的实际应用提供理论依据．它（键词］无约束优化；．梯度；精确线性搜索；ｏｆ关－－Ａ￣３．不ｗｌｅ条件；局收敛性全
［章编号］１７ — ０７２１）４０１ — ３（图分类号］０２４［献标识码］Ａ文６２２２（０００ —０８０中２文
Ｏ前言
考虑无约束优化问题
ｍｉｆ（，ｎｘ）ｚＥＲ” （）１
质和数值表现类似于ＨＳ方法，我们可以尝试对ＣＤ法和ＬＳ进行组合，Ｄ法和ＬＣｓ法公式形式如下：
一
（）４
“ ＾１一５一
一
㈦
本章中我们对公式（）（）行适当的凸组合，４，５进产生了一类新的共轭梯度法簇．新公式如下：
厂＋ａｄ）ｆ（ｔ ≥ 一潞＾（）ｄ（ｔｋ｛一ｘ）＾（）８
ｄｚ＋ａｄ）≥ ｖ女＾ｌｇ（ｋｆ（）ｄ
（）９
其中 ∈（，） ∈（，）０寺，１．
新的共轭梯度法的算法如下：
Ｓｅ给定初值１ｅ，：ｔｐ１ ∈Ｒ，＞０当＝１时，１一－ｇ．ＩｌＩ，Ｓｏ；ｄ：－１若Ｉ１ｇ ≤￡则ｔｐ
第９卷
第４期
太原师范学院学报（自然科学版）
ＪＯＵＲＮＡＬＯＦＴＡＩＹＵＡＮＮＯＲＭＡＩＵＮＩＲＳＴＹ（ｔｒｌｃｅｃｄｔｎＶＥＩＮａｕａＳｉｎｅＥｉｏ）ｉ
Ｖ１９Ｎ．ｏ．ｏ４
Ｄｅ．２１ｃ００
其中＿Ｒ一Ｒ是一阶连续可微的函数，在点的梯度ｇ — ｆｘ）共轭梯度法解（）厂：＿厂（．１的迭代公式为：
５ｋ１＝ｚ＋ａｄ＾Ｏ＋女（）２
。ｊ【
一
一
＋
＂，忌≥ １
’
（３）
中参数＜１Ｃ，Ｄ方法在每次迭代过程中产生一个下降方向．Ｆ而Ｒ和ＰＲＰ方法在此时对一致凸函数都有可
能产生一个上升的方向．虽然每次ＣＤ方法都能产生一个下降方向，其收敛性质却并不好．但此外，的数值它表现与ＦＲ方法相接近，这是因为在精确线搜索下有一。Ｌｕｓｏｙ在１９．ｉ～ｔｒ９１年提出了Ｌｓ方法，性其
Ｓｅ由Ｗｏｆｔｐ２ｌｅ线搜索计算１；２＇
Ｓｅ迭代运算＋ —ｚ＋ａｄ，１一ｇ抖１．ｔｐ３ｌｇ＋：（）若ｇ＋ｌ，Ｓｏ；＾１Ｉ ≤ｅ则ｔｐ
Ｓｅ由公式（）算＋一，ｔｐ４６计由公式（）３计算ｄ； …