Direct search methods:then and now
直接搜索法：历史和现状
Robert Michael Lewis1,a,Virginia Torezon2,*,,b a,Michael W. Trosset a c,
a ICASE, Mail Stop 132C, NASA Langley Research Center, Hampton,V A 23681-2199. USA
b Department of Computer Science, College of William & Mary, P.O. Box 8795, Williamsburg, V A 23187-8795, USA
c Department of Mathematics, College of William & Mary, P.O. Box 8795, Williamsburg, V A 23187-8795, USA
Received 1 July 1999; received in revised form 23 February 2000 Abstract
摘要
我们讨论无约束优化的直接搜索法。我们从现在的观点来看这类与导数无关的算法，
主要集中在1960到1971年的直接搜索法发展的黄金时期。我们首先讨论在未构建目标模型的情况怎样使用直接搜索法。然后我们考虑一些经典直接搜索法并揭示那些年这类算法的进展。特别地，当原始直接搜索法开始直接利用启发式方法时，更多近来的分析表明，虽然不是全部但大部分启发式方法实际上已经足可以保证迭代序列中至少有一个子序列全局收敛到目标函数的一阶驻点。
关键词：求导无关优化；直接搜索法；模式搜索法
We discuss direct search methods for unconstrained optimization. We give a modern
perspective on this classical family of derivative-free algorithms, focusing on the development of direct search methods during their golden age from 1960 to 1971. We discuss how direct search methods are characterized by the absence of the construction of a model of the objective. We then consider a number of the classical direct search methods and discuss what research in the intervening years has uncovered about these algorithms. In particular, while the original direct search methods were consciously based on straightforward heuristics, more recent analysis has shown that in most – but not all – cases these heuristics actually suffice to ensure global convergence of at least one subsequence of the sequence of iterates to a first-order stationary point of the objective function. ? 2000 Elsevier Science B.V. All rights reserved.
Keywords: Derivative-free optimization; Direct search methods; Pattern search methods
1.Introduction
1．引言
罗伯特·胡克和T.A.捷吾斯首先在1961年的计算机械协会期刊上的一篇论文上提出“直接搜索”[12].在他们的论文的引言中这样描述直接搜索：
Robert Hooke and T.A. Jeeves coined the phrase “direct search” in a paper that appeared in 1961 in the journal of the Association of Computing Machinery [12]. They Provided the following description of direct search in the introduction to their paper:
*Corresponding author.
E-mail addressed: bucharoo@https://www.doczj.com/doc/529694563.html, (R.M. Lewis), va@https://www.doczj.com/doc/529694563.html, (V. Torczon), trosset@https://www.doczj.com/doc/529694563.html, (M.W. Trosset).
1This research was supported by the National Aeronautics and Space Administration under NASA Contract No.NAS1-97046.
2This research was supported By the National Science Foundation under Grant CCR-9734044 and by the National Aeronautics and Space Administration under NASA Contract No. NASI-97046, while the author was in residence at the Institute for Computer Applications in Science and Engineering (ICASE).
0377-0427/00/$-see front matter ? 2000 Elsevier Science B.V. All rights reserved.
Pll:S0377-0427(00)00423-4
我们用“直接搜索”术语来描述试验解的有序检查，包括每个试验解与当前“最好”解的比较和决定（作为以前结果的函数）下一个试验解的策略。该术语暗示我们的优先选择是基于经验的。对于直接搜索策略，一般的经典分析方法起不到任何作用。
We use the phrase “direct search” to describe sequential examination of trial solutions involving comparison of each trial solution with the “best”obtained up to that time together with a strategy for determining (as a function of earlier results) what the next trial solution will be. The phrase
implies our preference, based on experience, for straightforward search strategies which employ no techniques of classical analysis except where there is a demonstrable advantage in doing so.
对于现代读者，这种“除非有特别优势”而回避一般经典分析技术的偏好听起来好像十分奇怪。毕竟，拟牛顿法应用时的成功是不容置疑的。但考虑胡克和捷吾斯的历史环境，我们现在所用的表示怎样修正最速下降法以保证全局收敛的Armijo-Goldstein-Wolfe条件是在胡克和捷吾斯论文发表5年以后才问世的。这篇论文仅在戴维森未发表的用割线法推出拟牛顿法的报告2年后出现的，在计算机杂志上发表的弗莱彻和鲍威尔的相似观点的论文的前两年[10]。因此，胡克和吉夫斯的偏好现在没有证明。
To a modern reader, this preference for avoiding techniques of classical analysis “except when there is a demonstrable advantage in doing so” quite likely sounds odd. After all, the success quasi-Newton methods, when applicable, is now undisputed. But consider the historical context the remark by Hooke and Jeeves. Hooke and Jeeves’ paper appeared five years before what we now referred to as the Armijo-Goldstein-Wolfe conditions were introduced and used to show how the method of steepest descent could be modified to ensure global convergence [1,11,29]. The paper appeared only two years after Davidon’s unpublished report on using secant updates to deries quasi-Newton methods [8], and two years before Fletcher and Powell published a similar idea in The Computer Journal [10].
So in [96], this preference on the part of Hooke and Jeeves was now without justification.
四十年以后现在的问题是：为什么直接搜索法仍然在使用呢？的确这些没有理论证明的基于启发式方法的杂乱的方法类应该被现代数值优化方法取代。
Forty years later, the question we now ask is: why are direct search methods still in use? Surely this seemingly hodge-podge collection of methods based on heuristics, which generally appeared without any attempt at a theoretical justification, should have been superseded by more ”modern approaches to numerical optimization.
在更大的范围，直接搜索法已经被更多的复杂方法所取代。数值优化已经成熟，软件技术已经使用户很容易利用更多的复杂数值技术。许多用户已经例行使用许多全局拟牛顿法的变形。
To a large extent direct search methods have been replaced by more sophisticated techniques. At the field of numerical optimization has matured, and software has appeared which eases the ability of consumers to make use of these more sophisticated numerical techniques, many users now routinely rely on some variant of a globalized quasi-Newton method.
但是，直接搜索法仍然有它存在的理由。首先也是最重要的，直接搜索法仍然流行的一个原因是它在实践中工作的很好。实际上，许多直接搜索法的基础启发性最近被分析家证明有和全局拟牛顿法技术类似的全局收敛性。直接搜索法的成功是因为他们中的许多，包括胡克和吉夫斯的直接搜索法是依赖于经典分析技术，方法上外观不是显
然形成他们的初始规格。
Yet direct search methods persist for several good reasons. First and foremost, direct search methods have remained popular because they work well in practice. In fact, many of the direct search methods are based on surprisingly sound heuristics that fairly recent analysis demonstrate guarantee global convergence behavior analogous to the results known for globalized quasi-Newton techniques. Direct search methods succeed because many of them – including the direct search method of Hooke and Jeeves-can be shown to rely on techniques of classical analysis in ways that are not readily apparent form their original specifications.
其次，拟牛顿法不能求解所有的非线性优化问题。直接搜索法能够解决许多其它精巧算法所解决不了的问题。直接搜索法的独特特性避免了许多其它方法的缺陷。
Second, quasi-Newton methods are not applicable to all nonlinear optimization problems. Direct search methods have succeeded when more elaborate approaches failed. Features unique to direct search methods often avoid the pitfalls that can plague more sophisticated approaches.
第三，直接搜索法即使对于要求很高的用户也是首选。理由很简单：直接搜索法能够直接、立即地被利用来求解许多非线性优化问题。对用户的需求是最少的，算法几乎不需要设定太多参数。在拟牛顿法被利用前，计算机软件的发展跟不上复杂优化问题的求解（例如，导数计算或者梯度用有限差逼近时扰动量的正确选择）。对于这样的问题，可以利用直接搜索法全局收敛的特性开始搜索来解决最小化问题，
接着再用拟牛顿法求详细解。当拟牛顿法的前期准备完成后，用直接搜索法得到的最好结果作为拟牛顿法的搜索中心，利用其超局部收敛特性。这种复合优化策略和直接搜索法一样古老[21]。
Third, direct search methods can be the method of first recourse, even among well-informes users, The reason is simple enough: direct search methods are reasonably straightforward to implement and can be applied almost immediately to many nonlinear optimization problems. The requirements form a user are minimal and the algorithms themselves require the setting of few parameters. It is not unusual for complex optimization problems to require further software development before quasi-Newton methods can be applied (e.g., the development of procedures to compute derivatives or the proper choice of perturbation for
finite-difference approximations to gradients). For such problems, it can make sense to begin the search for a minimizer using a direct search method with known global convergence properties, while undertaking the preparations for the quasi-Newton method. When the preparations for the quasi-Newton method have been completed, the best known result from the direct search calculation can be used as a “hot heart” for one of the
quasi-Newton approaches, which enjoy superior local convergence properties. Such hybrid optimization strategies are as old as the direct search methods themselves [21].
这个回顾我们有三个目的。首先，我们要概要地介绍直接搜索法在解决非线性问题中与其他方法不同的特性。理解这些特性以后可以
更好地解释它的成功。其次，作为直接搜索分类的部分，我们给出三种导出直接搜索法的基本方法，并解释怎样能够更好地理解直接搜索法的收敛性质。最先推动这些方法发展的启发性在许多实例的长期应用中已被证明包含足够的能够被现在标准技术分析的结构。我们不能十分确定这些技术的首创者有没有认识到这些技术有多么的可靠，我们能相信他们认识到了。无论如何，我们一直被在收集的原始论文中找到的讨论的新观点留下印象。我们欣赏着四十年优化研究的进展。我们的目的是从它们历史发展的对比中来了解直接搜索法在各种解决非线性优化问题的方法中的位置。
We have three goals in this review. First, we want to outline the features of direct search that instinguish these methods from other approaches to nonlinear optimization. Understanding these features will go a long way toward explaining their continued success. Second, as part of out categorization of direct search, we suggest three basic approaches to devising direct search methods and explain how the better known about the convergence properties of direct search methods. The heuristics that first motivated the development of these techniques have proven, with time, to embody enough structure to allow – in most instances – analysis based on now standard techniques. We are never quite sure if the original authors appreciated just how reliable their techniques would prove to be; we would like to believe they did. Nevertheless, we are always impressed by new insights to be gleaned from the discussions to be found in the original papers. We enjoy the perspective of forty intervening years of optimization
research. Our intent is to use this hindsight to place direct search methods on a firm standing as one of many useful classed of techniques available for solving nonlinear optimization problems.
我们对于直接搜索算法的讨论没有任何夸张，重点放在它的1960到1971的十二年的发展上。篇幅上也不允许列出所有的参考文献。因此，我们很抱歉省去了很多有趣的工作的介绍。
Our discussion of direct search algorithms is by no means exhaustive, focusing on those developed during the dozen years from 1960 to 1971. Space also does not permit an exhaustive bibliography. Consequently, we apologize in advance for omitting reference to a great deal of interesting work.
2.What is “direct search”?
2. 什么是“直接搜索”？
For simplicity, we restrict our attention in the paper to unconstrained minimization:
为了简单，我们在文中将注意力集中在无约束最小化问题上：Minimize f(x),
Where ?
?n
f:.We assume that f is continuously differentiable, but that →
information about
这里?
f:.我们假设f是连续可微的，但与f相关的梯度信息或难→
?n
以获得或是不可靠的。
the gradient of f is either unavailable or unreliable.
因为直接搜索法既不需要计算也不要逼近导数，他们常常被描述成“导数无关”。但是，正如[27]所说，这个并不能完全描述“直接搜索”。
Because direct search methods neither compute nor approximate derivatives, they are often described as “derivative-free”. However, as argued in [27], this description does not fully characterize what constitutes “direct search”.
在历史上，许多解决优化问题的方法都借助于熟悉的“经典分析技术”，即目标函数的泰勒级数展开。实际上，我们可以根据所用的展开项数来分类数值优化的方法。采用一、二阶导数的二阶泰勒多项式构建f的局部二次逼近牛顿方法是一个二阶方法。采用一阶导数的一阶泰勒多项式构建f的局部线性逼近的最速下降方法是一个一阶方法。在这种分类中，“零阶方法”不需要求导信息和构造f的逼近。这些在工程优化界被称为零阶的方法就是直接搜索法。
Historically, most approaches to optimization have appealed to a familiar “technique of classical analysis”, the Taylor’s series expansion of the objective function. In fact, one can classify most methods for numerical optimization according to how many terms of the expansion are exploited. Newton’s method, which assumes the availability of first and second derivatives and uses the second-order Taylor polynomial to construct local quadratic approximations of f, is a second-order method. Steepest descent, which assumes the availability of first derivatives and uses the first-order Taylor polynomial to construct local linear approximations of f, is a
first-order method. In this taxonomy, “zero-order methods” do not require derivative information and do not construct approximations of f. They are direct search methods, which indeed are often called zero-order methods in the engineering optimization community.
直接搜索法完全依赖于目标函数的值，但这并不能将直接搜索法同其他优化方法完全区分。比如在用最速下降法时，梯度很难求时。这种情况，我们习惯于用一个梯度估计值代替实际值。如果可能得到目标函数的准确值，梯度往往用有限差分代替。我们这里讨论的是数值优化的一个例子。如果函数值不确定，梯度常常通过设计一个合适的实验和进行衰退分析得到。这通常在随机优化的响应面方法中出现。在直接搜索法之前响应面方法起到了一个关键作用a point to which we return shortly.。两种方法都只依赖于目标函数的值，而且它们都被分到一阶方法。但是，什么叫直接搜索法呢？直接搜索法不用计算或逼近导数究竟意味着什么？
Direct search methods rely exclusively on values of the objective function, but even this property is not enough to distinguish them from other optimization methods. For example, suppose that one would like to use steepest descent, but that gradients are not available. In this case, it is customary to replace the actual gradient with an estimated gradient. If it is possible to observe exact values of the objective function, then the gradient is usually estimated by finite differencing. This is the case of numerical optimization, with which we are concerned herein. If function evaluation is uncertain, then the gradient is usually estimated by designing an
appropriate experiment and performing a regression analysis. This occurs, for instance, in response surface methodology in stochastic optimization. Response surface methodology played a crucial role in the pre-history of direct search methods, a point to which we return shortly. Both approaches rely exclusively on values of the objective function, yet each is properly classified as a first-order method. What, then is a direct search method? What exactly does it mean to say that direct search methods neither compute nor approximate derivatives?
虽然是有益的，我们觉得基于泰勒展式的分类法脱离了基本的问题。正如[27]，我们更强调逼近的构建，而不是他们构建的机制。对于不需要目标函数有关泰勒展式的求导和逼近信息的优化，这样的方法是“求导无关”，但他们不是直接搜索。区别是什么呢？
Although instructive, we believe that a taxonomy based on Taylor expansions diverts attention from the basic issue. As in [27], we prefer here to emphasize the construction of approximations, not the mechanism by which they are constructed. The optimization literature contains numerous examples of methods that do not require derivative information and approximate the objective function without recourse to Taylor expansions. Such methods are “derivative-free”, but they are not direct searches. What is the distinction?
胡克和吉夫斯认为直接搜索法包括每次的尝试解与前次最优解的
比较。因此，直接搜索法的一个明显特征（至少在无约束优化的情况）是它们不需要数值函数估算目标值的相关阶。那就是说，无约束优化
的直接搜索法仅仅依赖于通过可数集的函数值的相关阶的目标函数。直接搜索法可用新的迭代来减少目标。这与伪牛顿直线搜索算法的Armijo-Goldstein-Wolfe条件相反。他需要满足足够的减少条件。另一个直接搜索法特征的推论是它排除了逼近f的正常方法，不需要使用数值函数的值。
Hooke and Jeeves considered that direct search involves the comparison of each trial solution with the best previous solution. Thus, a distinguishing characterization of direct search methods (at least in the case of unconstrained optimization) is that they do not require numerical function values the relative rank of objective values is sufficient. That is, direct search methods for unconstrained optimization depend on the objective function only through the relative ranks of a countable set of function values. This means that direct search methods can accept new iterates that produce simple decrease in the objective. This is in contrast to the Armijo-Goldstein-Wolfe conditions for quasi-Newton line search algorithms, which require that a sufficient decrease condition be satisfied. Another consequence of this characterization of direct search is that it precludes the usual ways of approximating f, since access to numerical function values is not presumed.
还有其它的理由将直接搜索法同其他许多的求导无关方法区分开来。我们已经提过响应平面方法通过衰退来构造f的局部近似解。响应平面法于1951年在论文[4]中作为一种不同的最速下降法（实际上是最速上升，作者用来求最大值）提出。1957年，关于工业过程改进问题
的讨论和技术人员的短缺，[3]给出了一个相对简单的方法进化操作的概要。响应平面法依赖于深奥的实验设计，衰退和最速上升；进化操作只需简单的设计和目标函数值的直接比较。Spendley et al.[21]后来说[3]中的设计可以被单纯形设计取代并指出进化操作可以被自动化和用作数值优化。在3.2部分讨论中，他们的算法仍然被使用，而且直接搜索法中最有名的Nelderd和Mead的单纯形算法也起源于此。因此，G.E.P. Box 在1950年指出的响应平面法和进化操作，f的逼近和f值的比较在直接搜索法的发展中起到了至关重要角色。
There are other reasons to distinguish direct search methods within the larger class of derivative-free methods. We have already remarked that response surface methodology constructs local approximations of f by regression. Response surface methodology was proposed in 1951, in the seminal paper [4], as a variant of steepest descent (actually steepest ascent, since the authors were maximizing). In 1957, concerned with the problem of improving industrial processes and the shortage of technical personnel, Box [3] outlined a less sophisticated procedure called evolutionary operation. Response surface methodology relied on esoteric experimental designs, regression, and steepest ascent; evolutionary operation relied on simple designs and the direct comparison of observed function values. Spendley et al. [21] subsequently observed that the designs in [3] could be replaced with simplex designs and suggested that evolutionary operation could be automated and used for numerical optimization. As discussed in Section 3.2, their algorithm is still in use and is the progenitor of the
simplex algorithm of Nelder and Mead [17], the most famous of all direct search methods. Thus the distinction that G.E.P. Box drew in the 1950, between response surface methodology and evolutionary operation, between approximating f and comparing values of f, played a crucial role in the development of direct search methods.
我们重新将无约束最小化问题的直接搜索法分为三个基本类。由于多种原因，我们着重于经典直接搜索法，这些方法在1960年到1971年发展起来的。有实践和历史性的限制。
We organize the popular direct search methods for unconstrained minimization into three basic categories. For a variety of reasons, we focus on the classical direct search methods, those developed during the period 1960-1971. The restriction is part practical, part historical.
在实践上，我们将要区分模式搜索法，单纯形法（这里我们说的不是线性规划的单纯形法）和搜索方向集适应法。在教科书上找到的直接搜索法一般被分为三类。此外，直接搜索法的早期发展或多或少的为后续算法的发展奠定了基础。这三种导出直接搜索法的基本方法的许多不同点在后来的几年里出现了，许多在应用文献中提到，这些新方法都是这三种方法的基本原理的改进版本。这是他们的发展分化的直接因素。
On the practical side, we will make the distinction between pattern search methods, simplex methods ( and here we do not mean the simplex method for linear programming), and methods with adaptive sets of search directions. The direct search methods that one finds described most often in
texts can be partitioned relatively neatly into these three categories. Furthermore, the early developments in direct search methods more or less set the stage for subsequent algorithmic developments. While a wealth of variants on these three basic approaches to designing direct search methods have appeared in subsequent years – largely in the applications literature –these newer methods are modifications of principles behind each of the three approaches, it is a relatively straightforward matter to devise variations on these three themes.
也有一些历史性的原因限制我们对这些算法在60年代发展的关注。在那些年间，直接搜索法吸引了数值优化界的注意力。这些被提出的算法在那时（现在也是）被认为有很大的实用价值。但是随着学科的成熟，数值优化学家们对启发性的兴趣越来越少，而更对正式的收敛理论感兴趣。1971年1月在英国国家物理实验室召开的一个重要的会议IMA/NPL上，Swann[23]概观了直接搜索法的状况并得出已下结论：There are also historical reasons for restricting our attention to the algorithmic developments in the 1960s. Throughout those years, direct search methods enjoyed attention in the numerical optimization community. The algorithms proposed were then (and are now) of considerable practical importance. As their discipline matured, however, numerical optimizers became less interested in heuristics and more interested in formal theories of convergence. At a joint IMA/NPL conference that took place at the National Physics Laboratory in England in January 1971, Swann [23] surveyed the status of direct search methods and concluded with this
apologia:
虽然上面所描述的方法启发性地发展起来，没有相关收敛的证明，但事实上实践证明它们是鲁棒的和可靠的，至少对于给定的局部最小化它们很少失败，虽然有时收敛率会很慢。
Although the methods described above have been developed heuristically and no proofs of convergence have been derived for them, in practice they have generally proved to be robust and reliable in that only rarely do they fail to locate at least a local minimum of a given function, although sometimes the rate of convergence can be very slow.
Swann的评论给大家留下了一个很遗憾的感觉支配着研究界：无论实践上多么成功，直接搜索法在理论上仍然被怀疑着。讽刺性的是，在Swann的概观的同一年，直接搜索法有关收敛的结果出现了。正如我们将要讨论的可是他们并没有被广泛知道。仅仅最近，在20世纪90年代，随着计算技术的进步和进一步分析的发展，这种感觉才被改变[30]。
Swann’s remarks address an unfortunate perception that would dominate the research community for years to come: that whatever successes they enjoy in practice, direct search methods are theoretically suspect, Ironically, in the same year as Swann’s survey, convergence results for direct search methods began to appear, though they seem not to have been widely known, as we discuss shortly. Only recently, in the late 1990s, as computational experience has evolved and further analysis has been developed, has this perception changed [30].
3.1. Pattern search
3.1.模式搜索
在戴维森的ANL 5990 [8]延期的序言中，他描述了最基础的一种模式搜索算法，由于这么简单而没有归类：
In his belated preface for ANL 5990 [8], Davidon described one of the most basic of pattern search algorithms, one so simple that it goes without attribution:
恩里科·费尔米和尼古拉斯·梅求坡里斯第一台数字计算机Los Alamos Maniac来确定特定理论参数（相位移）哪些值最符合实验数据（散射交叉部分）。他们每次已同样的步长变化一个理论参数，当这些任意的参数的增加和减少不能再改进符合实验数据时，他们就将步长变为原来的一半继续这样的过程直到认为步长足够小。他们的简单方法虽然慢但确是正确的。
Enrico Fermi and Nicholas Metropolis used one of the first digital computers, the Los Alamos Maniac, to determine which values of certain theoretical parameters (phase shifts) best fit experimental data (scattering cross sections). They varied one theoretical parameter at a time by steps of the same magnitude, and when no such increase or decrease in any one parameter further improved the fit to the experimental data, they halved the step size and repeated the process until the steps were deemed sufficiently small. Their simple procedure was slow but sure,……
模式搜索法用一系列的点模式考虑目标函数的行为的试探位移来
刻划。所有的依赖于有理格。在上面的例子中，单元相量是格子的基础，当前步长值（我们方便地用
?指代这个量）表明了网格分辨率。
k
试探位移由当前迭代邻近网格的点访问的系统策略组成。
Pattern search methods are characterized by a series of exploratory moves that consider the behavior of the objective function at a pattern of points, all of which lie on a rational lattice. In the example described above, the unit coordinate vectors form a basis for the lattice and the current magnitude of the steps (it is convenient to refer to this quantity as
?)
k dictates the resolution of the lattice. The exploratory moves consist of a systematic strategy for visiting the points in the lattice in the immediate vicinity of the current iterate.
注意费尔米和梅确坡里斯过程的一些特性是有益的。首先，它没有给基本的目标函数建模。每次当参数变化时，和学家们都要关心：在拟和实验数据上是否有改进。简单的“是”和“否”决定了下一步。因此，这个过程是直接搜索。其次，参数随着预先数量的步数变化而变化。步长以前次的一半的方式减小，因此可以确保每次迭代都有合理的网格。这是使直接搜索法成为模式搜索法的关键特征。再次，步长只有在任何单个参数量的减少不能改进拟和的时候才缩小。因此可以确保步长不会过早地缩小。这种特征在[26]中是另一种模型搜索的正式定义，并且在那里也是一种重要的收敛分析方法。
It is instructive to note several features of the procedure used by Fermi and Metropolis. First, it does not model the underlying objective function. Each time that a parameter was varied, the scientists asked: was there
improvement in the fit to the experimental data. A simple “yes ” or “no ” answer determined which move would be made. Thus, the procedure is a direct search. Second, the parameters were varied by steps of
predetermined magnitude. When the step size was reduced, it was
multiplied by one-half, thereby ensuring that all iterates remained on a
rational lattice. This is the key feature that makes the direct search a pattern search. Third, the step size was reduced only when no increase of decrease in any one parameter further improved the fit, thus ensuring that the step sizes were not decreased prematurely. This feature is another part of the
formal definition of pattern search in [26] and is crucial to the convergence analysis presented therein.
3.1.1. Early analysis
3.1.1.早期分析
在1971年之前，一个这种简单算法的全局收敛的证明出现在优化的教科书[18]上，那里这种技术被称为局部变量方法。特别地，Polak 证明了下面的结果：
定理3.1.如果{}k x 是用局部变量法构造的序列，则任何{}k x 的聚点x '满足0)(='?x f （假设)(x f 至少是一次连续可导的）
By 1971, a proof of global convergence for this simple algorithm
existed in the optimization text [18], where the technique goes by the name method of local variations. Specifically, Polak proved the following result: Theorem 3.1. If {}k x is a sequence constructed by the method of local
随机直接搜索优化算法NLJ 辨识算法 NLJ 优化算法是随机直接搜索优化算法的一种，它是由随机数直接搜索算法算法发展而来，可以有效地解决各种复杂的问题。因其结构简单以及收敛迅速使其在随机搜索算法中始终占有一席之地。这种算法的核心思想是利用收缩变量来缩小搜索域，找到次优解，然后再基于次优解重复上述过程直到最终获得最优解。 假设待辨识的系统模型为： 1110 1 ()(0,1,...,)n n n H s i n a s a s a s a -= =++ ++ （3.1） 其中，01,,...,n a a a 表示待辨识模型的系数值。 该算法主要有以下步骤： Step 1、初始化参数。根据辨识数据，通过手工调整模型参数大致拟合出一个初始模型，确定模型初始参数(0)k i a ，其次，确定参数搜索范围c 。()k i a j 表示参数i a 在第k 次迭代的搜索结果，0,1,...,k p =，j 表示迭代组数，0,1,...,j m =。参数的搜索范围可由设定参数初始值的倍数决定，具体规则如下： 0l i i r ca = ，当 时，1k k k i i i r ca v -=?。 （3.2） 其中，根据经验知识，c 取值为2。 Step 2、计算性能指标。选择如式（3.3）所示的输出误差指标，作为辨识性能指标式，将待辨识的参数带入系统模型，求解估计值()y t 。 0[()()]N t J y t y t ==-∑ （3.3） 其中，()y t 为t 时刻的实际数据。 Step 3、计算参数估计值。在第k 代计算参数估计参数k l a ，其中rand 是在 [0.5,0.5]-之间分布的随机数，k i a 由下式给出： 1()()k k k l i i a j a j rand r -=+? （3.4） 在第k 次迭代计算后，计算m 组性能指标，选择使得性能指标最小的参数值作为下一次迭代的初始值： 11min[(())](0)|k i k k i i J a j a a --= （3.5） Step 4、修改搜索范围。在第k 次搜索前需要根据下式（3.6）对搜索范围进行修正防止局限的搜索范围导致搜索陷入局部极值。 （3.6） 在此处引入变化率η，首先，计算判断每组参数幅值的变化率，并选择变化 3k >1k k k i i i r cr v -=
五种最优化方法 1.最优化方法概述 1.1最优化问题的分类 1）无约束和有约束条件； 2）确定性和随机性最优问题（变量是否确定）； 3）线性优化与非线性优化（目标函数和约束条件是否线性）； 4）静态规划和动态规划（解是否随时间变化）。 1.2最优化问题的一般形式（有约束条件）： 式中f（X）称为目标函数（或求它的极小，或求它的极大），si（X）称为不等式约束，hj（X）称为等式约束。化过程就是优选X，使目标函数达到最优值。 2.牛顿法 2.1简介 1）解决的是无约束非线性规划问题； 2）是求解函数极值的一种方法； 3）是一种函数逼近法。 2.2原理和步骤
3.最速下降法（梯度法） 3.1最速下降法简介 1）解决的是无约束非线性规划问题； 2）是求解函数极值的一种方法； 3）沿函数在该点处目标函数下降最快的方向作为搜索方向； 3.2最速下降法算法原理和步骤
4.模式搜索法（步长加速法） 4.1简介 1）解决的是无约束非线性规划问题； 2）不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函数的优化问题时非常有效。 3）模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降方向，而模式移动的目的则是沿着有利方向加速移动。 4.2模式搜索法步骤
5.评价函数法 5.1简介 评价函数法是求解多目标优化问题中的一种主要方法。在许多实际问题中，衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下：min (f_1(x),f_2(x),...,f_k(x)) s.t. g(x)<=0 传统的多目标优化方法本质是将多目标优化中的各分目标函数，经处理或数学变换，转变成一个单目标函数，然后采用单目标优化技术求解。常用的方法有“线性加权和法”、“极大极小法”、“理想点法”。选取其中一种线性加权求合法介绍。 5.2线性加权求合法 6.遗传算法 智能优化方法是通过计算机学习和存贮大量的输入-输出模式映射关系，进
1.怎样成为搜索高手——选择适当的查询词 搜索技巧，最基本同时也是最有效的，就是选择合适的查询词。选择查询词是一种经验积累，在一定程度上也有章可循： A.表述准确百度会严格按照您提交的查询词去搜索，因此，查询词表 述准确是获得良好搜索结果的必要前提。 一类常见的表述不准确情况是，脑袋里想着一回事，搜索框里输入 的是另一回事。 例如，要查找2004年国内十大新闻，查询词可以是“2004年国内十 大新闻”；但如果把查询词换成“2004年国内十大事件”，搜索结果就 没有能满足需求的了。 另一类典型的表述不准确，是查询词中包含错别字。 例如，要查找林心如的写真图片，用“林心如写真”，当然是没什么 问题；但如果写错了字，变成“林心茹写真”，搜索结果质量就差得 远了。 不过好在，百度对于用户常见的错别字输入，有纠错提示。您若输 入“林心茹写真”，在搜索结果上方，会提示“您要找的是不是: 林心 如写真”。
B.查询词的主题关联与简练目前的搜索引擎并不能很好的处理自然 语言。因此，在提交搜索请求时，您最好把自己的想法，提炼成简单的，而且与希望找到的信息内容主题关联的查询词。 还是用实际例子说明。某三年级小学生，想查一些关于时间的名人名言，他的查询词是“小学三年级关于时间的名人名言”。 这个查询词很完整的体现了搜索者的搜索意图，但效果并不好。 绝大多数名人名言，并不规定是针对几年级的，因此，“小学三年级” 事实上和主题无关，会使得搜索引擎丢掉大量不含“小学三年级”，但非常有价值的信息；“关于”也是一个与名人名言本身没有关系的词，多一个这样的词，又会减少很多有价值信息；“时间的名人名言”，其中的“的”也不是一个必要的词，会对搜索结果产生干扰；“名人名言”，名言通常就是名人留下来的，在名言前加上名人，是一种不必要的重复。 因此，最好的查询词，应该是“时间名言”。 试着找出下述查询词的问题，并想出更好的能满足搜索需求的查询词： 所得税会计处理问题探讨 周星驰个人档案和所拍的电影
百度搜索技巧的四个方法 大家都知道搜索方法正确后可以大大提高搜索效率，会使大家的工作既省心又省力！网上针对百度搜索技巧的方法也很多，但是我在这里做一个总结，总结出十大百度搜索技巧！这十大百度搜索技巧可以帮助大家更迅速准确的找到相应信息，详情如下： 1、十大百度搜索技巧之（一）—-“-” 百度支持减除不相关的资料的“-”功能，可以用于删除某些无关页面，注意建号前面必须要有空格 例如：“A-B”意思就是说想在搜索A的同时屏蔽关于B的信息 2、十大百度搜索技巧之（二）—-“|“ 百度支持并行搜索功能来搜索例如：“A|B”意思是想要搜索包含A的信息或者包含B的信息比方说你要查询seo和侯瑞男时，可以用”seo|侯瑞男“来搜索，无需分两次查询，百度就会提供跟“|”前后任何相关关键词相关的网站和资料 3、十大百度搜索技巧（三）—-intitle intitle的作用是把搜索范围限定在网页标题中，网页标题往往就是本篇内容的简要概括，将查询内容界定在网页标题中会起到很好的效果。 使用方法：把查询内容中，特别关键的部分用”intitle:“做前缀 例如：想要查找标题中带有Yadid’s World的如何优化长尾关键词的内容，您就可以如下： 可以用[如何优化长尾关键词intitle:Yadid's World]输入搜索框就可以查
到想要得到的结果注意：“intitle:”后面不能有空格 4、十大百度搜索技巧（四）—-site site的作用就是将搜索范围界定在指定网站中,有时我们如果知道某一个站内就有自己想要的东西，那么我们就可以把这个界定界定到这个站内，来提高查询效率 本文由销售技巧培训整理编辑https://www.doczj.com/doc/529694563.html,/
栅格向矢量转换中最为困难的是边界线搜索、拓扑结构生成和多余点去除。一种栅格数据库数据双边界直接搜索算法（Double Boundary Direct Finding，缩写为DBDF），较好地解决了上述问题。 双边界直接搜索算法的基本思想是通过边界提取，将左右多边形信息保存在边界点上，每条边界弧段由两个并行的边界链组成，分别记录该边界弧段的左右多边形编号。边界线搜索采用2×2栅格窗口，在每个窗口内的四个栅格数据的模式可以唯一地确定下一个窗口的搜索方向和该弧段的拓扑关系，这一方法加快了搜索速度，拓扑关系也很容易建立。具体步骤如下： （1）边界点和节点提取：采用2×2栅格阵列作为窗口顺序沿行、列方向对栅格图像全图扫描，如果窗口内四个栅格有且仅有两个不同的编号，则该四个栅格标识为边界点并保留各栅格所有多边形原编号；如果窗口内四个栅格有三个以上不同编号，则标识为节点（即不同边界弧段的交汇点），保证各栅格原多边形编号信息。对于对角线上栅格两两相同的情况，由于造成了多边形的不连通，也作为节点处理P72。 （2）边界线搜索与左右多边形信息记录：边界线搜索是逐个弧段进行的，对每个弧段从一组已标识的四个节点开始，选定与之相邻的任意一组四个边界点和节点都必定属于某一窗口的四个标识点之一。首先记录开始边界点组的两个多边形编号作为该弧段的左右多边形，下一点组的搜索方向则由前点组进入的搜索方向和该点的可能走向决定，每个边界点组只能有两个走向，一个是前点组进入的方向，另一个则可确定为将要搜索后续点组的方向。边界点组只可能有两个走向，即下方和右方，如果该边界点组由其下方的一点组被搜索到，则其后续点组一定在其右方；反之，如果该点在其右方的点组之后被搜索到（即该弧段的左右多边形编号分别为b和a），对其后续点组的搜索应确定为下方，其它情况依次类推。可见双边界结构可以唯一地确定搜索方向，从而大大地减少搜索时间，同时形成的矢量结构带有左右多边形编号信息，容易建立拓扑结构和与属性数据的联系，提高转换的效率。 （3）多余点去除：多余点的去除基于如下思想：在一个边界弧段上连续的三个点，如果在一定程度上可以认为在一条直线上（满足直线方程），则三个点中间一点可以被认为是多余的，予以去除。即满足： 由于在算法上的实现，要尽可能避免出现除零情形，可以转化为以下形式： （x1-x2）（y1-y3）=（x1-x3）（y1-y2） 或 （x1-x3）（y2-y3）=（x2-x3）（y1-y3） 其中（x1，y1），（x2，y2），（x3，y3）为某精度下边界弧段上连续三点的坐标，则（x2，y2）为多余点，可予以去除。 多余点是由于栅格向矢量转换时逐点搜索边界造成的（当边界为或近似为一直线时），这一算法可大量去除多余点，减少数据冗余。
Direct search methods:then and now 直接搜索法：历史和现状 Robert Michael Lewis1,a,Virginia Torezon2,*,,b a,Michael W. Trosset a c, a ICASE, Mail Stop 132C, NASA Langley Research Center, Hampton,V A 23681-2199. USA b Department of Computer Science, College of William & Mary, P.O. Box 8795, Williamsburg, V A 23187-8795, USA c Department of Mathematics, College of William & Mary, P.O. Box 8795, Williamsburg, V A 23187-8795, USA Received 1 July 1999; received in revised form 23 February 2000 Abstract 摘要 我们讨论无约束优化的直接搜索法。我们从现在的观点来看这类与导数无关的算法， 主要集中在1960到1971年的直接搜索法发展的黄金时期。我们首先讨论在未构建目标模型的情况怎样使用直接搜索法。然后我们考虑一些经典直接搜索法并揭示那些年这类算法的进展。特别地，当原始直接搜索法开始直接利用启发式方法时，更多近来的分析表明，虽然不是全部但大部分启发式方法实际上已经足可以保证迭代序列中至少有一个子序列全局收敛到目标函数的一阶驻点。 关键词：求导无关优化；直接搜索法；模式搜索法 We discuss direct search methods for unconstrained optimization. We give a modern
精心整理 五种最优化方法 1.最优化方法概述 1.1最优化问题的分类 1）无约束和有约束条件； 2）确定性和随机性最优问题（变量是否确定）； 3 4 1.2 2. 2.1 1 2 3 2.2 3. 3.1 1 2 3 3.2 4.模式搜索法(步长加速法) 4.1简介 1）解决的是无约束非线性规划问题； 2）不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函数的优化问题时非常有效。 3）模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降
方向，而模式移动的目的则是沿着有利方向加速移动。 4.2模式搜索法步骤 5.评价函数法 5.1简介 评价函数法是求解多目标优化问题中的一种主要方法。在许多实际问题中，衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下： min(f_1(x),f_2(x),...,f_k(x)) s.t.g(x)<=0 传统的多目标优化方法本质是将多目标优化中的各分目标函数，经处理或数学变换，转变成一个单目标函数，然后采用单目标优化技术求解。常用的方法有“线性加权和法”、“极大极小法”、“理想点法”。选取其中一种线性加权求合法介绍。 5.2线性加权求合法 6.遗传算法 智能优化方法是通过计算机学习和存贮大量的输入-输出模式映射关系，进而达到优化的一种方法，主要有人工神经网络法，遗传算法和模拟退火法等。 6.1遗传算法基本概念 1.个体与种群 个体就是模拟生物个体而对问题中的对象（一般就是问题的解）的一种称呼。 种群就是模拟生物种群而由若干个体组成的群体,它一般是整个搜索空间的一个很小的子集。 2.适应度与适应度函数 适应度就是借鉴生物个体对环境的适应程度,而对问题中的个体对象所设计的表征其优劣的一种测度。 适应度函数就是问题中的全体个体与其适应度之间的一个对应关系。该函数就是遗传算法中指导搜索的评价函数。 6.2遗传算法基本流程 遗传算法的中心思想就是对一定数量个体组成的生物种群进行选择、交叉、变异等遗传操作,最终求得最优解或近似最优解。 遗传算法步骤 步1在搜索空间U上定义一个适应度函数f(x)，给定种群规模N，交叉率Pc和变异率Pm，代数T；
五种最优化方法 1. 最优化方法概述 1.1最优化问题的分类 1）无约束和有约束条件； 2）确定性和随机性最优问题（变量是否确定）； 3）线性优化与非线性优化（目标函数和约束条件是否线性）； 4）静态规划和动态规划（解是否随时间变化）。 1.2最优化问题的一般形式（有约束条件）： 式中f(X)称为目标函数(或求它的极小，或求它的极大)，si(X)称为不等式约束，hj(X)称为等式约束。化过程就是优选X，使目标函数达到最优值。 2.牛顿法 2.1简介 1）解决的是无约束非线性规划问题； 2）是求解函数极值的一种方法； 3）是一种函数逼近法。 2.2 原理和步骤
3. 最速下降法（梯度法） 3.1最速下降法简介 1）解决的是无约束非线性规划问题； 2）是求解函数极值的一种方法； 3）沿函数在该点处目标函数下降最快的方向作为搜索方向； 3.2 最速下降法算法原理和步骤
4. 模式搜索法(步长加速法) 4.1 简介 1）解决的是无约束非线性规划问题； 2）不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函数的优化问题时非常有效。 3）模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降方向，而模式移动的目的则是沿着有利方向加速移动。 4.2模式搜索法步骤
5.评价函数法 5.1 简介 评价函数法是求解多目标优化问题中的一种主要方法。在许多实际问题中，衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下：min (f_1(x),f_2(x),...,f_k(x)) s.t. g(x)<=0 传统的多目标优化方法本质是将多目标优化中的各分目标函数，经处理或数学变换，转变成一个单目标函数，然后采用单目标优化技术求解。常用的方法有
“技术问题答案搜索法” 在我公司作为发明专利被驳回后是否复审的判断标准，也作为判断审查意见是否正确的秘密武器，一段时间以来，一直做为公司的独门绝技密而不宣。 前不久，国家专利局某部审查部长前来深圳调研，听取我市企业对创造性评判中现有技术的结合启示的意见和建议，其中在其调查问卷中提到：“关于创造性评判中的现有技术的结合启示，现有规定存在不足和问题，尤其是多篇现有技术结合时对于“技术手段所起作用相同”的要求中，“作用”的内涵和相关的限制条件等方面均缺乏相应解释。”可见，创造性判断三步法中的第（3）步，尤其是其中的第（iii）点，即使对于官方资深人员而言，也是一个难点。 另一方面，在专利代理实践工作中，有很多专利代理人在收到审查意见通知中出现“所述区别特征为公知常识”、“所述区别特征为另一份对比文件中批露的相关技术手段，该技术手段在该对比文件中所起的作用与该区别特征在要求保护的发明中为解决该重新确定的技术问题所起的作用相同”的语句时，常常会束手无策。因此，我觉得有必要在此分享一下我们的“技术问题答案搜索法”，该方法最大限度地减少了主观性，使判断结果客观而具有说服力，无论用于判断是否复审还是用于和审查员争辩，均能产生出其不意的说服效果。 “技术问题答案搜索法”非常简单，其做法如下：在三步法中第（2）步确定了技术问题之后，在第（3）步判断是否有启示时，优先搜索在第（2）步中所确定的技术问题及其答案，而不是去搜索相应区别技术特征；如果搜索该技术问题时，得到了与本发明相同或相似的答案，则应判断有启示；否则，没有直接启示。当然，由于发明实际解决的技术问题是据该区别特征所能达到的技术效果来确定的，也可以直接搜索相关技术效果。 上述做法非常简单到令人难以置信，但用这种方法来判断创造性，其准确率之高，也同样高到令人难以置信。这是为什么呢？现试分析原因如下： 1、发明专利创造性审查中最容易遇到的错误就是“事后诸葛亮”（国外称为“后见之明”hindsight）。为此，需要把时间回调到专利申请日当天及之前。在专利申请日当天及之前，本领域的普通技术人员在遇到该技术问题后会怎么办呢？它要查找这个问题的解决方案的话，会怎么检索呢？他检索的关键词会是什么呢？答案当然是：他检索的关键词一定只与这个技术问题有关，而不是与该区别技术特征有关，因为在当时这个区别技术特征还没有提出来！作为一个没有创造能力的普通技术人员，他不可能想到这个区别技术特征本身，更不会用这个区别技术特征当关键词来进行检索。而审查员呢？他又什么会用这个区别技术特征当关键词来进行检索？很明显，他是看了这个专利申请文件之后受到启发才知道这个关键词的。
内蒙古科技大学 题目：数据结构课程设计学生姓名：保祥 学号：0865138236 专业：信息管理与信息系统班级：信管2班 指导教师：杨振华
一．顺序表的操作 （1）插入元素操作：将新元素x插入到顺序表a中第i个位置。 （2）删除元素操作：删除顺序表a中第i个元素。 操作代码如下： #include
拟牛顿算法 一、算法流程图/算法步骤 1、DFP算法： （1）算法步骤： 2、BFGS算法 （1）算法步骤： 3、模式搜索算法 （1）算法步骤：
二、程序代码 1、DFP算法 %拟牛顿法中DFP算法求解f=x1*x1+2*x2*x2-2*x1*x2-4*x1的最小值tic format long syms x1 x2 r; f= x1*x1+2*x2*x2-2*x1*x2-4*x1; %要最小化的函数 x=[x1,x2]; df=jacobian(f,x); %函数f的偏导 df=df.'; x0=[0,0]'; g1=subs(df,x,x0); %起始点的梯度 epsilon=1e-6; %0.000001为搜索精度 k=0; H0=[1 0;0 1]; %初始矩阵为二阶单位阵 while(norm(g1)>epsilon) %迭代终止条件||g1||<=epsilon if k==0 d=-H0*g1; %负梯度方向 else H1=H0+pk*pk'/(qk'*pk)-H0*qk*qk'*H0/(qk'*H0*qk); d=-H1*g1;H0=H1; end z=subs(f,x,x0+r*d); %关于r的函数 result1=jintuifa(z,r); %进退法求下单峰区间 result2= gold(z,r,result1); %黄金分割法求最优步长 step=result2; x0=x0+step*d; g0=g1; g1=subs(df,x,x0);
%gk=double(gk); qk=g1-g0; pk=step*d; k=k+1; end k%最优点 x0 min=subs(f,[x1 x2],x0)%最优值 toc %进退法求下单峰区间 function result= jintuifa(y,r) t0=0;step=0.0125; t1=t0+step; ft0=subs(y,{r},{t0}); %step1 求f(t0) 将函数y中变量x替换为t0 ft1=subs(y,{r},{t1}); if (ft1<=ft0) %step3 step4 step=2*step; t2=t1+step; ft2=subs(y,{r},{t2}); while(ft1>ft2) t1=t2; step=2*step; t2=t1+step; ft1=subs(y,{r},{t1}); ft2=subs(y,{r},{t2}); end else %step5 step6 step=step/2; t2=t1; t1=t2-step; ft1=subs(y,{r},{t1}); while(ft1>ft0) step=step/2; t2=t1; t1=t2-step; ft1=subs(y,{r},{t1}); end end result=[t2]； %黄金分割法求最优步长 function result=gold(y,r,m) a=0;b=m;e=1e-5; a1=a+0.382*(b-a); %step1
百度搜索技巧语法大全 在网上冲浪少不了用到搜索引擎，而很多朋友都习惯把Google视为第一个选择对象。当然Google无论在搜索速度还是结果关联性方面都是十分优秀的。但百度 （https://www.doczj.com/doc/529694563.html,）作为Google在国内的竞争对手，性能和实力一点也不逊色，MP3和Flash搜索功能一直备受广大网友的好评。而百度的使用技巧何止这些，即便你是个标准的菜鸟，依然可以借助文中的技巧来提升搜索效率。 秘籍一：domain搜索参数 当我们在百度搜索引擎中随便输入任意一个域名（去除http://部分，例如https://www.doczj.com/doc/529694563.html,）再进行搜索，网页上除了能看到搜索结果外，还会出现一个提示：“如果您在寻找正文中包含“https://www.doczj.com/doc/529694563.html,/”的所有网页，请点击这里”，再单击此链接后你会发现在搜索栏中多了一个“domain:”参数，究竟这个参数是有什么作用的呢？现在就让我来为大家介绍一下。 1.domain的使用 domain具有“领域、范围”的意思，顾名思义，如果在某一网址前加上了domain就代表将在这一范围内进行搜索。我们首先用“domain:关键字”的形式来进行搜索，而关键字可以是网站的域名或IP地址（例如https://www.doczj.com/doc/529694563.html,/或202.102.245.23），但必须在英文输入状态下双引号把URL“包”起来（例如domain:\"https://www.doczj.com/doc/529694563.html,/\"），否则得到的结果会出现错误。 小提示 ★这个参数可以同时与其他搜索参数一起搭配使用，只要其它搜索语法中的关键词与该参数之间空一格即可。 ★在参数后的域名或IP地址可以直接使用https://www.doczj.com/doc/529694563.html,的形式，但这样会大大减少搜索结果的数量，建议使用时去除http://部分。 实例一：巧用domain找同类 笔者发现经常访问的9444在线小游戏大全最近一段时间都无法正常登录了，因此想找一个与之相类似的9444在线小游戏来代替它，于是就要在百度中输入domain:https://www.doczj.com/doc/529694563.html, 进行搜索，结果很快就找到答案了，而且搜索结果中还列出不少人气值很高的在线小游戏。实例二：使用domain查找网站密码 有时候出于一些特殊原因，我们需要查找某个网站的密码，输入“密码 OR password domain:XXXX”（XXXX为具体网址）进入搜索，说不定就会有意想不到的收获。 2.与Site、Inurl参数的区别 经常使用搜索引擎查找资料的用户也许会有一个疑问，在百度中Site和Inurl都可以实现上述的功能，为何如今一定要使用domain呢？用“site:网站”的搜索参数可以对指定网站内的内容进行查找（相当于网站的内部搜索）；“inur l:网站”的搜索参数则要求全部结果中的网页地址中必须包括指定的网站；而“domain”这个参数就同时具备上述两个参数的作用，而且应用也更加广泛。例如分别用site:https://www.doczj.com/doc/529694563.html,（搜索到34290个结果）、inurl:https://www.doczj.com/doc/529694563.html,（搜索到3851个结果）、 domain:https://www.doczj.com/doc/529694563.html,（搜索到3582,000 个结果）进行搜索，你会发现所得到的结果在数量上差异是比较明显的，因为前两个参数所定义的范围比较狭窄，而domain则由于允许所定义的范围可以出现在网页的任意位置，自然结果要多得多。根据这个特点，当我们无法从site或inurl参数中得到理想的结果时，
检索步骤即检索过程，是根据检索课题要求，选择检索系统，确定检索标识，按照一定的检索途径和方法，查找出特定文献的过程。 1．分析研究课题 分析课题的目的是使检索者确定课题要解决的实质问题，即它所含的概念和具体要求及其之间的关系，这是制定检索策略的根本出发点，也是影响检索效率高低或成败的重要因素。 本步骤需明确以下具体问题： （1）研究课题主题； （2）课题所涉及的学科范围； （3）课题所需文献的内容及其特征； （4）课题所需文献的类型，包括文献的出版类型、所需文献量、年代范围、涉及语种、有关著者机构等； （5）课题对查新、查准和查全的指标要求。若要了解某学科、理论、课题、工艺过程等最新进展和动态，则要检测最近文献信息，强调一个“新”字；若要解决研究中某具体问题，找出技术方案，则检索要有针对性，能解决实际问题的文献信息强调一个“准”字；若要撰写综述、述评或专著，要了解课题、事件的前因后果，历史和发展，则检索详尽、全面系统的文献信息，强调一个“全”字。 2．选择检索工具/系统，确定检索方法 选择检索系统应注意： （1）根据课题学科范围、所需文献类型，选择合适的检索系统； （2）根据所具备的条件选择手工检索工具或计算机检索数据库，也可采用二者结合的方法； （3）选择报道及时、收录文献全面、索引系统完备的检索系统； （4）既要选择使用综合性的检索工具，也应注意选择使用专业性或单一性的检索工具。 检索的方法很多，在选择检索方法时，可根据课题性质、检索对象、检索范围和实际可能，确定某个具体课题的检索法，如采用追溯法、抽查法等。
3．确定检索途径 在利用检索工具查找文献时，主要利用检索工具的各种索引，即通过检索途径来查找文献线索。检索工具检索途径类目很多。首先应充分利用文献的外部特征即篇名、著者、文种序号等，利用文献外部特征进行检索，非常方便且查准率比较高。但在检索时，仅仅知道要检索的课题，就要利用主题索引和分类索引等。其中主题途径是应用最普遍的途径。 4．确定检索标识(适用于计算机检索) 确定检索标识即选取检索词与构造检索式。然而在实际检索电子资源过程中，我们往往会遗漏一些重要的检索词或选择了不恰当的检索词，这是因为对同一事物不同的人有不同的称呼和表达。我们可以根据相关词汇的生成方式，总结出选取检索用词的几种方法： （1）选取检索词 内容分析 所谓内容分析，就是具体说明事物的组成部分。 以“发电厂烟气净化”为课题作内容分析： 发电厂烟气中含有:灰尘、二氧化硫、氮氧化物； 净化操作则由:除尘、脱硫、脱硝组成。 经过进一步分析可得出： 与除尘有关的内容有静电除尘、过滤、脉冲放电等相关的词； 与脱硫有关的内容有碱性吸附剂等相关的词； 与脱硝有关的内容有流态燃烧技术等相关的词。 对事物的内容和组成了解的越多，才可能提出较全的检索词，如果仅根据一两个浮于表面的抽象词语就会遗漏不少有用的检索词，所得到的文献也不能全面反映课题的内容。 “内容分析”方法可使用于集中检索某一专题的文献。 异称分析
(一) 模式搜索法 这是虎克—吉夫斯（Hook-Jeeves ）于1962年提出的，故又称虎 克—吉夫斯法，根据方法本身特点，也称为步长加速法。 1.概述 应用此法时，首先在某一点的四周探索出一个能使目标函数有所被改进的方向；然后沿着这个方向逐步加速前进。当发现继续沿此方向再爬不利时，便停止前进，而重新探索有利方向；就这样，“探”与“爬”交替进行直至最优点位置。这个方法的特点是一直拿着函数的等值线（面）的局部主轴方向进行探索，已达到加快收敛的目的。或者形象地说，是沿着曲折的山脊前进。可以认为，整个迭代过程是由两类移动所组成：一类是“探索性”的，一类是“模式性”的。下面 以二元函数为例进行说明。 2.举例说明 设函数)(f ，有两个分量1x 和2x 。作探索性移动时，先选定初始点)0(X ，计算)()0(X f 。步长根据预给的精度来选择，如为二元函数即选择为精度若干倍的两个正数1δ和2δ。从)0(X 点出发，分别沿1x 和2x 方向做探索。可以先沿1x 方向以1δ为步长水平移动（或左或右），只要移动成功（即目标函数沿优化的方向有所改进），就记移动后的点为)0(1X 。若左右移动均失败，便令)0()0(1X X =。 然后再沿2x 方向以2δ为步长作垂直移动（或上或下），只要移动成功，就记移动后的点为)0(2X ，如图10-22。对于二元函数，探索至此暂告结束；但对于n 元变量的情形，就要沿n 个座标方向做类似的
探索，直至完成一个周期。点)0(n X 若优于点)0(X ，就把它改记作)1(X ， 即) 0()1(n X X =。此时已知点)0(X 和)1(X 的连线方向是有利方向。 接着进行模式移动，就是将从)0(X 到)1(X 的移动无条件地依同一方向延伸一倍。用)1(Y 表示延伸后得到的点，)(k Y 点称为参考点。)(k X 成为基点；)0(X 是初始点，因此既是基点又是参考点。从参考点)(k Y 开始作探索性移动，找到的是基点)1(+k X ，从基点)1(+k X 沿)(k X 至)1(+k X 的方向延伸一倍得参考点)1(+k Y ，这就是模式移动。这里也表现出步长加速法的基本过程。 但进到一定阶段，会遇到下面情形：不但)1(+k Y 点比)1(+k X 点没有改进，而且从)1(+k Y 出发作探索所得到的点（如)1(1+k Y 和)1(2+k Y ）仍不优于 )1(+k X 点，迭代过程无法继续。这说明原来的走向失败，应将步长1δ和 2δ缩小，重新探索有利方向并重复上述步骤。如此循环直至得到满意 结果或步长1δ和2δ达到给定的精度以内。 δ1 X （0） X 1(0) X 1(0) X （0 ） X 1(0)=X (0) 右移成功 左移成功 左右移动均失败 X 1(0) 2（0） 上移成功 X 1(0) X 2（0）δ2 X 2(0)=X 1(0) 上下移动均失败 下移成功 图10-22 探索性移动