滨江学院
毕业论文（设计）题目非线性模型参数估计的遗传算法
院系大气与遥感系
专业测绘工程
学生姓名李兴宇
学号200923500**
指导教师王永弟
职称讲师
二Ｏ一三年五月二十日
- 目录-
摘要 (3)
关键词 (3)
1.引言 (3)
1.1 课题背景 (3)
1.2 国内外研究现状 (4)
1.3 研究的目的和意义 (4)
1.4 论文结构 (5)
2.遗传算法简介 (5)
2.1 遗传算法的起源 (5)
2.2 遗传算法的基本思想 (6)
2.2.1 遗传算法求最优解的一般步骤 (7)
2.2.2 用技术路线流程图形式表示遗传算法流程 (7)
2.3 遗传算法的基本原理及设计 (8)
2.3.1 适应度设计 (8)
2.3.2 遗传算子操作 (9)
3.遗传算法的应用实例 (9)
3.1 非线性模型参数估计 (10)
3.2 实例分析 (10)
4.结语 (12)
参考文献 (12)
英文题目 (14)
- 1 -
- 2 -
致谢 (15)
非线性模型参数估计的遗传算法
李兴宇
南京信息工程大学滨江学院测绘工程专业，南京 210044
摘要：关于非线性模型计算中的参数估计是十分棘手的问题，为此常常将这样的问题转化成非线性优化问题解决，遗传算法作为一种具有强适应性的全局搜索方法而被频繁的应用于非线性系统参数估计的计算当中，本文介绍了遗传算法及其理论基础,阐述了遗传算法在非线性模型参数估计中的应用的起源和发展,引入实例说明了遗传算法在非线性模型参数估计的实际运用中的实现，并概述了基于遗传算法的非线性参数模型估计具体解算过程，将使用遗传算法得到的结果与其他算法的解算结果进行比较，结果表明：遗传算法是一种行之有效的搜索算法，能有效得到全局最优解，在今后的研究中值得推广。
关键词：遗传算法非线性模型参数估计应用
1.引言
1.1课题背景
当前科学技术的发展和研究已经进入了进入各个领域、多个学科互相交叉、互相渗透和互相影响的时代，生命科学的研究与工程科学的交叉、渗透和相互补充提高便是其中一个非常典型的例子，同时也表现出了近代科学技术发展的一个新的显著特点。遗传算法研究工作的蓬勃发展以及在各个领域的广泛应用正是体现了科学发展过程的的这一明显的特点和良好的趋势。
非线性科学是一门研究复杂现象的科学，涉及到社会科学、自然科学和工程技术等诸多领域，在测绘学的研究中，尤其是在测量平差模型的研究和计算过程中，大量引入的都是非线性函数方程模型，而对于非线性模型的解算，往往过程复杂。遗传算法的出现为研究工作提供了一种求解多模型、多目标、非线性等复杂系统的优化问题的通用方法和框架。
对于非线性系统的解算，传统上常用的方法是利用其中参数的近似值将非线性系统线性化，也就是线性近似，测绘学中通常称之为线性化，经过线性化之后，将其视为线性模型并利用线性模型的解算方法得到结果，这就很大程度的简化了解算步骤，减少了工作量，但同时会带来新的问题，运用这种传统方法得到的数据结果存在的误差较大、精度不足等问题。利用线性近似方法对非线性模型进行参数估计，精度往往取决于模型的非线性强度。
- 3 -
- 4 -
1.2 国内外研究现状
近年来，随着科学技术水平的飞速发展，测绘仪器的更新换代速度和观测技术水平也是日新月异，测量观测精度大大提高，在测绘学界有很多人从事非线性模型的相关研究，遗传算法作为一种具有多种优势的全局搜索能力算法被广泛运用于各个领域，涉及面很广，同时取得了很好的效果。它的优势包括：高度的并行处理能力、强鲁棒性等。在文献[1]中笔者提到出版于1994年的自然科学学科发展战略调整调查报告《大地测量学》一书，其中明确地提出将非线性模型参数估计理论作为大地测量学科发展的重大基础理论问题之一，可见非线性问题在测绘研究中的重要性和影响程度之大，同时也再次印证非线性问题的解算对于测绘研究的发展以及其他众多领域的研究有着关键的、无可替代的作用；文献[2]的作者曾将遗传算法应用到了计算残差绝对值以及最小准则下的非线性平差模型的问题当中，实践证明，遗传算法能够大大提高非线性模型解算结果的精度，这是解决这一问题相对较有效的途径之一；田巧玉, 古钟璧, 周新志对基于混合遗传算法求解非线性方程组进行了一些系统的研究[3]；王君红, 刘宝, 袁若泉, 李桂莲通过系统研究提出了非线性模型参数估计的遗传算法领域新的见解和应用[4]；胡圣武、陶本藻对于非线性模型参数估计的研究中，对其统计性质做了一些研究[5，6]; 姜波汪秉文对于基于遗传算法的非线性模型参数估计做了系统的研究，通过算例说明遗传算法对于提高非线性系统模型的解算结果精度是有效可行的[7]。
1.3 研究的目的和意义
在测绘学的研究中，对于非线性模型的解算可以分为两种类型：一种是需要对函数求导之后进行解算的方法；还有一种是无需求导直接解算的搜索算法。前者在解算过程中当遇到复杂函数模型时，求导过程往往遇到较大的困难，另外对于无法求导的函数模型也不适用。而对于后者，无需求导，这也是近年来学界重点研究的领域，也是本文重点关注的方法。在近年来的研究成果得到的直接搜索算法中，主要有模拟退火算法[8]、单纯形法[9]、遗传算法[10]等一系列方法。这些算法共同的一个优点是计算过程无需求导就能直接进行计算，但是同时也无可避免的存在着一些弊端：例如模拟退火算法，它虽可以有效避免局部最小的问题，但同时存在着获得全局最小的收敛速度很慢的问题，虽能得到局部最优解，但是搜索时间过长[11]；遗传算法可以同时充分的搜索空间中足够多的点，并且这些工作是同时进行的，因此可以快速的达到全局收敛，不易陷入局部最优[11]。为了更加深入的讨论遗传算法在解算非线性模型过程中存在的问题和起到的积极作用，本文主要通过一个算例来阐述这些问题，同时把遗传算法的到的最优解与其它算法得到的结果进行比较，讨论遗传算法在非线性模型参数估计中是否具有一定的优越性。
1.4 论文结构
本文共分为四章，第二章主要介绍遗传算法的起源和发展过程，首先介绍了遗传算法的产生时间、提出者、遗传算法和生物学尤其是进化论的密切关系、进化计算、计算原理以及它的三个算子在计算过
程中所充当的角色，其次提到了遗传算法之所以应用于非线性模型结算的原因，通过文字表达、流程图和公式表达详细介绍了遗传算法应用于解决非线性问题的一般思想和过程，为第三章通过实例讨论遗传算法在非线性问题中的具体应用奠定基础，本文的第三章通过取自参考文献[12]：《非线性模型参数估计理论与应用》一书中的具体实例说明遗传算法具体应用于非线性问题中的结算，通过将遗传算法得出的结果与其它算法得出的结果的比较，讨论遗传算法所具有的优点和相较其它算法表现出的不足。第四章是结语部分，总结了整篇文章的内容，说明了本文的创新点和不足之处，对本课题在今后研究中的发展进行了展望和期待。
2、遗传算法简介
2.1 遗传算法的起源
所谓的遗传算法就是一种借鉴生物界当中自然选择和进化机制发展起来的具有高度并行、随机、自适应等一系列特点的搜索算法,这种算法是摒弃了传统抖索方式模拟自然界生物进化过程，同时采用人工进化的方式来对目标空间进行一种随机优化搜索的搜索算法。从它出现到到现在，研究的过程相对较短，一开始出现它是一种试图从解释自然系统中生物的复杂适应过程入手，从而来模拟生物进化的机制一边构造人工系统的模型，遗传算法把问题域中的可能解当做群体的一个个个体或者是染色体，同时把每个个体编码成为符号串形式，然后模拟达尔文的遗传选择以及自然淘汰的生物进化过程，接着对群体周而复始的反复进行基于遗传学操作，也就是遗传、交叉和变异三个步骤。近年来随着全世界范围内形成的计算机化计算热潮，智能计算已作为人工智能研究领域的又一个重要方向，包括后来兴起的人工生命研究，更加使得遗传算法在学界受到广泛的关注。
1962年美国Holland教授提出了所谓监控程序的概念，即利用群体进化模拟适应性系统的思想[12]。他通过建立智能机器的研究，发现不仅在其中可以完成单个生物体的适应性改进，而且通过一个种群的多代进化也可以取得非常好的适应性效果，这就是遗传算法的雏形，但是当时Holland教授本人没有给出实现这些思想的具体技术，但却引进了群体、适应值、选择、变异、交叉等基本概念；1966年，Fogel 等人也提出按了类似的思想，但其重点是放在变异算子而不是采用交叉算子。1967年Holland教授的学生J.D.Bagley通过对跳棋游戏参数的研究，在其博士论文中首次提出“遗传算法”这一概念，由此一种新的计算方法诞生了，可见，它的基本思想是基于Darwin进化论和Mendel的遗传学说的。
2.2 遗传算法的基本思想
遗传算法作为一种基于进化论和遗传学说的计算方法，充分吸取了自然界中自然选择、适者生存、遗传以及变异等思想，从一组初始解群开始迭代，逐步淘汰相对较差的解，产生更好的解，直到达到满足某种收敛指标的效果为止，也就是得到了问题的最优解。遗传算法具有多点寻优、并行处理等一系列特点。并且遗传算法的搜索过程是从初始解群开始的，以模型对应的适应函数作为寻优判据，适者生存、劣者淘汰，从而可以直接对解群进行操作，而与模型的具体表达方式无关。
- 5 -
- 6 -
遗传算法所具有的主要特点是在群体搜索策略和群体中个体之间所发生的信息交换,搜索过程的进行不以梯度信息为基础。遗传算法最适用于处理一些传统的搜索方法不能解决的过程复杂的非线性问题,它可以广泛的应用于多个领域，如组合优化、自适应控制、机器学习、人工生命和规划设计等。因为自身一些独特且具有高效利用性的优良特点,使得遗传算法成为了21世纪智能计算研究当中的核心技术之一。进入上世纪80年代之后,遗传算法的发展一度迎来了兴盛时期,无论是在理论研究方面还是应用研究方面，遗传算法都成为了学者口中十分热门的话题。虽然遗传算法具有诸多优点，尤其是它具有非常强的全局搜索能力，但是，遗传算法的局部搜索能力相较其它算法比较差，因此在将遗传算法应用的实际问题的解算和研究当中的时候通常的做法是将遗传算法与其他算法相结合的办法来进行实际问题的解决，两种或多种算法结合在一起各取所长，往往能取得意想不到的良好效果，学界通常把这种方法称之为混合遗传算法，常见的有拟牛顿法，拟牛顿法具有较强的局部搜索能力，有效的解决了遗传算法局部搜索能力较差这一问题，使得实际问题解决之中的计算结果更加的精确，使计算结果符合实际问题的要求，有效的提高了遗传算法在实际应用当中的科学性和说服力，使得遗传算法在应用中表现出其它算法所不能达到的效果。另外还有模拟退火遗传算法也在遗传算法的研究和应用中常常被提到。
用线性模型的理论来处理非线性模型，只是一种简单的、近似的方法，这种近似往往带来很多问题，得出和事实不相符的结论，因此，人们自然会想到，既然实际模型是非线性模型，就应该用非线性科学的方法来处理实际模型。由于非线性问题的理论研究远比线性问题的研究困难的多、复杂的多，所以许多国家专门成立了非线性问题研究机构，并设立研究课题[14]。遗传算法就是应用在非线性模型解算中的一个具有很大优势的方法，遗传算法从70年代起源发展到今天，已经日渐趋于成熟，遗传算法应用的非线性模型的解算当中也是随着遗传算法的应用领域的扩展而开始的。
遗传算法是解决搜索问题的一种通用算法，它具有以下特征：(1)首先组成一组候选解;(2)依据某些适应性条件测算这些候选解的适应度;(3)根据适应度保留某些候选解，放弃其他候选解(4)对保留的候选解进行某些操作，生成新的候选解。[13]
2.2.1 遗传算法求最优解的一般步骤：[12]
遗传算法是在进入20世纪80年代后得到了迅速的发展，不仅理论研究十分活跃，而且在越来越多的应用领域得到利用，其中在测量数据的处理上的利用就是其中之一，遗传算法的一般过程由初始化、选择、交叉和突然变异四个部分组成。
用遗传算法求最优解的步骤如下：[12]
（1）编码：用一定比特的0、1二进制数对自变量进行编码，形成基因码链，每一个码链代表一个个体。
（2）产生群体：令t=0，随机产生n个个体，形成群体P（t），该群体代表优化问题的一些可能解的集合，遗传算法就是从这些群体出发，模拟生物进化过程，存优劣汰，从而选择出优秀的群体和个体。
（3）评价：按编码规则，将群体P（t）中的每个个体的基因对应的自变量值X，代入目标函数，算出
各个个体的目标函数值R（X i），R（X i）越小，说明该个体的适应度越高，更适合生存环境，如果最优个体的适应度达到某一阈值，或最优个体的适应度和平均适应度不再下降，则转到（8）。
（4）选择：按一定的概率从群体P（t）中选出m个个体，作为双亲繁殖后代，产生新的个体加入下一个群体的P（t+1）中。
（5）交叉：对于选中的用于繁殖的每一对个体，随即的选择同一整数n，将双亲的基因链在此位置相互交换。
（6）变异：以一定的概率p从群体P（t+1）中随机选取若干个个体，对于选中的个体，随机选取某一位进行取反运算，即由1到0或者0到1，变异模拟了生物进化过程中的基因突变现象。
(7)转（3）
（8）输出最优解
2.2.2 用技术路线流程图形式表示遗传算法流程
- 8 -
图1 遗传算法运算流程
2.3遗传算法的基本原理及设计
遗传算法是借鉴生物界中自然选择和自然遗传机制规律的一种随机搜索算法。遗传操作是一种群体操作, 将群体中的所有个体作为对象。主要包括3个操作算子:分别是选择(selection)算子、交叉(crossover)算子以及变异( mutation)算子，这三个算子形成了所谓的遗传操作( genetic operation),因而使遗传算法具有了其他传统算法所没有的特性
[14]
。
2.3.1 适应度设计[3]
成功运用遗传算法求解方程组的关键问题是如何设计适应度函数。设一个实函数非线性方程组：
123(,,......)(0,0)i i x x x x F i n m λθλ=≤≤≤≤是由n 个方程组成的，其中涉及m 个变量即
123(,,......)m X x x x x =，对该方程组进行形如
()
1i i
X F θ=的归一化处理（若0i F =则无需再作处理）
，从而，适应度函数便可设计成：
()min
j j j
a x
b fitness X ≤≤=-
适应度的值越大，代表解的近似程度越好。
2.3.2 遗传算子操作的一般方法
遗传算法模拟物种是从低级到高级的演化过程, 也就是从初始群体出发, 遵循优胜劣汰、 适者生存的自然法则选择个体, 通过交叉和变异来产生下一代群体, 逐代的进行演化, 直到产生满足条件的个体。通过实例说明遗传算法的演化过程具体描述如下所示
[15]
:
GA ((0),,L,,g,p,f ,t)P N s =
在此,N 12n P(0)(P (0),P (0),,P (0))I =?∈表示的是初始群体；
N L I B {0,1}==表示的是长度为L 的二进制码位串空间；
- 9 -
N ：表示的是群体中含有的个体个数；
L ：表示的是其中二进制串的长度；N N s : I I → 表示的是选择策略；
g :指的是遗传算子, 通常包括有选择或复制算子：Qr : I I →；
交叉算子Qc : II II → 以及变异算子Qm :I I →；P :指的是遗传算子的操作概率, 其中包括选择或繁殖概率Pr 、交叉概率Pc 和变异概率Pm ；f : I R →+表示适应函数； N t : I {0,1}→是终止准则。[15]
(1)选择算子
此处选取竞标赛选择法（tournament selection ）为例。竞标赛选择采用的参数为竞赛规模（Tour ），它的取值范围为[2,Nind]。为了防止在选择过程中采用此方法出现早熟现象，可以采用变换适应度函数尺度的方法解决此问题。
（2）交叉算子
交叉算子以启发式（Heuristic ）交叉为例。一般使用参数“Ratio ”指定子辈和具有较好适应度的父辈间的距离有多远。如果父辈是parent1和parent2，但是parent1具有较好的适应度，那么启发式交叉生成的子辈：
child=parent2+Ratio*(psrent1-parent2)
（3）变异算子
变异算子则以Gaussian 变异算子为例说明，此变异算子的一个特点是它在进行变异操作是，把一个正态分布且具有均值的随机数加入父向量的每一项内，替换掉原有的基因值。该变异算子由“Scale ”和“Shrink ”两个参数决定。
运算终止规则：在非线性方程组的求解问题中，迭代终止的条件主要有两个：第一个是进化到指定的最大代数；第二个是适应度限，即当前代的最佳适应度值等于或者小于规定值的时候就停止。
[16]
3、遗传算法的应用实例
3.1 非线性模型参数估计
通常所说的参数估计，是在数学领域中的一个专业名词，属于数理统计的研究范畴，它的意思就是
- 10 -
跟据一个含有误差的观测向量，依照一定的数学模型及准则结算出位置参数，在测量学的实际问题研究之中这就是平差问题，不论是在数理统计的研究中，还是在测量平差的应用中，依据线性数学模型来进行参数估计的理论研究水平已经相当成熟，并且形成了系统的理论体系
[17]
。但是在一般情况下，尤其
是在测量工作中，非线性数学模型的出现要远远多于线性模型，但是出于传统的将非线性问题线性化的方法远远达不到现代工程发展水平的要求，有时候甚至会完全导致参数估计结果的精度扭曲。因此在测绘学研究中解决非线性问题时引入搜索算法是非常必要的，这也是本文基于遗传算法研究非线性模型参数估计的主要目的，下面应用一个实例进一步说明。
在测量学中，一般情况下，L 用来表示n*1的观测向量，X 则用来表示t*1的位置参数向量，n*1的观测误差向量通常用△来表示。非线性观测方程用L 、X 、△表示为：
L=f （X ）+△ （1）
对于（1）式求最小二乘估计量，实质上就是求变量X 的估值?X
[1]
，当?X
代入下式： ???()[()][()]???2()()()V X
V f X L f X L LL f X
L f X f X ''=--'''=-+ （2）
当（2）式取得最小值即：
???2()()()LL f X
L f X f X '''-+=min 时估值?X 取得最优解，在此式中LL '为常量，因此（2）等价于函数?()G X
=??()()f X f X '?2()f X L '-=min 的非线性最优解问题。[1]
3.2 实例分析
本实例取自参考文献
[12]
：《非线性模型参数估计理论与应用》第33页例2-1-2，已知非线性模型
2
12i x x i L =+，其中参数1x 和2x 的真值为X =
5.4201361870.25436189'-（），i L 的5个真值以及响应的5个精度独立观测值如下表所示：
表1. i
L 的真值以及相应的观测值（原始值）
- 11 -
对于参数1x 和2x 的求解，本文使用的方法是应用MATLAB 软件中的遗传算法工具箱来进行的，该工具箱为解决众多问题提供了有效途径，目前该方法已经在30多个应用领域得到广泛应用之后得到了很好的测试，其中就包括参数优化和非线性系统的论证，下面简单介绍本文中利用MATLAB 遗传算法工具箱解决实际问题的具体步骤：
(1)种群的表示以及初始化；
(2)确定目标函数和适应度函数；根据本例的要求确定目标函数和适应度函数，目标函数为解决问题提供一种测量手段，测量个体在问题域之内的完成情况；本例中目标函数的函数值越小时适应度越好。
（3）选择、交叉和变异；确定种群大小，设置交叉概率的大小、最大遗传代数以及完成交叉设置和和变异设置，这些都通过优化函数中的options 选项实现。
（4）重插入；为了使得原始种群的大小保持稳定的状态，一些新的个体必须要被重新插入就种群中，以便使得最适合个体被连续繁殖，由此成为精英策略，遗传算法工具箱提供的reins 函数可以实现使个体在重组后重新插入种群中，同时reins 函数还能选择重插入比重组产生少子代，有效保证得到最优结果。
(5)终止算法；由于遗传算法属于随机搜索算法，所以本步骤的关键是找到一个明确的、正式的收敛性判别标准较困难，在此需要预先设定代数并根据实际问题的要求定义测试种群中最优个体的性能。[18]
由以上步骤得出运用遗传算法得到的结果以及该结果与其他搜索算法得出结果的结果如下表所示：
表2. 参数1x 和2x 的计算结果（计算值）
- 12 -
从表2最后一行可以看出，遗传算法得到的参数1x 和2x 的结果与真值的距离X =0.0039，这个结果是四种方法中除大洪水之外最好的。从计算过程中计算得到结果的速度而言，4种搜索算法中单纯形算法经历了了70次搜索，模拟退火法经历了很长时间的搜索，大洪水算法经历了了629次搜索，遗传算法100多次搜索，虽然遗传算法的运算速度较单纯形法较慢，但却得到了相对较为精确的结果，较模拟退火算法具有相对的优越性。
4.结语
直接搜索算法由于在计算过程中无需求导，因此适用的范围和领域更广，已经成为了近年来各个领域研究的热点
[19]
。本文将遗传算法引入到非线性模型问题当中，通过在对遗传算法的基本思想和原理
做过详细介绍的基础上，引入非线性模型的实例进行计算和结果分析，并与其他直接搜索算法得出的结果进行比较，最后得出遗传算法在解决非线性模型问题的应用中具有一定优越性（较大洪水算法而言略差）以及很快的运算速度，同时它还具有很好的全局搜索能力，可以快速的将解空间中的全体解都搜索出，并且不会陷入局部最优解的快速下降陷阱，重要的是它还能够以较大概率获得全局最优解；但是，遗传算法也表现出一些不可避免的缺点，遗传算法的局部搜索能力较差，直接导致单纯的遗传算法比较费时
[20]
，在进化后期它的搜索效率降低。总体而言，遗传算法优大于弊，是一种值得推广的直接搜索
算法。
在今后针对遗传算法的研究工作中，可能会比较倾向于探究如何克服遗传算法早熟以及局部搜索能力较差的问题，相信经过无数学者的努力，遗传算法会在更多的领域发挥其无可替代的作用
[21]
。
参考文献：
[1]王永弟，丁海勇.非线性模型参数估计的大洪水解算方法[J].地理空间信息,2012年第10卷第6期：142～144.
[2] 陈伟, 王新洲.非线性最小残差绝对值和最小平差的遗传算法[ J] .地理空间信息, 2004 ( 3) : 8～12
[3] 田巧玉, 古钟璧, 周新志.基于混合遗传算法求解非线性方程组[J]. 计算机技术与发展
，2012第17卷第3期：10～12
[4] 王君红, 刘宝, 袁若泉, 李桂莲.一种非线性遗传算法的设计与应用[J].计算机仿真，2010年第27卷第2期：196～199
[5] 胡圣武. 非线性模型估计及其在GIS 中的应用[D]. 武汉测绘科技大学，1997
[6] 胡圣武，陶本藻. 非线性模型的误差传播及其在GIS中的应用[J]. 武汉测绘科技大学学报，1997（2）：129-131
[7] 姜波.汪秉文. 基于遗传算法的非线性模型参数估计[J]. 控制理论与应用，2011年，17卷(第一期)：150-152
[8] 陈伟,张从海.混和模拟退火- 遗传算法在参数估计中的应用[J].地理空间信息,2007年第5卷第2期：99～101
[9] 林洪桦. 动态测试数据处理[M]. 北京：北京理工大学出版社，1995
[10] 高铁红,吴晓龙,刘燕,陈德生.非线性变参数估计的遗传算法[J].河北工业大学学报，2 0 0 0 年8 月第2 9 卷第4 期：62～65
[11] 李士勇. 模糊控制·神经控制和智能控制[M]. 哈尔滨：哈尔滨工业大学出版社，1998
[12] 王新洲. 非线性模型参数估计理论与应用[M].武汉.武汉大学出版社，2002年
[13]李敏强,寇纪书,林丹,李书全.遗传算法的基本理论与应用[M].北京.科学出版社,2010年
[14] 李明华,程银才. 加速遗传算法在水质模型参数估计中的应用[J]. 水利科技，2010年，第四期：14-15
[15]陈秋莲，王成栋.基于Matlab 遗传算法工具箱的优化计算实现[J]陈秋莲，王成栋- 现代电子技术, 2007
[16] 姜波汪秉文. 基于遗传算法的非线性模型参数估计[J]. 控制理论与应用，2011年，17卷(第一期)：
- 13 -
- 14 -
150-152
［17］王新洲．非线性模型线性近似的容许曲率［J］．武汉测绘科技大学学报，1997，22(2):119～121.
［18］武汉大学测绘学院测量平差学科组．误差理论与测量平差基础(第二版)［M］．武汉:武汉大学出版社，2009.
[19]范青武,王普,张会清,等.遗传算法交叉算子的实质分析.北京工业大学学报,2010（10）：
1328-1366.
[20]邢文训、谢金星.现代优化计算方法[M]，北京.清华大学出版社，2009
[21]周明，孙树栋编著.遗传算法原理及其应用[M]，北京.国防工业出版社，2009
Nonlinear Model Parameters Estimation of Genetic Algorithm
Li XingYu
Surveying and Mapping Engineering,BinJiang College of NanJing University of Information
Science&Technology,NanJing,210044
Abstract:
On the nonlinear model of parameter estimation is a very difficult problem, therefore often turn this problem into a nonlinear optimization problem solving, genetic algorithm has strong adaptability as a global search method and is frequently used in nonlinear system parameter estimation calculation, this paper introduces the genetic algorithm and its theoretical basis, this paper expounds the genetic algorithm in the application of nonlinear model parameters estimation the origin and development, introducing genetic algorithm example is given to illustrate the implementation in the practical application of nonlinear model parameters are estimated, and summarizes the nonlinear parameter model based on genetic algorithm for the specific calculating process, will use the genetic algorithm to get the results comparing with other algorithms of calculating results, the results show that the genetic algorithm is an effective search algorithm, can effectively get the global optimal solution, is worth promoting in the future research.
Keywords:genetic algorithms, nonlinear model, parameter estimation and application
- 15 -
- 16 -
致谢
行文至此，我的这篇论文已接近尾声,这篇论文是在南京信息工程大学遥感学院测绘工程系王永弟老师的指导下完成的，理所当然首先要感谢王老师两个多月以来的悉心指导！岁月如梭，我四年的大学时光也即将敲响结束的钟声。离别在即，站在人生的又一个转折点上，心中难免思绪万千，一种感恩之情油然而生。在这四年中，老师的谆谆教导、同学的互帮互助使我在专业技术和为人处事方面都得到了很大的提高。感谢南京信息工程大学滨江学院的各位任课老师以及辅导员、班主任老师在我四年的大学生活当中对我的教育与培养，感谢大学四年曾经帮助过我的所有同学。在撰写毕业论文过程中我曾经向老师和同学们请教过不少的问题，老师们的耐心解答和同学们的热心帮助才使我的毕业论文能较为顺利的完成。最后还要感谢含辛茹苦养育我的父母，谢谢你们给我生命，有你们做我的坚强后盾才使得我能在学校安心完成学业，在此我再次向以上各位表示最衷心的感谢！
基于Burg 算法的AR 模型功率谱估计简介 摘要：在对随机信号的分析中，功率谱估计是一类重要的参数研究，功率谱估计的方法分为经典谱法和参数模型方法。参数模型方法是利用型号的先验知识，确定信号的模型，然后估计出模型的参数，以实现对信号的功率谱估计。根据wold 定理,AR 模型是比较常用的模型，根据Burg 算法等多种方法可以确定其参数。 关键词：功率谱估计；AR 模型；Burg 算法 随机信号的功率谱反映它的频率成分以及各成分的相对强弱, 能从频域上揭示信号的节律, 是随机信号的重要特征。因此, 用数字信号处理手段来估计随机信号的功率谱也是统计信号处理的基本手段之一。在信号处理的许多应用中, 常常需要进行谱估计的测量。例如, 在雷达系统中, 为了得到目标速度的信息需要进行谱测量; 在声纳系统中, 为了寻找水面舰艇或潜艇也要对混有噪声的信号进行分析。总之, 在许多应用领域中, 例如, 雷达、声纳、通讯声学、语言等领域, 都需要对信号的基本参数进行分析和估计, 以得到有用的信息, 其中, 谱分析就是一类最重要的参数研究。 1 功率谱估计简介 一个宽平稳随机过程的功率谱是其自相关序列的傅里叶变换，因此功率谱估计就等效于自相关估计。对于自相关各态遍历的过程，应有： )()()(121lim *k r n x k n x N N x N N n =? ?????++∞→∑-= 如果所有的)(n x 都是已知的，理论上功率谱估计就很简单了，只需要对其自相关序列取傅里叶变换就可以了。但是，这种方法有两个个很大的问题：一是不是所有的信号都是平稳信号，而且有用的数据量可能只有很少的一部分；二是数据中通常都会有噪声或群其它干扰信号。因此，谱估计就是用有限个含有噪声的观测值来估计)(jw x e P 。 谱估计的方法一般分为两类。第一类称为经典方法或参数方法，它首先由给定的数据估 计自相关序列)(k r x ，然后对估计出的)(?k r x 进行傅里叶变换获得功率谱估计。第二类称为非经典法，或参数模型法，是基于信号的一个随机模型来估计功率谱。非参数谱估计的缺陷是其频率分辨率低，估计的方差特性不好, 而且估计值沿频率轴的起伏甚烈，数据越长, 这一现象越严重。 为了改善谱分辨率，研究学者对基于模型的参数方法进行了大量研究。参数方法的第一步是对信号选择一个合适的模型，这种选择可能是基于有关信号如何产生的先验知识，也可能是多次试验后获得的结果。通常采用的模型包括AR 、MA 、ARMA 模型和谐波模型（噪声中含有复指数）。一旦模型选择好后，下一步就是计算模型的参数。最后将计算得到的参数带
功率谱估计及其MATLAB仿真 詹红艳 （201121070630控制理论与控制工程） 摘要:从介绍功率谱的估计原理入手分析了经典谱估计和现代谱估计两类估计方法的原理、各自特点及在Matlab中的实现方法。 关键词:功率谱估计;周期图法;AR参数法;Matlab Power Spectrum Density Estimation and the simulation in Matlab Zhan Hongyan （201121070630Control theory and control engineering） Abstract:Mainly introduces the principles of classical PSD estimation and modern PSD estimation,discusses the characteristics of the methods of realization in Matlab.Moreover,It gives an example of each part in realization using Matlab functions. Keywords:PSDPstimation,Periodogram method,AR Parameter method,Matlab 1引言 现代信号分析中,对于常见的具有各态历经的平稳随机信号,不可能用清楚的数学关系式来描述,但可以利用给定的N个样本数据估计一个平稳随机信号的功率谱密度叫做功率谱估计(PSD)。它是数字信号处理的重要研究内容之一。功率谱估计可以分为经典功率谱估计(非参数估计)和现代功率谱估计(参数估计)。 功率谱估计在实际工程中有重要应用价值,如在语音信号识别、雷达杂波分析、波达方向估计、地震勘探信号处理、水声信号处理、系统辨识中非线性系统识别、物理光学中透镜干涉、流体力学的内波分析、太阳黑子活动周期研究等许多领域,发挥了重要作用。 Matlab是MathWorks公司于1982年推出的一套高性能的数值计算和可视化软件,人称矩 阵实验室,它集数值分析、矩阵运算、信号处理和图形显示于一体,构成了一个方便的、界面友好的用户环境,成为目前极为流行的工程数学分析软件。也为数字信号处理进行理论学习、工程设计分析提供了相当便捷的途径。本文的仿真实验中,全部在Matlab6.5环境下调试通过;随机序列由频率不同的正弦信号加高斯白噪声组成。 2经典功率谱估计 经典功率谱估计是将数据工作区外的未知数据假设为零,相当于数据加窗。经典功率谱估计方法分为:相关函数法(BT法)、周期图法以及两种改进的周期图估计法即平均周期图法和平滑平均周期图法,其中周期图法应用较多,具有代表性。 1.1相关函数法(BT法) 该方法先由序列x(n)估计出自相关函数R(n),然后对R(n)进行傅立叶变换,便得到x(n)的功率谱估计。当延迟与数据长度相比很小时,可以有良好的估计精度。 Matlab代码示例1: Fs=500;%采样频率 n=0:1/Fs:1;
滨江学院 毕业论文（设计）题目非线性模型参数估计的遗传算法 院系大气与遥感系 专业测绘工程 学生姓名李兴宇 学号200923500** 指导教师王永弟 职称讲师 二Ｏ一三年五月二十日
- 目录- 摘要 (3) 关键词 (3) 1.引言 (3) 1.1 课题背景 (3) 1.2 国内外研究现状 (4) 1.3 研究的目的和意义 (4) 1.4 论文结构 (5) 2.遗传算法简介 (5) 2.1 遗传算法的起源 (5) 2.2 遗传算法的基本思想 (6) 2.2.1 遗传算法求最优解的一般步骤 (7) 2.2.2 用技术路线流程图形式表示遗传算法流程 (7) 2.3 遗传算法的基本原理及设计 (8) 2.3.1 适应度设计 (8) 2.3.2 遗传算子操作 (9) 3.遗传算法的应用实例 (9) 3.1 非线性模型参数估计 (10) 3.2 实例分析 (10) 4.结语 (12) 参考文献 (12) 英文题目 (14) - 1 -
- 2 - 致谢 (15)
非线性模型参数估计的遗传算法 李兴宇 南京信息工程大学滨江学院测绘工程专业，南京 210044 摘要：关于非线性模型计算中的参数估计是十分棘手的问题，为此常常将这样的问题转化成非线性优化问题解决，遗传算法作为一种具有强适应性的全局搜索方法而被频繁的应用于非线性系统参数估计的计算当中，本文介绍了遗传算法及其理论基础,阐述了遗传算法在非线性模型参数估计中的应用的起源和发展,引入实例说明了遗传算法在非线性模型参数估计的实际运用中的实现，并概述了基于遗传算法的非线性参数模型估计具体解算过程，将使用遗传算法得到的结果与其他算法的解算结果进行比较，结果表明：遗传算法是一种行之有效的搜索算法，能有效得到全局最优解，在今后的研究中值得推广。 关键词：遗传算法非线性模型参数估计应用 1.引言 1.1课题背景 当前科学技术的发展和研究已经进入了进入各个领域、多个学科互相交叉、互相渗透和互相影响的时代，生命科学的研究与工程科学的交叉、渗透和相互补充提高便是其中一个非常典型的例子，同时也表现出了近代科学技术发展的一个新的显著特点。遗传算法研究工作的蓬勃发展以及在各个领域的广泛应用正是体现了科学发展过程的的这一明显的特点和良好的趋势。 非线性科学是一门研究复杂现象的科学，涉及到社会科学、自然科学和工程技术等诸多领域，在测绘学的研究中，尤其是在测量平差模型的研究和计算过程中，大量引入的都是非线性函数方程模型，而对于非线性模型的解算，往往过程复杂。遗传算法的出现为研究工作提供了一种求解多模型、多目标、非线性等复杂系统的优化问题的通用方法和框架。 对于非线性系统的解算，传统上常用的方法是利用其中参数的近似值将非线性系统线性化，也就是线性近似，测绘学中通常称之为线性化，经过线性化之后，将其视为线性模型并利用线性模型的解算方法得到结果，这就很大程度的简化了解算步骤，减少了工作量，但同时会带来新的问题，运用这种传统方法得到的数据结果存在的误差较大、精度不足等问题。利用线性近似方法对非线性模型进行参数估计，精度往往取决于模型的非线性强度。 - 3 -
SPSS—非线性回归(模型表达式)案例解析 2011-11-16 10:56 由简单到复杂，人生有下坡就必有上坡，有低潮就必有高潮的迭起，随着SPSS 的深入学习，已经逐渐开始走向复杂，今天跟大家交流一下，SPSS非线性回归，希望大家能够指点一二！ 非线性回归过程是用来建立因变量与一组自变量之间的非线性关系，它不像线性模型那样有众多的假设条件，可以在自变量和因变量之间建立任何形式的模型非线性，能够通过变量转换成为线性模型——称之为本质线性模型，转换后的模型，用线性回归的方式处理转换后的模型，有的非线性模型并不能够通过变量转换为线性模型，我们称之为：本质非线性模型 还是以“销售量”和“广告费用”这个样本为例，进行研究，前面已经研究得出：“二次曲线模型”比“线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的趋势变化”，那么“二次曲线”会不会是最佳模型呢？ 答案是否定的，因为“非线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的变化趋势” 下面我们开始研究： 第一步：非线性模型那么多，我们应该选择“哪一个模型呢？” 1：绘制图形，根据图形的变化趋势结合自己的经验判断，选择合适的模型 点击“图形”—图表构建程序—进入如下所示界面：
点击确定按钮，得到如下结果：
放眼望去, 图形的变化趋势，其实是一条曲线，这条曲线更倾向于"S" 型曲线，我们来验证一下，看“二次曲线”和“S曲线”相比，两者哪一个的拟合度更高！ 点击“分析—回归—曲线估计——进入如下界面
在“模型”选项中，勾选”二次项“和”S" 两个模型，点击确定，得到如下结果： 通过“二次”和“S “ 两个模型的对比，可以看出S 模型的拟合度明显高于
常见非线性回归模型 1.简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通 过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无 法通过代换转化为线性回归模型。 柯布—道格拉斯生产函数模型 y AKL 其中L和K分别是劳力投入和资金投入, y是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。 对于联立方程模型,只要其中有一个方程是不能通过代换转化为线性,那么这个联立方程模型就是非线性的。 单方程非线性回归模型的一般形式为 y f(x1,x2, ,xk; 1, 2, , p) 2.可化为线性回归的曲线回归 在实际问题当中，有许多回归模型的被解释变量y与解释变量x之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。 （1）y 0 1e x （2）y 0 1x2x2p x p （3）y ae bx (4)y=alnx+b 对于（1）式，只需令x e x即可化为y对x是线性的形式y01x，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令x1=x,x2=x2,?,x p=x p,于是得到y关于x1,x2,?, x p 的线性表达式y 0 1x12x2 pxp 对与（3）式，对等式两边同时去自然数对数，得lnylnabx ,令 y lny, 0 lna, 1 b，于是得到y关于x的一元线性回归模型： y 0 1x。 乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为yt本身是异方差的，而lnyt是等方差的。加性误差项模型认为yt是等 方差的。从统计性质看两者的差异，前者淡化了y t值大的项（近期数据）的作用， 强化了y t值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则 对近期数据拟合得效果较好。 影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。 异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用 加权最小二乘。
非线性模型参数估计的EViews 操作 例3.5.2 建立中国城镇居民食品消费需求函数模型。根据需求理论，居民对食品的消费需求函数大致为: ()01,,f P P X Q =。 其中，Q 为居民对食品的需求量，X 为消费者的消费支出总额，P1为食品价格指数，P0为居民消费价格总指数。 表3.5.1 中国城镇居民消费支出及价格指数 单位：元 资料来源：《中国统计年鉴》（1990~2007） 估计双对数线性回归模型μββββ++++=031210n n n P L LnP X L Q L 对应的非线性模型： 3 21 1ββ βP P AX Q = 这里需要将等式右边的A 改写为0 e β。取0β，1β，2β，3β的初值均为1。
Eviews操作： 1、打开EViews，建立新的工作文档：File-New-Workfile，在Frequency选择Annual，在Start date输入“1985”，End date输入“2006”，确认OK。 2、输入样本数据：Object-New Object-Group，确认OK，输入样本数据。 图1 3、设置参数初始值：在命令窗口输入“param c(1) 1 c(2) 1 c(3) 1 c(4) 1”，回车确认。 4、非线性最小二乘法估计（NLS）：Proc-Make Equation，在NLS估计的方程中写入Q=EXP(C(1))*X^C(2)*P1^C(3)*P0^C(4)，方程必须写完整，不能写成Q C(1) X P1 P0。确定输出估计结果：
图2 NLS注意事项： 1).参数初始值: 如果参数估计值出现分母为0等情况将导致错误，解决办法是：手工设定参数的初始值及范围，比如生产函数中的c(2)肯定是介于0-1之间的数字。 eviews6.0中并没有start 的选项，只有iteration的次数和累进值得选择。只能通过param c(1) 0.5 c(2) 0.5来设置。 2).迭代及收敛 eviews用Gauss Seidel迭代法求参数的估计值。迭代停止的法则：基于回归函数或参数在每次迭代后的变化率，当待估参数的变化百分比的最大值小于事先给定的水平时，就会停止迭代。当迭代次数到了迭代的最大次数时也会停止，或者迭代过程中发生错误也会停止。
参数法功率谱估计 一、信号的产生 （一）信号组成 在本实验中，需要事先产生待估计的信号，为了使实验结果较为明显，我产生了由两个不同频率的正弦信号（频率差相对较大）和加性高斯白噪声组成的信号。 （二）程序 N=1024;n=0:N-1; xn=2*cos(2*pi*0.2*n)+ cos(2*pi*0.213*n)+randn(1,1024); 这样就产生了加有白噪声的两个正弦信号 其波形如下
0100200300400500600 -8-6 -4 -2 2 4 6 8 10 (a) 两个正弦信号与白噪声叠加的时域波形 二、参数模型法功率谱估计 （一）算法原理简介 1．参数模型法是现代谱估计的主要内容，思路如下： ① 假定所研究的过程)(n x 是由一个白噪声序列)(n 激励一个因果稳定的可逆线性系统)(z H 的输出； ② 由已知的)(n x ，或其自相关函数)(m r x 估计)(z H 的参数； ③ 由)(z H 的参数来估计)(n x 的功率谱。 2．自回归模型，简称AR 模型，它是一个全极点的模型。“自回归”的含义是：该模型现在的输出是现在的输入和过去p 个输出的加权和。此模型可以表现
为以下三式：
① ∑=+--=p k k n u k n x a n x 1 )()()(； ② ∑=-+==p k k k z a z A z H 111)(1)(； ③ 212 1)(∑=-+=p k jwk k jw x e a e P σ。 3．AR 模型的正则方程建立了参数k a 和)(n x 的自相关函数的关系，公式如下： =)(m r x ∑=--p k x k k m r a 1)( 1≥m 时，=)(m r x 21)(σ+-∑=k r a p k x k 0=m 时。 （二）两种AR 模型阶次的算法 1．Yule-Walker 算法(自相关法) （1）算法主要思想 Yule-Walker 算法通过解Yule-Walker 方程获得AR 模型参数。从低阶开始递推，直到阶次p ，给出了在每一个阶次时的所有参数。公式如下： ① 11 11/])()()([--=-∑+--=m m k x x m m m r k m r k a k ρ； ② )()()(11k m a k k a k a m m m m -+=--；
第7章 非线性模型参数估值 7.1 引言 数学模型是观测对象各影响因素相互关系的定量描述。在获得实验数据并做了整理之后，就要建立数学模型。这一工作在科学研究中有着十分重要的意义。 人们选用的模型函数可以是经验的，可以是半经验的，也可以是理论的。模型函数选定之后，需要对其中的参数进行估值并确定该估值的可靠程度。对于线性模型，待求参数可用线性最小二乘法求得，即用前一章中介绍的确定线性回归方程的方法。对于非线性模型，通常是通过线性化处理而化为线性模型，用线性最小二乘法求出新的参数，从而再还原为原参数。这种方法在处理经验模型时，简便易行，具有一定的实用价值。但要注意到，这样做是使变换后的新变量y '的残差平方和(即剩余平方和)最小，这并不能保证做到使原变量y 的残差平方和也达最小值。因此，得到的参数估计值就不一定是最佳的估计值。可见在求理论模型的参数时，这种线性化的方法尚有其不足之处。此外，还有些数学模型无法线性化，所以用线性化的方法是行不通的。为此，需要一种对非线性模型通用的(不管是经验模型还是理论模型，不管这个模型能否线性化)，能够得到参数最佳估计值的参数估计方法。 在工程中，特别是在化学工程中的数学模型大多是非线性、多变量的。设y ?为变量x 1，x 2，…，x p ，的函数，含有m 个参数b 1，b 2，…，b m ，则非线性模型的一般形式可表示为: =y ?f （x 1，x 2，…，x p ；b 1，b 2，…，b m ） (7.1) 或写为 ),(?b x f y = (7.2) 式中x 为p 维自变量向量，b 为m 维参数向量。 设给出n 组观测数据 x 1 ，x 2 ，… ，x n y 1 ，y 2 ，… ，y n 我们的目的是由此给出模型式(7.2)中的参数b 的最佳估计值。可以证明，这个最佳估计值就是最小二乘估计值。 按最小二乘法原理，b 应使Q 值为最小，即 ∑==-=n i i i y y Q 12min )?( 或写成 ∑==-=n i i i f y Q 1 2min )],([b x (7.3) 现在的问题是根据已知的数学模型和实验数据,求出使残差平方和最小,即 目标函数式(7.3)取极小值时的模型参数向量b 。这显然是一个最优化的数学问题,可以采用逐次逼近法求解。这种处理方法实质上是逐次线性化法或某种模式的搜索法。在下面各节中将介绍几个适用方法。
参数法功率谱估计 一、 信号的产生 （一）信号组成 在本实验中，需要事先产生待估计的信号，为了使实验结果较为明显，我产生了由两个不同频率的正弦信号（频率差相对较大）和加性高斯白噪声组成的信号。 （二）程序 N=1024;n=0:N-1; xn=2*cos(2*pi*0.2*n)+ cos(2*pi*0.213*n)+randn(1,1024); 这样就产生了加有白噪声的两个正弦信号 其波形如下 0100200300400500600 -8 -6-4-202468 10(a) 两个正弦信号与白噪声叠加的时域波形
二、参数模型法功率谱估计 （一）算法原理简介 1．参数模型法是现代谱估计的主要内容，思路如下： ① 假定所研究的过程)(n x 是由一个白噪声序列)(n ω激励一个因果稳定的可逆线性系统)(z H 的输出； ② 由已知的)(n x ，或其自相关函数)(m r x 估计)(z H 的参数； ③ 由)(z H 的参数来估计)(n x 的功率谱。 2．自回归模型，简称AR 模型，它是一个全极点的模型。“自回归”的含义是：该模型现在的输出是现在的输入和过去p 个输出的加权和。此模型可以表现为以下三式： ① ∑=+--=p k k n u k n x a n x 1)()()(； ② ∑=-+== p k k k z a z A z H 111) (1 )(； ③ 2 12 1)(∑=-+= p k jwk k jw x e a e P σ。 3．AR 模型的正则方程建立了参数k a 和)(n x 的自相关函数的关系，公式如下： =)(m r x ∑=--p k x k k m r a 1 )( 1≥m 时，=)(m r x 21 )(σ+-∑=k r a p k x k 0=m 时。
EViews非线性模型参数估计方法步骤 1.新建EViews工作区，并将时间序列X、P1和P0导入到工作区； 2.设定参数的初始值全部为1，其方法是在工作区中其输入下列命令 并按回车键 param c(1) 1 c(2) 1 c(3) 1 c(4) 1 3.估计非线性模型参数，其方法是在工作区中其输入下列命令并按 回车键 nls q=exp(c(1))*x^c(2)*p1^c(3)*p0^c(4) 4.得到结果见table01（91页表3. 5.4结果）（案例一结束） Dependent Variable: Q Method: Least Squares Date: 03/29/15 Time: 21:44 Sample: 1985 2006 Included observations: 22 Convergence achieved after 9 iterations Q=EXP(C(1))*X^C(2)*P1^C(3)*P0^C(4) Coefficient Std. Error t-Statistic Prob. C(1) 5.567708 0.083537 66.64931 0.0000 C(2) 0.555715 0.029067 19.11874 0.0000 C(3) -0.190154 0.143823 -1.322146 0.2027 C(4) -0.394861 0.159291 -2.478866 0.0233 R-squared 0.983631 Mean dependent var 1830.000 Adjusted R-squared 0.980903 S.D. dependent var 365.1392 S.E. of regression 50.45954 Akaike info criterion 10.84319 Sum squared resid 45830.98 Schwarz criterion 11.04156 Log likelihood -115.2751 Hannan-Quinn criter. 10.88992 Durbin-Watson stat 0.672163 （92页表3.5.5结果）（案例二过程） 5.新建EViews工作区，并将时间序列X、P1和P0导入到工作区；
非线性系统模型参数估计的算法模型 摘要：针对非线性系统模型的多样性，提出了适用于多种非 线性模型的基于粒子群优化算法的参数估计方法。计算结果表明，粒子群优化算法是非线性系统模型参数估计的有效工具。 关键词：粒子群优化算法；非线性系统；参数估计；优化abstract： aiming at the diversity of nonlinear system model, it is proposed in this article a parameter estimation method based on particle group optimization algorithm that is applicable to a variety of nonlinear models. the result shows that the particle group optimization algorithm for parameter estimation of nonlinear system model is an effective tool. key words： particle group optimization algorithm；nonlinear system； parameter estimation； optimization 0 引言 非线性系统广泛地存在于人们的生产生活中，但是，目前我们对非线性系统的认识还不够深入，不能像线性系统那样，把所涉及的模型全部规范化，从而使辩识方法也规范化。非线性模型的表达方式相对比较复杂，目前还很少有人研究各种表达方式是否存在等效关系，因此，暂时还没有找到对所有非线性模型都适用的参数模型估计方法[1]。如果能找到一种不依赖于非线性模型的表达方式的 参数估计方法，那么，也就找到了对一般非线性模型系统进行参数
《预测》1997年第1期 ?理论与方法研究? 一般非线性预测模型参数优化的数值方法Ξ 金菊良 杨晓华 储开凤 郦建强 (河海大学 210098) (南京水文水资源所 210024) 摘 要 本文提出了处理一般非线性预测模型参数优化问题的一种通用数值方法——加速基 因算法。该法与其他常用方法的计算结果比 较,优化效果均好于传统方法。 关键词 基因算法 非线性预测模型 参数优化 1 引言 非线性预测模型参数优化(估计)的传统方法存在两方面的不足,一是对模型结构(如可线性化、可微)作了限定[1,2],二是方法受参数优化准则形式制约(如目标规划法、松驰算法)[3],而对实际预测环境、预测目标缺乏足够的考虑,致使其适用性不强,影响了实际预测效果。基于自然选择和自然基因机制的基因算法(Genetic A lgo rithm,简称GA)突破了对模型结构是否线性、连续、可微等各种限制,同时可不受优化准则形式、优化参数数目、约束条件等的束缚,直接在优化准则值的引导下进行全局自适应参数优化,简便实用,是目前处理参数优化问题的一种通用的数值方法。这种方法已引起工程界的广泛应用和研究[4,5]。 我们在应用GA时发现,GA对各种实际预测模型参数变化区间的大小变化的适应能力较差,计算量大,算法自身参数设置技术目前尚无明确准则指导。但利用优秀个体逐步调整模型参数变化区间,可形成一种称为加速基因算法(A ccelerati on Genetic A lgo rithm,简称A GA)的新方法。经大量数值试验和实际应用,表明A GA对GA有明显改进。下面给出A GA的原理、步骤、算法参数设置准则。 2 加速基因算法的原理、步骤及其参数设置 不失一般性,设一般非线性预测模型为p-1阶多项式,模型参数优化准则为极小化下式 f=6m i=1 c1+c2x i+…+c p x p-1i-y i q(1)式中,{c j}为p个待优化参数;{(x i,y i)}为m对自变量、因变量的观测数据;任意实常数q为1时即为最小一乘准则,为2时为最小二乘准则,等等,视实际预测要求而定。 加速基因算法包括如下8步。 步1:模型参数变化空间的离散和二进制编码。设编码长度为l,把模型每个参数的变化区间等分成2l-1个子区间,于是模型参数变化空间被离散成(2l)p个参数格网点。GA中称每个格网点为个体,它对应模型p个参数的一种可能取值状态,并用p个l二进制数表示。这样,模型p个参数的取值状态、格网点、p个二进制数建立了一一对应关系。算法的模型参数优化工作将主要对这些二进制数进行操作运算。 步2:初始父代个体群的随机生成。从上述(2l)p个格网点中均匀随机选取n个点作为初始父代个体群。 步3:父代个体的适应能力评价。把第i个个体代入式(1)得相应的优化准则值f i,f i越小则该个体的适应能力越强。 步4:父代个体的概率选择。把已有父代个体按优化准则值f i从小到大排序。称排序后最前面的几个个体为优秀个体(群)。构造与f i值成反比的函数p i且满足p i>0和p1+p2+…p n=1。从这些父代个体中以概率p i选择第i个个体,共选择两组各n个个体。 步5:父代个体的杂交。由上得到的两组个体两两配对成为n对双亲。将每对双亲的二进制数的任意一段值互换,得到两组子代个体。 步6:子代个体的变异。任取上步中的一组子代个体,将它们的二进制数的任意一段值依某概率(即变异率)进行翻转(原值为0的变为1,反之变为0)。 步7:进化迭代。由上步得到的n个子代个体作为新的父代,算法转入步3进入下一次进化过程,重新评价、选择、杂交和变异,如此循环往复,使优秀个体逼近最优点。 ? 9 4 ? Ξ收稿日期:1996-11-11
功率谱估计方法的比较 摘要： 本文归纳了信号处理中关键的一种分析方法, 即谱估计方法。概述了频谱估计中的周期图法、修正的协方差法和伯格递推法的原理，并且对此三种方法通过仿真做出了对比。 关键词：功率谱估计；AR 模型；参数 引言： 谱估计是指用已观测到的一定数量的样本数据估计一个平稳随机信号的谱。由于谱中包含了信号的很多频率信息，所以分析谱、对谱进行估计是信号处理的重要内容。谱估计技术发展 渊源很长，它的应用领域十分广泛，遍及雷达、声纳、通信、地质勘探、天文、生物医学工程等众多领域，其内容、方法都在不断更新，是一个具有强大生命力的研究领域。谱估计的理论和方法是伴随着随机信号统计量及其谱的发展而发展起来的，最早的谱估计方法是建 立在基于二阶统计量, 即自相关函数的功率谱估计的方法上。功率谱估计的方法经历了经典谱估计法和现代谱估计法两个研究历程，在过去及现在相当长一段时间里，功率谱估计一直占据着谱估计理论里的核心位置。经典谱估计也成为线性谱估计，包括BT 法、周期图法。现代谱估计法也称为非线性普估计，包括自相关法、修正的协方差法、伯格（Burg ）递推法、特征分解法等等。 原理： 经典谱估计方法计算简单，其主要特点是谱估计与任何模型参数无关，是一类非参数化的方法。它的主要问题是：由于假定信号的自相关函数在数据的观测区间以外等于零，因此估计出来的功率谱很难与信号的真实功率谱相匹配。在一般情况下，经典法的渐进性能无法给出实际功率谱的一个满意的近似，因而是一种低分辨率的谱估计方法。现代谱估计方法使用参数化的模型，他们统称为参数化功率谱估计，由于这类方法能够给出比经典法高得多的频率分辨率，故又称为高分辨率方法。下面分别介绍周期图法、修正的协方差法和伯格递推法。修正的协方差法和伯格递推法采用的模型均为AR 模型。 （1）周期图法 周期图法是先估计自相关函数, 然后进行傅里叶变换得到功率谱。假设随机信号x(n)只观测到一段样本数据，n=0, 1, 2, …, N -1。根据这一段样本数据估计自相关函数，如公式（1） 对（1）式进行傅里叶变换得到（2）式。 ??? ? ????+=∑-=∞ →2 j j e )(121lim )e (N N n n N xx n x N E P ωω ∑--=+= 1||0 *) ()(1 )(?m N n xx m n x n x N m r
MATLAB中AR模型功率谱估计中AR阶次估计的实现 （最近看了几个关于功率谱的问题，有关AR模型的谱估计，在此分享一下，希望大家不吝指正） （声明：本文内容摘自我的毕业论文——心率变异信号的预处理及功率谱估计） （按：AR模型功率谱估计是对非平稳随机信号功率谱估计的常用方法，但是其模型阶次的估计，除了HOSA工具箱里的arorder函数外，没有现成的函数可用，arorder函数是基于矩阵SVD分解的阶次估计方法，为了比较各种阶次估计方法的区别，下面的函数使用了'FPE', 'AIC', 'MDL', 'CAT'集中准则一并估计，并采用试验方法确定那一个阶次更好。） ………………………………以上省略…………………………………………………………………… 假设原始数据序列为x，那么n阶参数使用最小二乘估计在MATLAB中实现如下： 复制内容到剪贴板 代码: Y = x; Y(1:n) = []; m = N-n; X = [];% 构造系数矩阵 for i = 1:m for j = 1:n X(i,j) = xt(n+i-j); end end beta = inv(X'*X)*X'*Y'; beta即为用最小二乘法估计出的模型参数。 此外，还有估计AR模型参数的Yule-Walker方程法、基于线性预测理论的Burg算法和修正的协方差算法等[26]。相应的参数估计方法在MATLAB中都有现成的函数，比如aryule、arburg以及arcov等。 4.3.3 AR模型阶次的选择及实验设计
文献[26]中介绍了五种不同的AR模型定阶准则，分别为矩阵奇异值分解（Singular Value Decomposition, SVD）定阶法、最小预测定误差阶准则 （Final Prediction Error Criterion, FPE）、AIC定阶准则（Akaika’s Information theoretic Criterion, AIC）、MDL定阶准则以及CAT定阶准则。文献[28]中还介绍了一种BIC定阶准则。SVD方法是对Yule-Walker方 程中的自相关矩阵进行SVD分解来实现的，在MATLAB工具箱中arorder函数就是使用的该算法。其他五种算法的基本思想都是建立目标函数，阶次估计的标准是使目标函数最小化。 以上定阶准则在MATLAB中也可以方便的实现，下面是本文实现FPE、AIC、MDL、CAT定阶准则的程序（部分）： 复制内容到剪贴板 代码: for m = 1:N-1 …… % 判断是否达到所选定阶准则的要求 if strcmp(criterion,'FPE') objectfun(m+1) = (N+(m+1))/(N-(m+1))*E(m+1); elseif strcmp(criterion,'AIC') objectfun(m+1) = N*log(E(m+1))+2*(m+1); elseif strcmp(criterion,'MDL') objectfun(m+1) = N*log(E(m+1))+(m+1)*log(N); elseif strcmp(criterion,'CAT') for index = 1:m+1 temp = temp+(N-index)/(N*E(index)); end objectfun(m+1) = 1/N*temp-(N-(m+1))/(N*E(m+1)); end if objectfun(m+1) >= objectfun(m) orderpredict = m; break; end end orderpredict变量即为使用相应准则预测的AR模型阶次。