25. 非线性回归 现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实际。 对变量间非线性相关问题的曲线拟合，处理的方法主要有： （1）首先确定非线性模型的函数类型，对于其中可线性化问题则通过变量变换将其线性化，从而归结为前面的多元线性回归问题来解决； （2）若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可用多项式回归来拟合曲线； （3）若变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，则进行数值迭代的非线性回归分析。 （一）可变换为线性的非线性回归
在很多场合，可以对非线性模型进行线性化处理，尤其是可变换为线性的非线性回归，运用最小二乘法进行推断，对线性化后的线性模型，可以应用REG过程步进行计算。 例1 有实验数据如下： 试分别采用指数回归（y =ae bx）方法进行回归分析。 代码： data exam25_1; input x y; cards; 1.1 109.95 1.2 40.45 1.3 20.09 1.4 24.53 1.5 11.02 1.6 7.39 1.7 4.95 1.8 2.72 1.9 1.82 2 1.49 2.1 0.82 2.2 0.3 2.3 0.2 2.4 0.22 ; run; proc sgplot data = exam25_1; scatter x = x y = y; run; proc corr data = exam25_1; var x y; run;
data new1; set exam25_1; v = log(y); run; proc sgplot data = new1; scatter x = x y = v; title'变量代换后数据'; run; proc reg data = new1; var x v; model v = x; print cli; title'残差图'; plot residual. * predicted.; run; data new2; set exam25_1; y1 = 14530.28*exp(-4.73895*x); run; proc gplot data = new2; plot y*x=1 y1*x=2 /overlay; symbol v=dot i=none cv=red; symbol2i=sm color=blue; title'指数回归图'; 运行结果：
SPSS—非线性回归(模型表达式)案例解析 2011-11-16 10:56 由简单到复杂，人生有下坡就必有上坡，有低潮就必有高潮的迭起，随着SPSS 的深入学习，已经逐渐开始走向复杂，今天跟大家交流一下，SPSS非线性回归，希望大家能够指点一二！ 非线性回归过程是用来建立因变量与一组自变量之间的非线性关系，它不像线性模型那样有众多的假设条件，可以在自变量和因变量之间建立任何形式的模型非线性，能够通过变量转换成为线性模型——称之为本质线性模型，转换后的模型，用线性回归的方式处理转换后的模型，有的非线性模型并不能够通过变量转换为线性模型，我们称之为：本质非线性模型 还是以“销售量”和“广告费用”这个样本为例，进行研究，前面已经研究得出：“二次曲线模型”比“线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的趋势变化”，那么“二次曲线”会不会是最佳模型呢？ 答案是否定的，因为“非线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的变化趋势” 下面我们开始研究： 第一步：非线性模型那么多，我们应该选择“哪一个模型呢？” 1：绘制图形，根据图形的变化趋势结合自己的经验判断，选择合适的模型 点击“图形”—图表构建程序—进入如下所示界面：
点击确定按钮，得到如下结果：
放眼望去, 图形的变化趋势，其实是一条曲线，这条曲线更倾向于"S" 型曲线，我们来验证一下，看“二次曲线”和“S曲线”相比，两者哪一个的拟合度更高！ 点击“分析—回归—曲线估计——进入如下界面
在“模型”选项中，勾选”二次项“和”S" 两个模型，点击确定，得到如下结果： 通过“二次”和“S “ 两个模型的对比，可以看出S 模型的拟合度明显高于
滨江学院 毕业论文（设计）题目非线性模型参数估计的遗传算法 院系大气与遥感系 专业测绘工程 学生姓名李兴宇 学号200923500** 指导教师王永弟 职称讲师 二Ｏ一三年五月二十日
- 目录- 摘要 (3) 关键词 (3) 1.引言 (3) 1.1 课题背景 (3) 1.2 国内外研究现状 (4) 1.3 研究的目的和意义 (4) 1.4 论文结构 (5) 2.遗传算法简介 (5) 2.1 遗传算法的起源 (5) 2.2 遗传算法的基本思想 (6) 2.2.1 遗传算法求最优解的一般步骤 (7) 2.2.2 用技术路线流程图形式表示遗传算法流程 (7) 2.3 遗传算法的基本原理及设计 (8) 2.3.1 适应度设计 (8) 2.3.2 遗传算子操作 (9) 3.遗传算法的应用实例 (9) 3.1 非线性模型参数估计 (10) 3.2 实例分析 (10) 4.结语 (12) 参考文献 (12) 英文题目 (14) - 1 -
- 2 - 致谢 (15)
非线性模型参数估计的遗传算法 李兴宇 南京信息工程大学滨江学院测绘工程专业，南京 210044 摘要：关于非线性模型计算中的参数估计是十分棘手的问题，为此常常将这样的问题转化成非线性优化问题解决，遗传算法作为一种具有强适应性的全局搜索方法而被频繁的应用于非线性系统参数估计的计算当中，本文介绍了遗传算法及其理论基础,阐述了遗传算法在非线性模型参数估计中的应用的起源和发展,引入实例说明了遗传算法在非线性模型参数估计的实际运用中的实现，并概述了基于遗传算法的非线性参数模型估计具体解算过程，将使用遗传算法得到的结果与其他算法的解算结果进行比较，结果表明：遗传算法是一种行之有效的搜索算法，能有效得到全局最优解，在今后的研究中值得推广。 关键词：遗传算法非线性模型参数估计应用 1.引言 1.1课题背景 当前科学技术的发展和研究已经进入了进入各个领域、多个学科互相交叉、互相渗透和互相影响的时代，生命科学的研究与工程科学的交叉、渗透和相互补充提高便是其中一个非常典型的例子，同时也表现出了近代科学技术发展的一个新的显著特点。遗传算法研究工作的蓬勃发展以及在各个领域的广泛应用正是体现了科学发展过程的的这一明显的特点和良好的趋势。 非线性科学是一门研究复杂现象的科学，涉及到社会科学、自然科学和工程技术等诸多领域，在测绘学的研究中，尤其是在测量平差模型的研究和计算过程中，大量引入的都是非线性函数方程模型，而对于非线性模型的解算，往往过程复杂。遗传算法的出现为研究工作提供了一种求解多模型、多目标、非线性等复杂系统的优化问题的通用方法和框架。 对于非线性系统的解算，传统上常用的方法是利用其中参数的近似值将非线性系统线性化，也就是线性近似，测绘学中通常称之为线性化，经过线性化之后，将其视为线性模型并利用线性模型的解算方法得到结果，这就很大程度的简化了解算步骤，减少了工作量，但同时会带来新的问题，运用这种传统方法得到的数据结果存在的误差较大、精度不足等问题。利用线性近似方法对非线性模型进行参数估计，精度往往取决于模型的非线性强度。 - 3 -
第4卷第1期2004年2月 交通运输系统工程与信息 Jo ur nal of T r anspo rt atio n Sy stems Eng ineer ing and Infor matio n T echno lo gy Vo l.4No.1Febr uar y 2004 文章编号:1009-6744(2004)01-0071-05 LOGIT 模型参数估计方法研究 金 安 (广州市规划局交通研究所,广州510030) 摘要: 离散选择模型,特别是L OG IT 模型在交通需求模型建立过程中,应用非常广泛,许多实际的交通政策问题都涉及到方式选择,然而L OG IT 模型的建立非常困难,尤其是效用函数及参数估计.本文重点就L O GIT 模型参数估计的有关问题进行讨论,特别是运用统计方法如何对效用函数的变量进行选取及比较不同形式效用函数. 关键词: L O GI T 模型;参数估计;t 检验;似然率检验中图分类号: N 945.12 On Methodology of Parameter Estimation in L OGIT Model JIN An (Instit ute o f T r aspo r tatio n,G uang zho u P la nning Bur eau,Guang zho u 510030,China ) Abstract : Disagg reg ate choice mo del ,especially L O GIT m odel ,hav e been used w idely in dev elo pment of tr avel demand mo del ,many pr actical tr anspor tation policy issues ar e concerned w ith mode choice.But pro cedure o f development of L OG IT mo del is difficult,especially mo del calibr atio n and for m of utility functio n.T his paper discuss r elat ional pr oblems o n development of L OG IT model,P articular emphasis is placed o n pr actical pr ocedur es for selection the co rr ect ex planato ry var iables and on compar ing differ ent ver sions of utility functio n using st atistical metho ds.Keywords : L OG IT mo del;par ameter est imation;t -test;likeliho od test CLC number : N 945.12 收稿日期:2003-11-24 金安:广州市规划局交通研究所工程师,工学硕士.研究方向为交通规划及交通需求模型. 1 引 言 实践过程中,LOGIT 模型效用函数不可能预先知道,模型师在建立LOGIT 模型最初阶段几乎没有效用函数任何信息,最多认为在效用函数中会有哪些可能的变量,但也不能确定所有的变量是否都需要,更不可能知道哪些变量需要进行函数变换或效用函数参数的具体数值是多少.这些问题只有通过拟合合适的观测数据,并检验这些模型来确定哪一个最能够描述观测数据.本文主要介绍拟合和测试LOGIT 模型方法. 2 数据的要求 估计和检验过程的第一步是选择合适的观测数据,用于建立LOGIT 方式选择模型所需的数据有: (1)对个体实际方式选择行为的观测.例如, 要建立工作出行方式选择模型,需要对上班出行者方式选择进行观测的数据. (2)所有被选择和没有被选择方式的相关属性值.这些属性可能作为模型中的变量.例如,假设总出行时间被认为是模型中的一个变量,则对于样本中每一个个体而言,所需数据包括每一种可能方式的总出行时间.如果属性数据仅包含被选择方式,LOGIT 模型就不能建立. (3)任何可能作为变量的个体属性值.例如,汽车拥有水平,则需要样本中每个个体家庭汽车拥有水平数. 3 模型的设定 所需数据收集后,下一步工作是设定一种或多种效用函数形式.设定步骤包括确定效用函数中变量、属性的函数变换以及效用函数的形式.这个步
Mann-Kendall法(非参数检验方法)程序 统计知识2009-02-02 13:47:51 阅读986 评论1 字号：大中小订阅 Mann-Kendall法(非参数检验方法)用于气候突变检测 program main implicit none c This is a program for testing climate jump i by use of c 'Mann-Kendall test'. c------------------------------------------------- integer,parameter :: iy=100 integer i real x(iy),u1(iy),u2(iy) c-------Read Data c------- open(31,file='d: mk.txt ',form='formatted') do i=1,50 x(i)=0.5 x(i+50)=-0.5 end do c-------Mann-Kendall test method call MKtest (iy,x,u1,u2) c------ do i=1,iy write(31,10)i,x(i),u1(i),u2(i) end do 10 format(1x,i4,4f8.2) stop end !c------------------------------------------------------------------ subroutine MKtest(m,x,u1,u2) dimension x(m),u1(m),u2(m) dimension xr(m),ur(m) !work array do i=1,m xr(i)=x(m+1-i) end do call MKrank(m,x,u1) call MKrank(m,xr,ur) do i=1,m u2(i)=-ur(m+1-i) enddo return end !c------------------------------------------------------------------
非线性回归分析常见曲 线及方程 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】
非线性回归分析 回归分析中，当研究的因果关系只涉及和一个时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以借助数学手段化为线性回归问题处理 两个现象变量之间的相关关系并非线性关系，而呈现某种非线性的曲线关系，如：双曲线、二次曲线、三次曲线、幂函数曲线、指数函数曲线(Gompertz)、S型曲线(Logistic) 对数曲线、指数曲线等，以这些变量之间的曲线相关关系，拟合相应的回归曲线，建立非线性回归方程，进行回归分析称为非线性回归分析 常见非线性规划曲线 1.双曲线1b a y x =+ 2.二次曲线 3.三次曲线 4.幂函数曲线 5.指数函数曲线(Gompertz) 6.倒指数曲线y=a / e b x其中a>0， 7.S型曲线(Logistic) 1 e x y a b-= + 8.对数曲线y=a+b log x,x>0
9.指数曲线y=a e bx其中参数a>0 1．回归： （1）确定回归系数的命令 [beta，r，J]=nlinfit（x,y,’model’,beta0） （2）非线性回归命令：nlintool（x，y，’model’, beta0，alpha）2．预测和预测误差估计： [Y，DELTA]=nlpredci（’model’, x，beta，r，J） 求nlinfit 或lintool所得的回归函数在x处的预测值Y及预测值的显着性水平为1-alpha的置信区间Y，DELTA. 例2 观测物体降落的距离s与时间t的关系，得到数据如下表，求s 关于t的回归方程2 ?ct =. + bt a s+ 解： 1. 对将要拟合的非线性模型y=a/e b x，建立M文件如下： function yhat=volum(beta,x) yhat=beta(1)*exp(beta(2)./x); 2．输入数据： x=2:16; y=[ 10 ];
非线性模型参数估计的EViews 操作 例3.5.2 建立中国城镇居民食品消费需求函数模型。根据需求理论，居民对食品的消费需求函数大致为: ()01,,f P P X Q =。 其中，Q 为居民对食品的需求量，X 为消费者的消费支出总额，P1为食品价格指数，P0为居民消费价格总指数。 表3.5.1 中国城镇居民消费支出及价格指数 单位：元 资料来源：《中国统计年鉴》（1990~2007） 估计双对数线性回归模型μββββ++++=031210n n n P L LnP X L Q L 对应的非线性模型： 3 21 1ββ βP P AX Q = 这里需要将等式右边的A 改写为0 e β。取0β，1β，2β，3β的初值均为1。
Eviews操作： 1、打开EViews，建立新的工作文档：File-New-Workfile，在Frequency选择Annual，在Start date输入“1985”，End date输入“2006”，确认OK。 2、输入样本数据：Object-New Object-Group，确认OK，输入样本数据。 图1 3、设置参数初始值：在命令窗口输入“param c(1) 1 c(2) 1 c(3) 1 c(4) 1”，回车确认。 4、非线性最小二乘法估计（NLS）：Proc-Make Equation，在NLS估计的方程中写入Q=EXP(C(1))*X^C(2)*P1^C(3)*P0^C(4)，方程必须写完整，不能写成Q C(1) X P1 P0。确定输出估计结果：
图2 NLS注意事项： 1).参数初始值: 如果参数估计值出现分母为0等情况将导致错误，解决办法是：手工设定参数的初始值及范围，比如生产函数中的c(2)肯定是介于0-1之间的数字。 eviews6.0中并没有start 的选项，只有iteration的次数和累进值得选择。只能通过param c(1) 0.5 c(2) 0.5来设置。 2).迭代及收敛 eviews用Gauss Seidel迭代法求参数的估计值。迭代停止的法则：基于回归函数或参数在每次迭代后的变化率，当待估参数的变化百分比的最大值小于事先给定的水平时，就会停止迭代。当迭代次数到了迭代的最大次数时也会停止，或者迭代过程中发生错误也会停止。
第七章 参数估计 第一节 基本概念 1、概念网络图 {}???? ??? ?? ???????????????????→??????单正态总体的区间估计区间估计一致性有效性无偏性估计量的评选标准极大似然估计矩估计点估计从样本推断总体
2、重要公式和结论
例7．1：设总体),(~b a U X ，求对a, b 的矩估计量。 例7．2：设n x x x ,,,,21 是总体的一个样本，试证 （1）;21 10351321x x x ++= ∧ μ （2）;12541313212x x x ++=∧μ （3）.12 143313213x x x -+=∧μ 都是总体均值u 的无偏估计，并比较有效性。 例7．3：设n x x x ,,,,21 是取自总体),(~2 σμN X 的样本，试证 ∑=--=n i i x x n S 1 22 )(11 是2 σ的相合估计量。
第二节 重点考核点 矩估计和极大似然估计；估计量的优劣；区间估计 第三节 常见题型 1、矩估计和极大似然估计 例7．4：设0),,0(~>θθU X ，求θ的最大似然估计量及矩估计量。 例7．5：设总体X 的密度函数为 ?????≥=--. , 0,1)(/)(其他μθ θμx e x f x 其中θ>0, θ,μ为未知参数，n X X X ,,,21 为取自X 的样本。试求θ,μ的极大似然估计量。 2、估计量的优劣 例7．6：设n 个随机变量n x x x ,,,21 独立同分布， ,)(11,1,)(1 22 12 1∑∑==--===n i i n i i x x n S x n x x D σ 则 （A ）S 是σ的无偏估计量； （B ）S 是σ的最大似然估计量； （C ）S 是σ的相合估计量； （D ）x S 与2 相互独立。 例7．7：设总体X 的密度函数为 ?????<<-=, , 0,0),(6)(3 其他θθθx x x x f n X X X ,,,21 是取自X 的简单随机样本。 （1） 求θ的矩估计量∧ θ；
第七章非参数检验 1、为分析不同年龄段人群对某商品满意程度的异同，进行随机调查收集到以下数据：请选择恰当的非参数检验方法，以恰当形式组织上述数据，分析不同年龄段人群对该商品满意程度的分布状况是否一致。 原假设:不同年龄段人群对该商品满意程度的分布无显著差异。 步骤：建立SPSS数据数据→加权个案→对频次进行加权→分析→非参数检验→旧对话框→两个独立样本→把年龄段导入分组变量、满意程度导入检验变量列表→确定 表7-1 检验统计量a 满意程度 最极端差别绝对值.121 正.121 负.000 Kolmogorov-Smirnov Z 2.217 渐近显著性(双侧) .000 a. 分组变量: 年龄段 分析：从上表中可以看出，在显著水平为0.05下得到的sig值均为0.00<0.05，故拒绝原假设，即认为不同年龄段人群对该商品满意程度的分布存在显著差异。 2、利用习题二第6题数据，选择恰当的非参数检验方法，分析本次存款金额的总体分布与正态分布是否存在显著差异。 原假设：本次存款金额的总体分布与正态分布无显著差异 步骤：分析→非参数检验→旧对话框→单个独立样本K-S检验→本次存款金额导入检验变量列表→正太分布检验→确定 表7-2 单样本 Kolmogorov-Smirnov 检验 本次存款金额 N 282 正态参数a,b均值4738.09 标准差10945.569 最极端差别绝对值.333 正.292 负-.333 Kolmogorov-Smirnov Z 5.585 渐近显著性(双侧) .000 a. 检验分布为正态分布。 b. 根据数据计算得到。 分析：如上表，在显著水平为0.05下得到的sig值均为0.00<0.05，故拒绝原假设，认为本次存款金额的分布与正太分布有显著差异。 3、利用习题二第6题数据，选择恰当的非参数检验方法，分析不同常住地人群本次存款金
非线性回归分析(转载) (2009-10-23 08:40:20) 转载 分类：Web分析 标签： 杂谈 在回归分析中，当自变量和因变量间的关系不能简单地表示为线性方程，或者不能表示为可化为线性方程的时侯，可采用非线性估计来建立回归模型。 SPSS提供了非线性回归“Nonlinear”过程，下面就以实例来介绍非线性拟合“Nonlinear”过程的基本步骤和使用方法。 应用实例 研究了南美斑潜蝇幼虫在不同温度条件下的发育速率，得到试验数据如下： 表5-1 南美斑潜蝇幼虫在不同温度条件下的发育速率 温度℃17.5 20 22.5 25 27.5 30 35 发育速率0.0638 0.0826 0.1100 0.1327 0.1667 0.1859 0.1572 根据以上数据拟合逻辑斯蒂模型： 本例子数据保存在DATA6-4.SAV。 1）准备分析数据 在SPSS数据编辑窗口建立变量“t”和“v”两个变量，把表6-14中的数据分别输入“温度”和“发育速率”对应的变量中。 或者打开已经存在的数据文件（DATA6-4.SAV）。 2）启动线性回归过程 单击SPSS主菜单的“Analyze”下的“Regression”中“Nonlinear”项，将打开如图5-1
所示的线回归对话窗口。 图5-1 Nonlinear非线性回归对话窗口 3) 设置分析变量 设置因变量：从左侧的变量列表框中选择一个因变量进入“Dependent(s)”框。本例子选“发育速率[v]”变量为因变量。 4) 设置参数变量和初始值 单击“Parameters”按钮，将打开如图6-14所示的对话框。该对话框用于设置参数的初始值。 图5-2 设置参数初始值
第29卷第4期增刊 2008年4月 仪器仪表学报 Chinese Journal of Scientific lnstrument V01.29No.4 Apr.2008 区间分析在非线性系统模型参数估计中的应用 杨卫锋曾芳玲 (解放军电子工程学院合肥230037 摘要在未知但有界(UB曲误差假设下,把非线性系统模型参数估计看成是一个集合逆变换问题,利用基于区间分析的SIVIA 算法可以得到参数成员集的近似但可靠的集估计,进一步计算便可得到待估参数的点估计.通过对谷氨酸菌体生长模型参数估计进行仿真,验证了该方法的有效性:通过与其他算法相比较,结果显示该方法还具有较强的鲁棒性和一定的适用性. 关键词区间分析非线性系统参数估计未知但有界(UBB有界误差估计 Application of Interval Analysis for Parameter Estimationof NonlinearSystem Model Yang Weifeng Zeng Fangling (Electronic Engineering Institute P翻Hefei 230037China Abstract The problem of the parameter estimation of nonlinear sy’stem modeI iS viewed鹌one of set inversion in the unknown?-but?-bounded(UBBcontext,and the approximate set of the membership set can be obtained by using the SIVIA(Set Inverter
非参数统计分析方法 一单样本问题 1，二项式检验：检验样本参数是否与整体参数有什么关系。 样本量为n，给定一个实数M0（代表题目给出的分位点数），和分位点∏（0.25,0.5,0.75）。用S-记做样本中比M0小的数的个数，S+记做样本中比M0大的数的个数。如果原假设H0成立那么S-与n的比之应为∏。 H0：M=M0 H1：M≠MO或者M>M0或者M 长度长） Spss步骤：分析—非参数检验—游程 得出统计量R和p值 当p值小于0.05时拒绝原假设，没有充足理由证明该数据出现是随机的 二，两个样本位置问题 1，Brown—Mood中位数检验 给出两个样本比较两个样本的中位数或者四分位数等是否相等或者有一定关系，设一个中值为M1，一个为M2 H0：M1=M2. H1：M1≠M2或者M1>M2或者M1 1.3非线性回归问题, 知识目标：通过典型案例的探究，进一步学习非线性回归模型的回归分析。 能力目标：会将非线性回归模型通过降次和换元的方法转化成线性化回归模型。 情感目标：体会数学知识变化无穷的魅力。 教学要求：通过典型案例的探究，进一步了解回归分析的基本思想、方法及初步应用. 教学重点：通过探究使学生体会有些非线性模型通过变换可以转化为线性回归模型，了解在解决实际问题的 过程中寻找更好的模型的方法. 教学难点：了解常用函数的图象特点，选择不同的模型建模，并通过比较相关指数对不同的模型进行比较. 教学方式：合作探究 教学过程： 一、复习准备： 对于非线性回归问题,并且没有给出经验公式,这时我们可以画出已知数据的散点图,把它与必修模块《数学1》中学过的各种函数（幂函数、指数函数、对数函数等）的图象作比较,挑选一种跟这些散点拟合得最好的函数,然后采用适当的变量代换,把问题转化为线性回归问题,使其得到解决. 二、讲授新课： 1. 探究非线性回归方程的确定： 1. 给出例1：一只红铃虫的产卵数y 和温度x 有关，现收集了7组观测数据列于下表中，试建立y 与x 之间的/y 个 2. 讨论：观察右图中的散点图，发现样本点并没有分布在某个带状区域内，即两个变量不呈线性相关关系，所以不能直接用线性回归方程来建立两个变量之间的关系. ① 如果散点图中的点分布在一个直线状带形区域，可以选线性回归模型来建模；如果散点图中的点分布在一个曲线状带形区域，就需选择非线性回归模型来建模. ② 根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线y =2C 1e x C 的周围（其中12,c c 是待定的参数），故可用指数函数模型来拟合这两个变量. ③ 在上式两边取对数，得21ln ln y c x c =+，再令ln z y =，则21ln z c x c =+，可以用线性回归方程来拟合. ④ 利用计算器算得 3.843,0.272a b =-=，z 与x 间的线性回归方程为 0.272 3.843z x =-，因此红铃虫的产卵数对温度的非线性回归方程为0.272 3.843x y e -=. ⑤ 利用回归方程探究非线性回归问题，可按“作散点图→建模→确定方程”这三个步骤进行. 其关键在于如何通过适当的变换，将非线性回归问题转化成线性回归问题. 三、合作探究 例 2.：炼钢厂出钢时所用的盛钢水的钢包,在使用过程中,由于钢液及炉渣对包衬耐火材料的侵蚀,使其容积不断增大,请根据表格中的数据找出使用次数 x 与增大的容积y 之间的关系. 非参数估计方法：能处理任意的概率分布，而不必假设密度函数的形式已知。直接用已知类别的样本去估计总体密度分布。 我采用的数据是UCI数据库中的联合循环电厂数据集，包含9568个样本。该电厂每小时输出的电能由周围的温度（T），数据范围是从1.81到37.11；环境压力（AP），数据范围从992.89到1033.30；相对湿度（RH），数据范围从25.56到100.16；抽真空（V），数据范围从25.36到81.56四个属性决定。 我采用了Matlab中的princomp()函数对数据进行降维，得出的第一个主成分的贡献率是70.6217%，第二个主成分的贡献率为22.0507%。按照理论来说，应该选择前两个主成分，也就是二维的数据，因为前两个主成分的累积贡献率达到百分之九十多。但是由于数据样本数太多，如果选择二维数据的话，Matlab运行时间太长，所以我选择了贡献率为70.6217%的一维数据，数据范围从393.2851到495.7022。 1.给出一组统计数据，绘制出它的概率分布曲线，matlab的统计工具箱中有直接的函数，就是：Ksdensity 核心平滑密度估计 [f,xi] = ksdensity(x) 计算样本向量x的概率密度估计，返回在xi点的概率密度f，此时我们使用plot(xi,f)就可以绘制出概率密度曲线。 我所采用的数据的真实的概率密度曲线如图 . 2.用方窗进行估计，我选择的样本个数分别为1、200和6000，分别在窗长度为0.25、1和4 三种情况下进行了估计和比较，仿真结果如图所示。 由仿真结果可以看出：当N=1时，概率密度曲线是一个以第一个样本为中心的长方形，与窗函数差不多；当N=200及N=6000时，当h=0.25时，曲线起伏较大，噪声较大，当h=1时，曲线起伏减小，在h=4的情况下，曲线趋于平坦。尤其在N=6000时，曲线接近数据真实的概率密度曲线。 3. 用正态窗进行估计，我选择的样本个数分别为1、200和6000，分别在窗长度为0.25、1和20三种情况下进行了估计和比较，仿真结果如图所示。 非线性回归问题, 知识目标：通过典型案例的探究，进一步学习非线性回归模型的回归分析。 能力目标：会将非线性回归模型通过降次和换元的方法转化成线性化回归模型。 情感目标：体会数学知识变化无穷的魅力。 教学要求：通过典型案例的探究，进一步了解回归分析的基本思想、方法及初步应用. 教学重点：通过探究使学生体会有些非线性模型通过变换可以转化为线性回归模型，了解在解决实际问题的 过程中寻找更好的模型的方法. 教学难点：了解常用函数的图象特点，选择不同的模型建模，并通过比较相关指数对不同的模型进行比较. 教学方式：合作探究 教学过程： 一、复习准备： 对于非线性回归问题,并且没有给出经验公式,这时我们可以画出已知数据的散点图,把它与必修模块《数学1》中学过的各种函数（幂函数、指数函数、对数函数等）的图象作比较,挑选一种跟这些散点拟合得最好的函数,然后采用适当的变量代换,把问题转化为线性回归问题,使其得到解决. 二、讲授新课： 1. 探究非线性回归方程的确定： 1. 给出例1：一只红铃虫的产卵数y 和温度x 有关，现收集了7组观测数据列于下表中，试建立y 与x 之间 2. 讨论：观察右图中的散点图，发现样本点并没有分布在某个带状区域内，即两个变量不呈线性相关关系，所以不能直接用线性回归方程来建立两个变量之间的关系. ① 如果散点图中的点分布在一个直线状带形区域，可以选线性回归模型来建模；如果散点图中的点分布在一个曲线状带形区域，就需选择非线性回归模型来建模. ② 根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线y =2C 1e x C 的周围（其中12,c c 是待定的参数），故可用指数函数模型来拟合这两个变量. ③ 在上式两边取对数，得21ln ln y c x c =+ ，再令ln z y =，则21ln z c x c =+， 可以用线性回归方程来拟合. ④ 利用计算器算得 3.843,0.272a b =-=，z 与x 间的线性回归方程为0.272 3.843z x =-$，因此红铃虫的产卵数对温度的非线性回归方程为$0.272 3.843x y e -=. ⑤ 利用回归方程探究非线性回归问题，可按“作散点图→建模→确定方程”这三个步骤进行. 其关键在于如何通过适当的变换，将非线性回归问题转化成线性回归问题. 三、合作探究 例 2.：炼钢厂出钢时所用的盛钢水的钢包,在使用过程中,由于钢液及炉渣对包衬耐火材料的侵蚀,使其容积不断增大,请根据表格中的数据找出使用次数x 与增大的容积y 之间的关系. 非线性系统模型参数估计的算法模型 摘要：针对非线性系统模型的多样性，提出了适用于多种非 线性模型的基于粒子群优化算法的参数估计方法。计算结果表明，粒子群优化算法是非线性系统模型参数估计的有效工具。 关键词：粒子群优化算法；非线性系统；参数估计；优化abstract： aiming at the diversity of nonlinear system model, it is proposed in this article a parameter estimation method based on particle group optimization algorithm that is applicable to a variety of nonlinear models. the result shows that the particle group optimization algorithm for parameter estimation of nonlinear system model is an effective tool. key words： particle group optimization algorithm；nonlinear system； parameter estimation； optimization 0 引言 非线性系统广泛地存在于人们的生产生活中，但是，目前我们对非线性系统的认识还不够深入，不能像线性系统那样，把所涉及的模型全部规范化，从而使辩识方法也规范化。非线性模型的表达方式相对比较复杂，目前还很少有人研究各种表达方式是否存在等效关系，因此，暂时还没有找到对所有非线性模型都适用的参数模型估计方法[1]。如果能找到一种不依赖于非线性模型的表达方式的 参数估计方法，那么，也就找到了对一般非线性模型系统进行参数 EViews非线性模型参数估计方法步骤 1.新建EViews工作区，并将时间序列X、P1和P0导入到工作区； 2.设定参数的初始值全部为1，其方法是在工作区中其输入下列命令 并按回车键 param c(1) 1 c(2) 1 c(3) 1 c(4) 1 3.估计非线性模型参数，其方法是在工作区中其输入下列命令并按 回车键 nls q=exp(c(1))*x^c(2)*p1^c(3)*p0^c(4) 4.得到结果见table01（91页表3. 5.4结果）（案例一结束） Dependent Variable: Q Method: Least Squares Date: 03/29/15 Time: 21:44 Sample: 1985 2006 Included observations: 22 Convergence achieved after 9 iterations Q=EXP(C(1))*X^C(2)*P1^C(3)*P0^C(4) Coefficient Std. Error t-Statistic Prob. C(1) 5.567708 0.083537 66.64931 0.0000 C(2) 0.555715 0.029067 19.11874 0.0000 C(3) -0.190154 0.143823 -1.322146 0.2027 C(4) -0.394861 0.159291 -2.478866 0.0233 R-squared 0.983631 Mean dependent var 1830.000 Adjusted R-squared 0.980903 S.D. dependent var 365.1392 S.E. of regression 50.45954 Akaike info criterion 10.84319 Sum squared resid 45830.98 Schwarz criterion 11.04156 Log likelihood -115.2751 Hannan-Quinn criter. 10.88992 Durbin-Watson stat 0.672163 （92页表3.5.5结果）（案例二过程） 5.新建EViews工作区，并将时间序列X、P1和P0导入到工作区； 实验六用SPSS进行非线性回归分析 例：通过对比12个同类企业的月产量(万台)与单位成本(元)的资料(如图1)，试配合适当的回归模型分析月产量与单位成本之间的关系 图1原始数据和散点图分析 一、散点图分析和初始模型选择 在SPSS数据窗口中输入数据，然后插入散点图(选择Graphs→Scatter命令)，由散点图可以看出，该数据配合线性模型、指数模型、对数模型和幂函数模型都比较合适。进一步进行曲线估计：从Statistic下选Regression菜单中的Curve Estimation命令；选因变量单位成本到Dependent框中，自变量月产量到Independent框中，在Models框中选择Linear、Logarithmic、Power和Exponential四个复选框，确定后输出分析结果，见表1。 分析各模型的R平方，选择指数模型较好，其初始模型为 但考虑到在线性变换过程可能会使原模型失去残差平方和最小的意义，因此进一步对原模型 模型汇总和参数估计值 因变量: 单位成本 方程模型汇总参数估计值 R 方 F df1 df2 Sig. 常数b1 线性.912 1 10 .000 对数.943 1 10 .000 幂.931 1 10 .000 指数.955 1 10 .000 自变量为月产量。 表1曲线估计输出结果 二、非线性模型的优化 SPSS提供了非线性回归分析工具，可以对非线性模型进行优化，使其残差平方和达到最小。从Statistic下选Regression菜单中的Nonlinear命令；按Paramaters按钮，输入参数A：和B：；选单位成本到Dependent框中，在模型表达式框中输入“A*EXP(B*月产量)”，确定。SPSS输出结果见表2。 由输出结果可以看出，经过6次模型迭代过程，残差平方和已有了较大改善，缩小为，误差率小于， 优化后的模型为： 迭代历史记录b 迭代数a残差平方和参数 A B +133 .087 系统辨识综述 张培硕研4班 摘要：本文主要介绍了系统辨识中的非线性系统辨识方法，包括多层递阶辨识方法，以及把神经网络、模糊逻辑、遗传算法等知识应用于非线性系统辨识而得到的一些新型辨识方法，最后概括了非线性系统辨识未来的发展方向。 关键词：非线性系统辨识；多层递阶；神经网络 1 引言 系统辨识作为现代控制论和信号处理的重要内容，是近几十年发展起来的一门学科，它研究的基本问题是如何通过运行(或实验)数据来建立控制与处理对象(或实验对象)的数学模型。因为系统的动态特性被认为必然表现在它变化着的输入/输出数据之中，辨识就是利用数学方法从数据序列中提炼出系统的数学模型。 从本质上说，系统辨识是一种优化问题，当前常用辨识算法的基本方法是通过建立系统的参数模型，把辨识问题转化为参数估计问题。这类算法能较好地解决线性系统或本质线性系统的辨识问题，但若要应用于本质非线性系统则比较困难。可是，真实世界中的模型都不是严格线性的，它们或多或少都表现出非线性特性，因此越来越多的非线性现象和非线性模型己经引起了人们广泛的重视。 非线性系统广泛的存在于人们的生产生活中，随着人类社会的发展进步，越来越多的非线性现象和非线性系统已经引起研究者们的广泛关注，混沌现象的发现被誉为“ 二十世纪三大发现之一” 。目前关于非线性理论的研究正处于发展阶段。建立描述非线性现象和非线性系统的模型是研究非线性问题的基础。线性系统辨识理论已经趋于成熟，但一般的线性模型实际上是某些非线性被忽略或用线性关系代替后得到的对真实系统的近似数学描述。随着科学技术的迅猛发展，控制系统越来越复杂，对控制精度的要求越来越高，具有复杂非线性的系统不能用线性模型来近似，所以研究非线性系统辨识理论有着很重要的实际意义。 对于非线性系统参数模型的辨识问题，人们最早涉及的是某些特殊类型的非线性系统，如双线性系统模型、Hammerstain 模型、Wiener 模型、非线性时间序列模型、输出仿射模型等。针对每一类特殊模型，各国学者都作了大量的工作，提出了不少辨识算法。同时，也对这些算法的估计一致性问题进行了讨论。随着人们对非线性系统辨识问题研究的日益深入，更为一般的普适性非线性模型的辨识问题就显得日益重要。常用的非线性系统描述方法有微分(或差分)法、泛函级数法、NARMAX 模型法及分块系统法等。一些学者已经对非线性系统辨识方法进行了某方面的综述。例如，1965 年Arnold 和Stark 讨论了正交展开方法在非线性系统辨识中的应用，1968 年Aleksandrovskii 和Deich及1977 年Hung 和Stark综述了核辨识算法，1989 年Titterington 和Kitsos总结了非线性试验设计的最新发展，并列举了十五个在化工领域中常遇到的非线性模型。 本文对近年来新的非线性系统的辨识方法作以简单的综述。非线性回归分析(教案)
非参数估计方法能处理任意的概率分布而不必假设密度
非线性回归分析
非线性系统模型参数估计的算法模型
非线性模型参数估计方法步骤
实验六 用SPSS进行非线性回归分析
非线性系统辨识综述
相关主题
文本预览