改进高斯过程回归算法及其应用研究 在工业生产过程中,由于受到工艺、检测技术以及工况等条件限制,一些重要变量常常无法直接检测,这严重制约了自动控制技术的普及与应用,软测量技术因此应运而生。软测量技术最重要的一步就是软测量建模,近几年各种软测量建模方法不断涌现,其中高斯过程回归方法(Gaussian process regression,GPR)凭借其在处理小样本、复杂度较高的工业数据上的优势,被越来越多的学者关注。然而作为传统的软测量建模算法,高斯过程回归存在核函数单一、计算量较大、对初值敏感等问题,本文将针对这些问题开展改进研究。本文的研究得到了浙江省自然科学基金的资助,主要的研究内容和成果总结如下:(1)高斯过程回归结构以及参数优化研究。 针对延迟焦化过程数据具有非线性、时变性和较强的复杂性等特点,提出一种基于万有引力搜索优化的组合核函数高斯过程回归算法。该算法具有两大特点:1)用组合核函数代替传统的单一核函数,相较于单一核函数,选择组合核函数能够更大可能地保留数据特征信息,使得映射关系更加符合数据分布,同时组合核函数的引入在结构上保证了算法具有更好的泛化能力;2)引入万有引力搜索算法寻找每一个核函数的最优超参数,克服共轭梯度法对初值依赖性强、迭代次数不确定等缺点。(2)高斯过程回归集成算法研究。针对工业现场工况复杂,不同的工况下数据特征间的相关性可能会不同等问题,提出一种基于K-means聚类的集成自适应高斯过程回归算法。 首先利用K-means聚类算法将工业数据集划分成三个簇,然后利用自适应算法自适应地为每个簇选出最优核函数并建立最优局部模型。预测阶段,选用贝叶斯后验概率的融合方式对每个子模型赋予权重,从而对每个局部模型进行加权集成,得到预测结果。(3)改进高斯过程回归算法的应用研究。将所提两种算法应用于某延迟焦化系统开工线温度预测中,建立开工线温度预测模型,并与传统GPR 算法、基于粒子群寻优的GPR(PSO-GPR)、基于遗传算法寻优的GPR(GA-GPR)、基于万有引力寻优的SVR(GSA-SVR)以及基于均值融和方式的K-means自适应高斯过程回归集成算法进行对比,结果表明本文提出的算法具有最高的预测精度、最强的稳定性,同时也证明了所提算法在延迟焦化系统中的实用性、有效性。 (4)延迟焦化温度预测系统软件开发与应用。基于本文所提两种算法的基础
一、Var模型的基本介绍 向量自回归模型（Vector Autoregressive Models，VAR）最早由Sims（1980）提出。他认为，如果模型设定和识别不准确，那么模型就不能准确地反应经济系统的动态特性，也不能很好地进行动态模拟和政策分析。因此，VAR模型通常使用最少的经济理论假设，以时间序列的统计特征为出发点，通常对经济系统进行冲击响应（Impulse-Response）分析来了解经济系统的动态特性和冲击传导机制。由于VAR模型侧重于描述经济的动态特性，因而它不仅可以验证各种经济理论假设，而且在政策模拟上具有优越性。 VAR模型主要用于替代联立方程结构模型，提高经济预测的准确性。用联立方程模型研究宏观经济问题，是当前世界各国经济学者的一种通用做法，它把理论分析和实际统计数据结合起来，利用现行回归或非线性回归分析方法，确定经济变量之间的结构关系，构成一个由若干方程组成的模型系统。联立方程模型适合于经济结构分析，但不适合于预测：联立方程模型的预测结果的精度不高，其主要原因是需要对外生变量本身进行预测。与联立方程模型不同，VAR模型相对简洁明了，特别适合于中短期预测。目前，VAR模型在宏观经济和商业金融预测等领域获得了广泛应用。 二、VAR模型的设定 VAR模型描述在同一样本期间内的n个变量（内生变量）可以作为它们过去值的线性函数。 一个VAR(p)模型可以写成为： 或： 其中：c是n × 1常数向量，A i是n × n矩阵，p是滞后阶数，A(L)是滞后多项式矩阵，L是滞后算子。是n × 1误差向量，满足： 1. —误差项的均值为0 2. Ω—误差项的协方差矩阵为Ω（一个n × 'n正定矩阵） 3.（对于所有不为0的p都满足）—误差项不存在自相关 虽然从模型形式上来看比较简单，但在利用VAR模型进行分析之前，对模型的设定还需要意以下两点： 一是变量的选择。理论上来讲，既然VAR模型把经济作为一个系统来研究，那么模型中
2 经典线性回归模型 §2.1 概念与记号 1．线性回归模型是用来描述一个特定变量y 与其它一些变量x 1，…，x p 之间的关系。 2． 称特定变量y 为因变量 （dependent variable ）、 被解释变量 （explained variable ）、 响应变量（response variable ）、被预测变量（predicted variable ）、回归子 （regressand ）。 3．称与特定变量相关的其它一些变量x 1，…，x p 为自变量（independent variable ）、 解释变量（explanatory variable ）、控制变量（control variable ）、预测变量 （predictor variable ）、回归量（regressor ）、协变量（covariate ）。 4．假定我们观测到上述这些变量的n 组值：( ) ip i i x x y , , , 1 L (i=1，…，n)。称 这n 组值为样本（sample ）或数据（data ）。 §2.2 经典线性回归模型的假定 假定 2.1（线性性(linearity)） i ip p i i x x y e b b b + + + + = L 1 1 0 (i=1，…，n)。 （2.1） 称方程（2.1）为因变量y 对自变量x 1，…，x p 的线性回归方程（linear regression equation ），其中 ( ) p ， k k , , 1 0 L = b 是待估的未知参数（unknown parameters ）， ( ) n i i , , 1 L = e 是满足一定限制条件的无法观测的误差项（unobserved error term ） 。称自 变量的函数 ip p i x x b b b + + + L 1 1 0 为回归函数（regression function ）或简称为回归 （regression ）。称 0 b 为回归的截距(ntercept)，称 ( ) p k k , , 1 L = b 为自变量的回归系数 （regression coefficients ） 。某个自变量的回归系数表示在其它条件保持不变的情况下，
案例六自回归分布滞后模型（ADL）的运用实验指 导 一、实验目的 理解ADL模型的原理与应用条件，学会运用ADL模型来估计变量之间长期稳定关系。理解从经济理论上来说，两个经济变量之间的确有长期关系采用使用该模型进行估计。理解ADL模型的优点：不管回归项是不是1阶单整或平稳都可以进行检验和估计。而进行标准的协整分析前，必须把变量分类成 和 。 二、基本概念 Jorgenson(1966)提出的（ ）阶自回归分布滞后模型ADL(autoregressive distributed lag)： ，其中 是滞后 期的外生变量向量（维数与变量个数相同），且每个外生变量的最大滞后阶数为 ， 是参数向量。当不存在外生变量时，模型就退化为一般ARMA（ ）模型。 如果模型中不含有移动平均项，可以采用OLS方法估计参数，若模型中含有移动平均项，线性OLS估计将是非一致性估计，应采用非线性最小二乘估计。
三、实验内容及要求 （1）实验内容 运用ADL模型研究1992年1月到1998年12月我国城镇居民月对数人均生活费支出yt和对数可支配收入xt之间的长期稳定关系。 （2）实验要求 在认真理解模型应用条件的基础上，通过实验掌握ADL模型的实际应用方法，并熟悉Eniews的具体操作过程。 四、实验指导 （1）数据录入 打开Eviews软件，选择“File”菜单中的“New--Workfile”选项，在“Workfile structure type”栏选择“Dated-regular frequency”，在“Data specification”栏中“Frequency”中选择“Monthly”即月份数据，起始时间输入1992m1即1992年1月份，止于1998m12，点击ok，见图6-1，这样就建立了一个工作文件。 图6-1 建立工作文件窗口
第20卷第9期2008年9月 计算机辅助设计与图形学学报 JO U RN A L O F COM PU T ER AID ED D ESIG N &COM P U T ER G RA PH ICS Vo l.20,N o.9 Sep.,2008 收稿日期:2008-07-15.基金项目:国家 九七三 重点基础研究发展规划项目(2002CB312101,2006CB303102);国家自然科学基金(60603078);新世纪优秀人才项目(NCET 06 0516).赵 勇,男,1982年生,博士研究生,主要研究方向为数字几何处理.刘新国,男,1972年生,博士,教授,博士生导师,主要研究方向为数字几何处理、真实感绘制、虚拟现实等.彭群生,男,1947年生,博士,教授,博士生导师,CC F 高级会员,主要研究方向为真实感图形、虚拟现实、科学计算可视化等. 基于四面体控制网格的模型变形算法 赵 勇 刘新国 彭群生 (浙江大学CAD &CG 国家重点实验室 杭州 310058)(z haoyong@cad.z https://www.doczj.com/doc/bb7101836.html,) 摘要 提出一种鲁棒的保体积保表面细节的模型变形算法.首先将输入模型嵌入到一个稀疏的四面体控制网格 中,并且通过一种改进的重心坐标来建立两者的对应关系;然后通过用户的交互,对控制网格建立一个二次非线性能量函数对其进行变形,而输入模型的变形结果则可以通过插值来直接获得.由于能量函数的优化是在控制网格上进行的,从而大大提高了算法的效率.与此同时,提出一种新的能量!!!Laplacian 能量,可以使四面体控制网格进行尽量刚性的变形,从而有效地防止了大尺度编辑过程中模型形状的退化现象.文中算法还具有通用性,可支持多种模型的表示方式,如三角网格模型、点模型等.实验结果表明,该算法可以有效地保持输入模型的几何细节、防止明显的体积变化,得到了令人满意的结果. 关键词 模型编辑;四面体控制网格;刚性变形;L aplacian 能量;通用性中图法分类号 T P391 Shape Deformation Based on Tetrahedral Control Mesh Zhao Yong Liu Xing uo Peng Qunsheng (S tate K ey L abor atory of CA D &CG ,Zh ej iang Univ ersity ,H ang z hou 310058) Abstract A robust shape deformation algo rithm w ith the feature o f both vo lum e and surface detail preserv ing is presented.Fir st,the input m odel is embedded into a coarse tetr ahedral co ntro l mesh,and the m odified bar ycentr ic coordinates are employ ed to establish their relationship.Then acco rding to user s editing,the contro l mesh is defor med by solving a quadric no nlinear ener gy m inimization pro blem,and the deform ation is passed to the embedded m odel by interpolatio n.As the optimization pro cess is applied to the control mesh composed of sparse vertices,the efficiency is g reatly improved.Meantime,w e incor porate a new energ y,called Laplacian energ y,into the energy equatio n to m ake the tetrahedral contro l m esh deform as rigidly as possible,thus avoiding shape degenerations even under ex treme editing.Our algor ithm acco mmodates various shape repr esentations,such as triangular meshes,point clouds etc.Experiments demonstrate that the Laplacian energy is very effective in preserv ing geom etric details and pr eventing unreasonable volume changes. Key words shape editing;tetrahedral contr ol m esh;r ig id defor matio n;Laplacian energ y;generality 近年来,随着三维数据采集技术的不断发展,三维数字几何模型已经在数字娱乐、工业设计、医学辅 助诊断、文物保护等很多领域得到了广泛的应用.数字几何处理作为计算机图形学的一个重要分支也得
经典线性回归模型的诊断与修正下表为最近20年我国全社会固定资产投资与GDP的统计数据：1 年份国内生产总值（亿元）GDP 全社会固定资产投资（亿元）PI 1996 71813.6 22913.5 1997 79715 24941.1 1998 85195.5 28406.2 1999 90564.4 29854.7 2000 100280.1 32917.7 2001 110863.1 37213.49 2002 121717.4 43499.91 2003 137422 55566.61 2004 161840.2 70477.43 2005 187318.9 88773.61 2006 219438.5 109998.16 2007 270232.3 137323.94 2008 319515.5 172828.4 2009 349081.4 224598.77 2010 413030.3 251683.77 2011 489300.6 311485.13 2012 540367.4 374694.74 2013 595244.4 446294.09 1数据来源于国家统计局网站年度数据
1、普通最小二乘法回归结果如下： 方程初步估计为： GDP=75906.54+1.1754PI (32.351) R2=0.9822F=1046.599 DW=0.3653 2、异方差的检验与修正 首先，用图示检验法，生成残差平方和与解释变量PI的散点图如下：
从上图可以看出，残差平方和与解释变量的散点图主要分布在图形的下半部分，有随PI的变动增大的趋势，因此，模型可能存在异方差。但是否确定存在异方差，还需作进一步的验证。 G-Q检验如下： 去除序列中间约1/4的部分后，1996-2003年的OLS估计结果如下所示：
辽宁工程技术大学 教学方案 （2013~2014学年第二学期） 课程名称变形分析与预报理论轮 所属院系测绘与地理科学学院 制定人杨帆
第一章绪论 1. 变形监测的内容、目的与意义 变形监测的基本概念 变形监测的内容 变形监测的目的和意义 2.变形监测技术及其发展 3.变形分析的的内涵及其研究进展 变形分析方法简介 变形分析研究的发展趋势 第二章绪论 第2.1 变形监测技术与方案设计 变形监测内容的确定 监测方法、仪器和监测精度的确定 监测部位和测点布置的确定 变形监测频率的确定 综合变形监测系统 2.2 监测数据处理方法 1.变形监测网的数据处理 (1).平均间隙法加最大间隙法 (2).卡尔曼滤波法 2.变形监测点的数据处理 （1）回归分析法 （2）其他方法
2.3 变形监测资料分析及成果表达与解释 资料整理的主要内容 观测资料分析阶段 资料分析常用方法 提交成果资料 成果表达 成果解释 需要回答以下问题： 1. 性质：是为什么性质的监测？状态安全监测还 是交通安全监测或运行安全监测； 2. 是否需在不同荷载情况下，对变形体的变形模 型做检验验证？ 3. 是否需根据岩土力学性质建立物理力学模型？ 4. 工程整治的效果怎样？ 5. 是否需对地球物理假设进行验证？ 6. 是否需对工程建筑物进行监测和检验？ 7. 采取措施后是否需做建筑物的安全证明？ 2.4 监测数据处理平差程序设计与实现 监测数据处理平差程序设计（实验） 1.秩亏自由网平差原理 精度评定 程序设计 设计CLeve 类 各个函数的实现（见程序：） 在菜单中实现计算 计算结果 参考文献： 本章主要内容： 变形监测内容的确定 监测方法、仪器和监测精度的确定 监测部位和测点布置的确定 变形监测频率的确定 综合变形监测系统 控制网优化设计问题的分类及解法
外文译文 机器学习中的高斯过程应用 摘要 我们给了一个对高斯过程回归模型的基本介绍。我们研究的重点在于理解随机过程的含义和如何用他去定义一个分布函数。我们提出了一个简单的方程，它可以结合训练数据并且测试了它如何去应用边缘概率密度来学习超参数。我们解释了高斯过程的实际应用优势并且得出结论，高斯过程是适合当前时代趋势的。 回归（对于连续输出）和分类（对于离散输出）形式的机器学习是一个对于学习统计学和机器学习非常重要的组成部分，无论是对于大量数据的分析，或是对于一个更加复杂问题中的子目标的解决。 传统参数模型（①参数模型，我们这里是指模型在训练过程中从训练数据―吸收‖信息传递给参数；训练结束后，数据库可以被丢弃。）已经被用作完成这些目标。这些可能在容易理解方面有优势，但是应用于复杂数据分析时，简单的参数模型就显得力不从心了，而且比它们更复杂的类似的方法（比如前向网络）可能在实践中比较难以实现。内核机器的出现，比如支持向量机和高斯过程使对复杂模型进行实际分析有了可能性。 在这篇短文中，我们提出了一个使用高斯过程用于贝叶斯回归方程的建模的基本方法。我们主要关注如何理解随机过程和如何将他在机器学习中应用。第二，我们将讨论关于超参数在协方差函数中的作用的切实问题，边缘概率密度和奥卡姆剃刀原则的问题。要查看更多关于高斯过程的介绍，请看参考文献[1]，[2]。
第一章高斯过程 在这部分我们定义了高斯过程，并且展示它们是如何非常自然的被应用于定义分布函数。接下来的部分，我们继续展示这个分布函数是如何通过训练数据更新的。 定义1：高斯过程是一个随机变量的集合，其中任何有限的数字都有共同的高斯分布。 一个高斯过程可以被它的均值函数m（x）和协方差函数k（x，x’）完全的定义。分别将均值函数和协方差函数表示成向量和矩阵，这是一个对高斯分布的自然推广。高斯分布用向量表示，而高斯过程用函数表示。如此有： 意思是：―f是由均值函数m和协方差函数k定义的高斯分布函数。‖ 虽然从分布到过程的概括比较直截了当，我们会略详细地解释一下细节，因为它可能对一些读者来说没那么熟悉。高斯向量中的单个随机变量可以被他们的位置向量索引到。高斯过程中，有一个参数x（随机函数f（x）中的）起到了索引集的角色：每一个输入x都有一个相联系的随机变量f（x），这是（随机）函数f在x处的取值。为了识记方便，我们用自然数来列举x的值，并且用这些来索引他们在随机过程中的位置-不要让你自己被这个迷惑：随机过程的索引用xi 表示，我们选择用i来表示索引。 虽然与无限维对象工作可能在起初看起来很笨拙，但是经过大量计算证明，这只需要与有限维对象工作就可以完成。实际上，找到用相关分布函数减少随机过程运算量的答案，这才是高斯过程可行性的关键。让我们看一个例子，考虑如下方程给出的高斯过程： 为了更加直观地理解这个随机过程，我们可以用函数f画出采样图。为了只与有限数据进行处理，我们只要求在不同有限数字n代表的位置的f的取值。我们如何产生这样的采样呢？给出不同x的取值，我们可以用定义了一个标准高斯分布的方程计算出均值向量和协方差矩阵： 我们用m和k代表高斯过程的参数，用μ和∑代表分布函数的参数，来清楚地区分它们。我们现在可以通过这个分布函数创造出一组随机向量。这个向量会作为坐标的函数，由x的值得到相应的f（x）的值。
西安郵電大学 科研训练报告书 基于高斯过程在机器学习中的应用
摘要 高斯过程是近年来发展起来的一种新的机器学习方法，它有着严格的统计学习理论基础，对处理高维数非线性小样本复杂问题具有良好的适应性。对列车精准停车问题的这种复杂的非线性问题，将高斯过程机器学习方法应用于此问题，并提出相应的模型，减少数据间复杂的内在物理或其他关系。很多工程实例研究表明，高斯过程机器学习模型是科学可行的，预测精度高，简单实用，对很多问题问题具有较好的适用性。 关键词：高斯过程；机器学习；列车精准停车 Abstract Gaussian processes ( GP) is a newly developed machine learning method based on the strict statistical learning theory. GP is capable of solving the highly nonlinear problem with small samples and high dimensions.Precise train stopping complex nonlinear problem, GP machine learning model applied to this problem, and propose a model to reduce the complexity of data between the intrinsic physical or other relationship. Case studies show that many of the works, GP machine learning model is scientific and feasible, the prediction accuracy is high, simple and practical, on many issues the problem has good applicability. Key Words:Gaussian processes;machine learning;precise train stopping 1引言 列车（包括火车、地铁、轻轨等轨道交通工具）的精确停车是轨道交通控制系统中的一项关键技术。对于有效使用站台屏蔽门、保证乘客安全、较少乘客换乘时间等有着至关重要的作用。然而就实际物理模型建模时收到很多方面的制约，且耗费大量的金钱。通过研究，将实际上依赖于物理模型的建立和控制参数的调整，而采用对数据本身的练习进行学习和建模。如果能从数据中学习到列车精确停车的规律，则可以在保证列车达到精确停车所需指标的同时，大量节省硬件方面的费用，并建立数据规律，同时使结果与实际模型相联系，促进物理模型的建立。因此，在利用机器学习来分析列车精确停车问题时，不需要过多关注各种复杂的如轨道坡度、摩擦系数、天气状况、乘客数量等外在因素，而只需关注对精度有明显影响的因素如停车的初始速度及距离等。 在本文中，将研究机器学习领域的高斯过程（Gaussian Process，GP），并以实际的列车停车
第三章、经典单方程计量经济学模型：多元线性回归模型 一、内容提要 本章将一元回归模型拓展到了多元回归模型，其基本的建模思想与建模方法与一元的情形相同。主要内容仍然包括模型的基本假定、模型的估计、模型的检验以及模型在预测方面的应用等方面。只不过为了多元建模的需要，在基本假设方面以及检验方面有所扩充。 本章仍重点介绍了多元线性回归模型的基本假设、估计方法以及检验程序。与一元回归分析相比，多元回归分析的基本假设中引入了多个解释变量间不存在（完全）多重共线性这一假设；在检验部分，一方面引入了修正的可决系数，另一方面引入了对多个解释变量是否对被解释变量有显著线性影响关系的联合性F检验，并讨论了F检验与拟合优度检验的内在联系。 本章的另一个重点是将线性回归模型拓展到非线性回归模型，主要学习非线性模型如何转化为线性回归模型的常见类型与方法。这里需要注意各回归参数的具体经济含义。 本章第三个学习重点是关于模型的约束性检验问题，包括参数的线性约束与非线性约束检验。参数的线性约束检验包括对参数线性约束的检验、对模型增加或减少解释变量的检验以及参数的稳定性检验三方面的内容，其中参数稳定性检验又包括邹氏参数稳定性检验与邹氏预测检验两种类型的检验。检验都是以F检验为主要检验工具，以受约束模型与无约束模型是否有显著差异为检验基点。参数的非线性约束检验主要包括最大似然比检验、沃尔德检验与拉格朗日乘数检验。它们仍以估计无约束模型与受约束模型为基础，但以最大似然 χ分布为检验统计原理进行估计，且都适用于大样本情形，都以约束条件个数为自由度的2 量的分布特征。非线性约束检验中的拉格朗日乘数检验在后面的章节中多次使用。 二、典型例题分析 例1．某地区通过一个样本容量为722的调查数据得到劳动力受教育的一个回归方程为36 .0 . + = - 10+ 094 medu fedu .0 sibs edu210 131 .0 R2=0.214 式中，edu为劳动力受教育年数，sibs为该劳动力家庭中兄弟姐妹的个数，medu与fedu分别为母亲与父亲受到教育的年数。问
近代时间序列分析选讲: 一. 非线性时间序列 二. GARCH模型 三. 多元时间序列 四. 协整模型
非线性时间序列 第一章.非线性时间序列浅释 1.从线性到非线性自回归模型 2.线性时间序列定义的多样性第二章. 非线性时间序列模型 1. 概述 2. 非线性自回归模型 3.带条件异方差的自回归模型 4.两种可逆性 5.时间序列与伪随机数 第三章.马尔可夫链与AR模型 1. 马尔可夫链 2. AR模型所确定的马尔可夫链 3. 若干例子 第四章. 统计建模方法 1. 概论 2. 线性性检验 3.AR模型参数估计 4.AR模型阶数估计 第五章. 实例和展望 1. 实例 2.展望
第一章.非线性时间序列浅释 1. 从线性到非线性自回归模型 时间序列{x t}是一串随机变量序列, 它有广泛的实际背景, 特别是在经济与金融领域中尤其显著. 关于它们的从线性与非线性概念, 可从以下的例子入手作一浅释的说明. 考查一阶线性自回归模型---LAR(1): x t=αx t-1+e t, t=1,2,… (1.1) 其中{e t}为i.i.d.序列，且Ee t=0, Ee t=σ2<∞, 而且e t与{x t-1,x t-1,…}独立. 反复使用(1.1)式的递推关系, 就可得到 x t=αx t-1+e t = e t + αx t-1 = e t + α{ e t-1 + αx t-2} = e t + αe t-1 + α2 x t-2 =… = e t + αe t-1 + α2e t-2
+…+ αn-1e t-n+1 +αn x t-n. (1.2) 如果当n→∞时, αn x t-n→0, (1.3) {e t+αe t-1+α2e t-2+…+αn-1e t-n+1} →∑j=0∞αj e t-j . (1.4) 虽然保证以上的收敛是有条件的, 而且要涉及到具体收敛的含义, 但是, 对以上的简单模型, 不难相信, 当|α|<1时, (1.3)(1.4)式成立. 于是, 当|α|<1时, 模型LAR(1)有平稳解, 且可表达为 x t=∑j=0∞αj e t-j . (1.5) 通过上面叙述可见求LAR(1)模型的解有简便之优点, 此其一. 还有第二点, 容易推广到LAR(p)模型. 为此考查如下的p阶线性自回归模型LAR(p):
高斯过程在机器学习中的应用
西安郵電大学 科研训练报告书 基于高斯过程在机器学习中的应用
摘要 高斯过程是近年来发展起来的一种新的机器学习方法，它有着严格的统计学习理论基础，对处理高维数非线性小样本复杂问题具有良好的适应性。对列车精准停车问题的这种复杂的非线性问题，将高斯过程机器学习方法应用于此问题，并提出相应的模型，减少数据间复杂的内在物理或其他关系。很多工程实例研究表明，高斯过程机器学习模型是科学可行的，预测精度高，简单实用，对很多问题问题具有较好的适用性。关键词：高斯过程；机器学习；列车精准停车 Abstract Gaussian processes ( GP) is a newly developed machine learning method based on the strict statistical learning theory. GP is capable of solving the highly nonlinear problem with small samples and high dimensions.Precise train stopping complex nonlinear problem, GP machine learning model applied to this problem, and propose a model to reduce the complexity of data between the intrinsic physical or other relationship. Case studies show that many of the works, GP machine learning model is scientific and feasible, the prediction accuracy is high, simple and practical, on many issues the problem has good applicability. Key Words: Gaussian processes;machine learning;precise train stopping
§ 自变量选择 信息时代的一个重要特征是数据便宜信息值钱，我们经常要从海量数据中挖掘有用信息。比如影响产品质量的因素，从生产过程、员工培训过程到原材料供应过程，可能多达几百个，甚至上千个。对这些质量指标和影响因素制造商在日常生产管理过程中都有记录。现在的问题是如何从这众多的影响因素中找出影响产品质量的重要因素。有时只需判断一个自变量对因变量是否有重要影响，而不需要了解它们之间的精确定量关系。比如判断原材料供应对产品质量是否有重要影响比了解它们之间的精确定量关系更重要。线性回归模型的自变量选择就是用于有众多自变量时识别重要自变量的方法。用于线性回归模型自变量选择的方法可分为两类：全局择优法和逐步回归法。 一、全局择优法 全局择优法就是用衡量回归模型与数据拟合程度的准则，从全部可能的回归模型中选择对数据拟合最优的回归模型。对于一个包含P 个自变量的回归问题，全部 可能的回归模型有01 2P P P P P C C C +++=个，全局择优法要求出每个回归模型的准则 值，然后找出最优的回归模型。 回归模型对数据的拟合程度可用残差平方和来表示。残差平方和越小，模型拟合的越好。但残差平方和的大小与因变量的计量单位有关，因此我们定义了决定系数。决定系数越大，模型拟合的越好。决定系数不仅与因变量的计量单位无关，而且能说明在因变量的变异中，归功于自变量变化的部分所占比例。但不论是用残差平方和还是用决定系数来度量线性拟合模型拟合程度，都会得出模型中包含越多自变量拟合就越好的结论。但在样本容量给定的情况下，自变量越多，模型就越复杂，
模型参数估计就越不精确，导致模型应用的效果就越差。因此我们需要能综合用残差平方和表示的模型拟合精度和用模型中包含的自变量个数表示的模型复杂程度的准则，以便选择出最优的回归模型。回归分析中用于选择自变量的准则很多。由于残差平方和RSS p 和决定系数R 2只考虑模型拟合精度，因而只能作为自变量个数相 同时自变量选择的准则。残差均方s 2和修正决定系数2 adj R 是一个综合模型拟合精度 和模型复杂程度的准则。综合性准则除了残差均方和修正决定系数外，还有如下一些准则： ·Mallows C p 准则 )1(22 ++-= p n s RSS C p p 其中，s 2为包含全部自变量的拟合模型的残差均方，RSS p 为当前拟合模型的残差平方和，p 为当前拟合模型的自变量个数。 ·信息准则 信息准则根据公式 npar *k +logLik *2- 计算，其中logLik= -n{log(RSS/n)+log(2π)+1}/2为当前拟合模型的对数似然函数，npar 为当前拟合模型的参数个数，当k=2时称为AIC 准则，当k=log(n)时称为BIC 准则。在小样本情况下，AIC 准则的表现不太好，为此人们提出的修正AIC 准则AICc ，其计算公式为 1 -npar -n n npar *2 +logLik *-2AICc = ()()1/1*2--++=napr n npar npar AIC
案例六 自回归分布滞后模型（ADL ）的运用实验指导 一、实验目的 理解ADL 模型的原理与应用条件，学会运用ADL 模型来估计变量之间长期稳定关系。理解从经济理论上来说，两个经济变量之间的确有长期关系采用使用该模型进行估计。理解ADL 模型的优点：不管回归项是不是1阶单整或平稳都可以进行检验和估计。而进行标准的协整分析前，必须把变量分类成(0)I 和(1)I 。 二、基本概念 Jorgenson(1966)提出的（,p q ）阶自回归分布滞后模型ADL(autoregressive distributed lag)：011111 i t t p t p t t q t q i t i i y y y ταφφεθεθεβ-----='=++++--+∑x ，其中t i -x 是滞后i 期 的外生变量向量（维数与变量个数相同），且每个外生变量的最大滞后阶数为i τ，i β是参数向量。当不存在外生变量时，模型就退化为一般ARMA （,p q ）模型。 如果模型中不含有移动平均项，可以采用OLS 方法估计参数，若模型中含有移动平均项，线性OLS 估计将是非一致性估计，应采用非线性最小二乘估计。 三、实验内容及要求 （1）实验内容 运用ADL 模型研究1992年1月到1998年12月我国城镇居民月对数人均生活费支出yt 和对数可支配收入xt 之间的长期稳定关系。 （2）实验要求 在认真理解模型应用条件的基础上，通过实验掌握ADL 模型的实际应用方法，并熟悉Eniews 的具体操作过程。 四、实验指导 （1）数据录入 打开Eviews 软件，选择“File”菜单中的“New --Workfile”选项，在“Workfile structure type ”栏选择“Dated-regular frequency ”，在“Data specification ”栏中“Frequency ”中选择“Monthly ”即月份数据，起始时间输入1992m1即1992年1月份，止于1998m12，点击ok ，见图6-1，这样就建立了一个工作文件。 图6-1 建立工作文件窗口
第二章 经典线性回归模型 一、线性回归模型的概念 1、一元线性回归模型 （1）总体回归模型 总体回归模型：12i i i Y X u ββ=++，(|)0E u X = 总体回归方程：12(|)E Y X X ββ=+ 说明：确定性部分——Y 对于给定X 的期望值 随机部分——代表了排除在模型以外的所有因素对Y 的影响。它是期望为0的，具有一定分布的随机变量。 研究的目标： ①确定总体回归方程的参数 ②随机扰动项的分布（想想看，为什么？）2|(0,)X N μσ （2）样本回归模型 问题：我们往往无法获得全体数据，无法准确的分析出总体回归参数。能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？ 画一条直线以尽好地拟合该散点图，由于样本取自总体，可以用该直线近似地代表总体回归线。该直线称为样本回归线。 样本回归模型：12?? i i i Y X e ββ=++ 样本回归方程：12???i i Y X ββ=+
（3）样本回归线与总体回归线的关系
2、多元线性回归模型 在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量有关。 122ββ...βu i i k ki i Y X X =++++ 斜率 “β”的含义是其它变量不变的情况下，X j 改变一个单位对因变量所产生的影响 即对于n 组观测值，有 11221331112122233222 12233βββ...ββββ...β...... βββ...βK K K K n n n K Kn n Y X X X u Y X X X u Y X X X u =+++++=+++++=+++++ 定义： 12*1...n n Y Y Y Y ?? ? ?= ? ??? 21 12222*1...1...............1...K K n Kn n k X X X X X X X ????? ?=?????? 1122 *1*1 ,......n n K k u u u u ββββ?? ?? ? ? ? ? ?== ? ? ? ??? ??? 多元线性回归模型的矩阵形式为（总体）：Y =X β+μ，(|)E Y =X β （样本）?Y =X β +e ，??Y =X β
门限自回归模型及其在水文随机模拟中的应用* 王文圣, 袁 鹏, 丁 晶, 邓育仁 (四川大学水电学院,四川成都 610065) 摘 要:为了客观描述日流量变化的非线性特性,将一种非线性时序模型——门限自回归模型引入日流量随机模拟。根据我国金沙江流域屏山站观测资料建立了日流量随机模拟的门限自回归模型。实用性检验结果表明,该模型用于模拟日流量过程是可行的,成果实用。这种尝试为日流量随机模拟提供了一种考虑日流量非线性变化特性的新模型。 关键词:门限自回归模型;日流量随机模拟;实用性检验 中图分类号:P33;P333.6文献标识码: B文章编号:1001-2184(2001)增-0047-04 1 引 言 日流量随机模拟利用日流量涨落的统计特性,具体说是利用日流量在时序上的统计关系。这种统计关系非常复杂,为简化处理常常以线性来表征前后日流量的关系。在一般情况下,这种简化尚能反映日流量时序变化的主要特性。所以在日流量随机模拟时,当前广泛使用线性时序模型。但是日流量在时序上的前后流量关系是非线性的。例如,对大流域一次洪水的日流量过程涨水段的下部、中部和上部有着明显不同的涨率,前后流量关系显然不是线性的;同样在落水段的下部、中部和上部有着明显不同的退水率,前后流量关系也不是线性的。因此,为更全面地反映日流量时序变化的特性,最好考虑日流量在时序变化上的非线性特性。 近来,非线性时序的分析获得了迅速的发展,并且相继出现了一系列非线性时序模型,比如门限自回归模型,双线性模型,指数自回归模型,状态依赖模型等。对双线性模型曾初步研究了在洪水模拟中应用的可能性[1]。门限自回归模型最近尝试应用于水文预报并获得较好的效果[2]。鉴于门限自回归模型在表征非线性特性上具有其独到之处,笔者将之引入日流量随机模拟并以某站日流量资料为基础,全面探讨了这种模型在日流量模拟中的可行性,模拟效果和优缺点等。 2 门限自回归模型的形式和基本特性 2.1 模型形式 门限自回归模型由汤家豪1978年提出[3],用来解决一类非线性问题。其思路是:对研究对象按照不同区间建立若干个线性时序模型;然后将这些线性时序模型组合起来描述该对象非线性时序变化特性。 对于时间序列{Z t},门限自回归模型的一般形 收稿日期:2000-08-14 * 基金项目:国家自然科学基金(49871018);高速水力学国家重点实验室开放基金资助项目(编号2008)式为: Z t U(1)0+∑ p 1 i=1 U(1)i Z t-i+E(1)t Z t-d F r1 U(2)0+∑ p 2 i=1 U(2)i Z t-i+E(2)t r1
相关主题
文本预览