用R语言做非参数和半参数回归笔记
由詹鹏整理，仅供交流和学习 根据南京财经大学统计系孙瑞博副教授的课件修改，在此感谢孙老师的辛勤付出！ 教材为：Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd. 2008. ------------------------------------------------------------------------- 第一章 introduction: Global versus Local Statistic 一、主要参考书目及说明 1、Hardle(1994). Applied Nonparametic Regresstion. 较早的经典书 2、Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer. 结构清晰 3、Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton. 较全面和深入的介绍，偏难 4、Pagan and Ullah (1999). Nonparametric Econometrics. 经典 5、Yatchew(2003). Semiparametric Regression for the Applied Econometrician. 例子不错 6、高铁梅（2009）. 计量经济分析方法与建模：EVIEWS应用及实例（第二版）. 清华大学出版社. （P127/143） 7、李雪松（2008）. 高级计量经济学. 中国社会科学出版社. （P45 ch3） 8、陈强（2010）. 高级计量经济学及Stata应用. 高教出版社. （ch23/24） 【其他参看原ppt第一章】 二、内容简介 方法： ——移动平均（moving average） ——核光滑（Kernel smoothing） ——K近邻光滑（K-NN） ——局部多项式回归（Local Polynormal） ——Loesss and Lowess ——样条光滑（Smoothing Spline） ——B-spline ——Friedman Supersmoother 模型： ——非参数密度估计 ——非参数回归模型 ——非参数回归模型 ——时间序列的半参数模型 ——Panel data 的半参数模型 ——Quantile Regression 三、不同的模型形式 1、线性模型linear models 2、Nonlinear in variables
第七章 非参数回归模型与半参数回归模型 第一节 非参数回归与权函数法 一、非参数回归概念 前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。 设Y 是一维观测随机向量，X 是m 维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称 g (X ) = E (Y |X ) （7.1.1） 为Y 对X 的回归函数。我们证明了这样的回归函数可使误差平方和最小，即 22)]([min )]|([X L Y E X Y E Y E L -=- （7.1.2） 这里L 是关于X 的一切函数类。当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。 细心的读者会在这里立即提出一个问题。既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。 所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。 二、权函数方法 非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式： ∑==n i i i n Y X W X g 1 )()( （7.1.3）
由詹鹏整理，仅供交流和学习 根据南京财经大学统计系孙瑞博副教授的课件修改，在此感谢孙老师的辛勤付出！ 教材为：Luke Keele:Semiparametric Regression for the Social Sciences.John Wiley &Sons,Ltd.2008. ------------------------------------------------------------------------- 第一章introduction:Global versus Local Statistic 一、主要参考书目及说明 1、Hardle(1994).Applied Nonparametic Regresstion.较早的经典书 2、Hardle etc(2004).Nonparametric and semiparametric models:an introduction. Springer.结构清晰 3、Li and Racine(2007).Nonparametric econometrics:Theory and Practice.Princeton.较全面和深入的介绍，偏难 4、Pagan and Ullah(1999).Nonparametric Econometrics.经典 5、Yatchew(2003).Semiparametric Regression for the Applied Econometrician.例子不错 6、高铁梅（2009）.计量经济分析方法与建模：EVIEWS应用及实例（第二版）.清华大学出版社.（P127/143） 7、李雪松（2008）.高级计量经济学.中国社会科学出版社.（P45ch3） 8、陈强（2010）.高级计量经济学及Stata应用.高教出版社.（ch23/24） 【其他参看原ppt第一章】 二、内容简介 方法： ——移动平均（moving average） ——核光滑（Kernel smoothing） ——K近邻光滑（K-NN） ——局部多项式回归（Local Polynormal） ——Loesss and Lowess ——样条光滑（Smoothing Spline） ——B-spline ——Friedman Supersmoother 模型： ——非参数密度估计 ——非参数回归模型 ——非参数回归模型 ——时间序列的半参数模型 ——Panel data的半参数模型 ——Quantile Regression 三、不同的模型形式 1、线性模型linear models 2、Nonlinear in variables
半参数回归模型虚拟1
半参数模型解算的虚拟观测法1 朱建军冯光财戴吾蛟 中南大学信息物理工程学院 摘要 半参数模型中的非参数部分可以很好地描述测量数据处理规律不是十分明确的系统误差或模型误差，因而近年得到了测绘工作者的广泛重视。但目前半参数模型的各种解算方法主要还是沿用数学中提出的方法，例补偿最小二乘法，样条函数法，核光滑估计等，这些方法的特点是：所用的参数和语言都是纯数学的、相对抽象的，与具体应用中的实际意义关系不大，如何根据具体的问题确定方法中的有关量，没有成熟可靠的方法。本文首先介绍半参数回归中常用的补偿最小二乘法。然后基于先验信息，从纯测量学的观点讨论半参数模型的解算。即将对问题的先验信息转换成对问题的虚拟观测，用虚拟观测与原观测联合按常规的最小二乘方法求解。理论和实际 1本项目由湖南省自然科学基金项目(02JJY2066)和湖南省科技计划项目联合资助(2004022200611)
都证明，该方法与最小二乘补偿法完全等价。从而在理论上得到一个重要的结论：半参数回归的补偿最小二乘法中的正则矩阵可由虚拟观测的观测方程系数确定，即，l T l A A R =，平滑因子可由 观测方差与虚拟观测方差的方差比（权比） 2 2 /l L σσα=确定，而该方差比可以在计算中用方差分 量估计的方法确定。由此将半参数回归的解算与传统的测量数据处理方法有机地结合起来了。实例的计算结果表明，本文提出的虚拟观测方法计算的结果一般要优于常规的补偿最小二乘结果，基本上可达到常规补偿最小二乘法在理论上的最优解。 关键词：半参数模型，补偿最小二乘法，先验信息 虚拟观测 中国图书分类号：P207 A quasi observation approach for semi-parameter regression Zhu Jianjun Feng Guangcai Dai wujao School of info-physcs and Geomatics, Central South University Abstract The non-parameter in semi-parametric model can be used to describe the systemic error or model error in geodesy, so semi-parameter
第七章 非参数回归模型与半参数回归模型 第一节 非参数回归与权函数法 一、非参数回归概念 前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。 设Y 是一维观测随机向量，X 是m 维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称 g (X ) = E (Y |X ) （7.1.1） 为Y 对X 的回归函数。我们证明了这样的回归函数可使误差平方和最小，即 22)]([min )]|([X L Y E X Y E Y E L -=- （7.1.2） 这里L 是关于X 的一切函数类。当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。 细心的读者会在这里立即提出一个问题。既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。 所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。 二、权函数方法 非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式： ∑==n i i i n Y X W X g 1 )()( （7.1.3）
由詹鹏整理 ,仅供交流和学习 根据南京财经大学统计系孙瑞博副教授的课件修改 ,在此感谢孙老师的辛勤付出！ 教材为：Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd. 2008. ------------------------------------------------------------------------- 第一章 introduction: Global versus Local Statistic 一、主要参考书目及说明 1、Hardle(1994). Applied Nonparametic Regresstion. 较早的经典书 2、Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer. 结构清晰 3、Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton. 较全面和深入的介绍 ,偏难 4、Pagan and Ullah (1999). Nonparametric Econometrics. 经典 5、Yatchew(2003). Semiparametric Regression for the Applied Econometrician. 例子不错 6、高铁梅（2009）. 计量经济分析方法与建模：EVIEWS应用及实例（第二版）. 清华大 学出版社. （P127/143） 7、李雪松（2008）. 高级计量经济学. 中国社会科学出版社. （P45 ch3） 8、陈强（2010）. 高级计量经济学及Stata应用. 高教出版社. （ch23/24） 【其他参看原ppt第一章】 二、内容简介 方法： ——移动平均（moving average） ——核光滑（Kernel smoothing） ——K近邻光滑（K-NN） ——局部多项式回归（Local Polynormal） ——Loesss and Lowess ——样条光滑（Smoothing Spline） ——B-spline ——Friedman Supersmoother 模型： ——非参数密度估计 ——非参数回归模型 ——非参数回归模型 ——时间序列的半参数模型 ——Panel data 的半参数模型 ——Quantile Regression 三、不同的模型形式 1、线性模型linear models 2、Nonlinear in variables
【内容提要】 内容简介 本书分为四部分．第一部分为密度函数和条件密度函数，包括密度函 数的非参数估计、一元条件密度函数的非参数估计和多元条件密度函数的 投影追踪估计；第二部分为非参数计量经济模型，包括非参数计量经济模 型的核估计和变窗宽核估计、局部线性估计和变窗宽局部线性估计、非参 数计量经济模型的异方差问题和多重共线性问题；第三部分为非参数计 量经济联立方程模型，包括非参数计量经济联立模型的局部线性工具变量 估计和变窗宽局部线性工具变量估计、局部线性两阶段最小二乘估计和变 窗宽局部线性两阶段最小二乘估计、局部线性广义矩估计和变窗宽局部线 性广义矩估计；第四部分为半参数计量经济模型和联立方程模型，包括半 参数计量经济模型的最小二乘估计、半参数计量经济联立模型的工具变量 估计和其他工具变量估计．本书的附录包括准备知识和R软件介绍．本书适合高等院校经济、管理学科的研究生和研究人员使用． 【节选】 序言 非参数计量经济学作为现代计量经济学的一个分支，近20年来得到了迅速的
发展．从国际权威的计量经济学学术刊物的论文中，我们不难发现，关于非参数计量经济学理论方法的研究，一直是理论计量一个重要的和前沿的研究领域．在应用研究方面，将非参数、半参数模型方法与微观计量、宏观计量以及金融计量结合，也成为这些计量经济学分支领域的研究热点．在国外著名大学的经济学研究生课程表中，非参数计量经济学已经成为计量经济学高级课程重要的一部分．在国内，近年来，一批年青学者将该领域作为主要研究方向，在跟踪研究的同时，取得了一些创新成果；不少大学已经将非参数计量经济学纳入研究生高级计量经济学的教学内容，甚至为博士研究生开设了专门的课程． 但是，国内目前关于非参数计量经济学的出版物相当少．2003年7月，南开 大学出版社出版了叶阿忠教授的《非参数计量经济学二》一书，在它的序言中，我写下了如下一段话：“在国内，尚缺少全面系统的、既具有学术水平又具有应用 指导价值的著作奉献给广大读者．在这个意义上，这本《非参数计量经济学》填补了这个空白．”时隔几年，这种状况没有改变．从这个意义上说，叶阿忠教授即将出版的《非参数和半参数计量经济模型理论》专著对于推动国内的计量经济学研究与教学都具有十分重要的价值． 叶阿忠教授近10年来以非参数计量经济学模型理论为自己的主要研究方向， 取得了显著的成绩，完成了国家自然科学基金项目“半参数计量经济联立模型单 方程估计方法的理论研究”、教育部人文社会科学基金项目“非参数计量经济模 型的理论研究”和教育部人文社会科学重点研究基地重大项目“非经典计量经济
半参数混合效应模型的稳健估计 【摘要】:人们利用实际观测数据作统计推断时,一些假定是必不可少的。然而这些假定与实际情况几乎不可能完全相符,只是实际情况一种近似描述。人们通常希望所假定的统计模型与实际数据之间微小的差异不会对最终结论产生大的影响,但是实际情况并非人们所希望的那样。最近几十年来,人们发现假定模型与实际数据之间看上去微小的偏离会对很多常用的统计方法产生很大的影响。因此,开始研究稳健的统计方法。所谓“稳健的统计方法”简单的说就是指那些对模型假定与实际数据之间存在的微小偏差不敏感的统计方法。或者说模型假定与实际数据之间的微小偏差对这些方法影响不大。八十年代中期,Green等(1985在研究农业实验和Engle等(1986在研究气候条件对电力需求的影响这两个实际问题时分别独立地提出了一种重要的统计模型,即半参数统计模型。在此基础上又发展到半参数混合效应模型。半参数混合效应模型,既含有固定效应,又含有随机效应;既含有参数部分,又含有非参数部分,综合了参数模型,非参数模型以及混合效应模型的诸多优点,具有更大的灵活性,也更加接近现实,充分利用了数据中的信息。而广义半参数混合效应模型则是半参数混合效应模型与广义线性模型的自然推广。本论文针对半参数混合效应模型,研究了它的稳健统计推断问题。现将主要内容概述如下:1.第一章首先简要地介绍了半参数混合效应模型;其次,介绍了稳健统计的背景和研究现状;并介绍了广义估计方程的背景和研究现状;最后, 介绍了本文的主要工作。2.第二章主要研究了广义半参数混合效应模型均值部分的稳健估计问题,包括回归参数和非参数函数的稳健估计。主要内容包括:首先基于B-样条的非参数方法,构造了带有条件数学期望的稳健估计方程;第二,利用MonteCarloMarkovChain(MCMC方法从随机效应后验分布中抽取样本来估计稳健估计方程中的条件期望;第三,给出了稳健估计的渐近性质;第四,通过随机模拟检验稳健估计的有效性,并在正态模型下与He,FungZhu(2005中提出的稳健估计进行了比较,发现在数据中存在异常点时,该模型下我们研究的稳健估计具有更高的效率。最后,通过对四个实际例子的分析说明了方法的可行性。3.第三章主要研究了响应变量为连续变量的半参数模型下协方差参数的稳健估计。首先,构造了均值分量和协
? 陈强,《高级计量经济学及Stata 应用》课件，第二版，2014 年，高等教育出版社。 第 27 章非参数与半参数估计 27.1 为什么需要非参数与半参数估计 “参数估计法”(parametric estimation)假设总体服从带未知参数的某个分布(比如正态)，或具体的回归函数，然后估计这些参数。 其缺点是，对模型设定所作的假定较强，可能导致较大的设定误差，不够稳健。 1
“非参数估计法”(nonparametric estimation)一般不对模型的具体分布或函数形式作任何假定，更为稳健。 缺点是要求样本容量较大，且估计量收敛的速度较慢。 作为折衷，同时包含参数部分与非参数部分的“半参数方法” (semiparametric estimation)，降低对样本容量的要求，又有一定稳健性。 非参及半参方法与传统的参数法互补；后者不太适用时，可考虑前者。 2
27.2 对密度函数的非参数估计 考虑根据样本数据来推断总体的分布，即密度函数。 如用参数估计法，则先对总体分布的具体形式进行假定。 比如，假设总体服从正态分布N (μ, σ2)，然后估计参数(μ, σ2 )。如果真实总体与正态分布相去甚远，则统计推断有较大偏差。 如不假设总体分布的具体形式，则为非参数方法。 最原始的非参数方法是画直方图，即将数据的取值范围等分为若干组，计算数据落入每组的频率，以此画图，作为对密度函数的估计。 3
直方图的缺点是，即使随机变量连续，直方图始终是不连续的阶梯函数。 为得到对密度函数的光滑估计，Rosenblatt(1956)提出“核密度估计法”(kernel density estimation)。 首先考察直方图的数学本质。假设要估计连续型随机变量x 在x 0处的概率密度f (x )。 概率密度f (x 0 )是累积分布函数F (x)在x 处的导数： f (x ) = lim h→0 F (x +h) -F (x 2h -h) = lim P(x0-h < x
相关主题
文本预览