下载文档原格式
用R语言做非参数和半参数回归笔记由詹鹏整理，仅供交流和学习根据南京财经大学统计系孙瑞博副教授的课件修改，在此感谢孙老师的辛勤付出！教材为：Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd. 2008.-------------------------------------------------------------------------第一章 introduction: Global versus Local Statistic一、主要参考书目及说明1、Hardle(1994). Applied Nonparametic Regresstion. 较早的经典书2、Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer. 结构清晰3、Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton. 较全面和深入的介绍，偏难4、Pagan and Ullah (1999). Nonparametric Econometrics. 经典5、Yatchew(2003). Semiparametric Regression for the Applied Econometrician. 例子不错6、高铁梅（2009）. 计量经济分析方法与建模：EVIEWS应用及实例（第二版）. 清华大学出版社. （P127/143）7、李雪松（2008）. 高级计量经济学. 中国社会科学出版社. （P45 ch3）8、陈强（2010）. 高级计量经济学及Stata应用. 高教出版社. （ch23/24）【其他参看原ppt第一章】二、内容简介方法：——移动平均（moving average）——核光滑（Kernel smoothing）——K近邻光滑（K-NN）——局部多项式回归（Local Polynormal）——Loesss and Lowess——样条光滑（Smoothing Spline）——B-spline——Friedman Supersmoother模型：——非参数密度估计——非参数回归模型——非参数回归模型——时间序列的半参数模型——Panel data 的半参数模型——Quantile Regression三、不同的模型形式1、线性模型linear models2、Nonlinear in variables3、Nonlinear in parameters四、数据转换 Power transformation（对参数方法）In the GLM framework, models are equally prone(倾向于) to some misspecification （不规范） from an incorrect functional form.It would be prudent（谨慎的） to test that the effect of any independent variable of a model does not have a nonlinear effect. If it does have a nonlinear effect, analysts in the social science usually rely on Power Transformations to address nonlinearity. [ADD: 检验方法见Sanford Weisberg. Applied Linear Regression (Third Edition). A John Wiley & Sons, Inc., Publication.（本科的应用回归分析课教材）]----------------------------------------------------------------------------第二章 Nonparametric Density Estimation非参数密度估计一、三种方法1、直方图 Hiatogram2、Kernel density estimate3、K nearest-neighbors estimate二、Histogram 对直方图的一个数值解释Suppose x1,…xN – f(x), the density function f(x) is unknown.One can use the following function to estimate f(x)【与x的距离小于h的所有点的个数】三、Kernel density estimateBandwidth: h; Window width: 2h.1、Kernel function的条件The kernel function K(.) is a continuous function, symmetric(对称的) around zero, that integrates(积分) to unity and satisfies additional bounded conditions:(1) K() is symmetric around 0 and is continuous;(2) ,,;(3) Either(a) K(z)=0 if |z|>=z0 for z0Or(b) |z|K(z) à0 as ;(4) , where is a constant.2、主要函数形式3、置信区间其中，4、窗宽的选择实际应用中，。
CY⾮参数回归介绍⾮参数回归简介⼀、参数回归与⾮参数回归的特点⽆论是线性回归还是⾮线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最⼤优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式⼀旦固定，就⽐较呆板，往往拟合效果较差。
另⼀类回归，⾮参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却⽐较好。
参数回归与⾮参数回归的优缺点⽐较：参数回归：优点： (1).模型形式简单明确，仅由⼀些参数表达(eg: y=a+bx+e, a,b为待估参数)(2).在经济中，模型的参数⼀般都具有明确的经济含义(3).当模型参数假设成⽴，统计推断的精度较⾼，能经受实际检验(4).模型能够进⾏外推运算(5).模型可以⽤于⼩样本的统计推断缺点： (1).回归函数的形式预先假定(2).模型限制较多：⼀般要求样本满⾜某种分布要求，随机误差满⾜正态假设，解释变量间独⽴，解释变量与随机误差不相关，等(3).需要对模型的参数进⾏严格的检验推断，步骤较多(4).模型泛化能⼒弱，缺乏稳健性，当模型假设不成⽴，拟合效果不好，需要修正或者甚⾄更换模型⾮参数回归：优点； (1).回归函数形式⾃由，受约束少，对数据的分布⼀般不做任何要求(2).适应能⼒强，稳健性⾼，回归模型完全由数据驱动(3).模型的精度⾼(4).对于⾮线性、⾮齐次问题，有⾮常好的效果缺点： (1).不能进⾏外推运算 (2).估计的收敛速度慢(3).⼀般只有在⼤样本的情况下才能得到很好的效果，⽽⼩样本的效果较差(4).⾼维诅咒, 光滑参数的选取⼀般较复杂⼆、⾮参数回归的⽅法简介⾮参数回归⽅法样条光滑正交回归核回归：N-W估计、P-C估计、G-M估计局部多项式回归：线性、多项式光滑样条：光滑样条、B样条近邻回归：k-NN、k近邻核、对称近邻正交级数光滑局部回归Fourier级数光滑wavelet光滑处理⾼维的⾮参数⽅法：多元局部回归、薄⽚样条、可加模型、投影寻踪、回归树、张量积等。
非参数回归的介绍非参数回归是一种机器学习方法，用于建立数据之间的关系模型，而不依赖于预设模型的形式。
与传统的线性回归相比，非参数回归不对模型的形状施加任何限制，而是根据数据本身的分布情况来估计模型。
这使得非参数回归能够更好地适应各种类型的数据，包括非线性、非正态分布等等。
非参数回归的核心思想是基于样本数据的分布情况来估计目标函数。
传统的线性回归假设目标函数是线性的，并且通过最小二乘法来拟合数据和估计参数。
然而，这种假设可能无法满足真实世界中复杂的非线性关系，因此非参数回归通过灵活的模型拟合方法来解决这个问题。
在非参数回归中，我们通常使用核函数来逼近目标函数。
核函数是一个局部加权回归方法，它将目标函数估计为一些核函数在样本点附近的加权线性组合。
核函数的具体形式可以是高斯核、三角核、Epanechnikov核等。
这些核函数都有一个特点，即在样本点附近有较高的权重，而在样本点远离的地方权重则较低。
另一个非参数回归的优点是它不需要预先假设数据的分布。
线性回归通常假设数据是正态分布的，但在现实中往往无法满足这个假设。
非参数回归可以通过直接根据数据本身的分布情况进行估计，而不需要预设模型的形式。
这使得非参数回归更对真实数据的特点进行建模。
非参数回归还经常用于探索性数据分析和模型评估。
通过非参数回归，我们可以揭示变量之间的复杂关系，获得对目标函数的更深入的理解。
此外，在模型评估中，非参数回归可以用作基准模型，以便与其他模型进行比较和评估。
然而，非参数回归也存在一些局限性。
首先，非参数回归可能需要大量的计算资源，特别是对于大规模的数据集来说。
由于没有预设模型的形式，非参数回归需要在整个数据集上进行计算以估计模型参数，这在计算上是非常昂贵的。
此外，由于非参数回归没有对模型进行约束，可能容易出现过拟合问题。
为了解决这些问题，可以采取一些方法来提高非参数回归的性能。
一种方法是将非参数回归与其他技术结合使用，例如局部加权回归、岭回归等。
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
非参数回归分析非参数回归分析是一种无需对数据分布做出假设的统计方法，它通过学习数据的内在结构来建立模型。
与传统的参数回归分析相比，非参数回归分析更加灵活，适用于各种复杂的数据分布。
本文将介绍非参数回归分析的基本原理和应用场景，并通过实例来说明其实际应用。
一、非参数回归分析的原理非参数回归分析是通过将目标变量与自变量之间的关系建模为一个未知的、非线性的函数形式，并通过样本数据来估计这个函数。
与参数回归分析不同的是，非参数回归模型不需要表示目标变量与自变量之间的具体函数形式，而是通过样本数据来学习函数的结构和特征。
在非参数回归分析中，最常用的方法是核密度估计和局部加权回归。
核密度估计使用核函数对数据进行平滑处理，从而得到目标变量在不同自变量取值处的概率密度估计。
局部加权回归则是通过在拟合过程中给予靠近目标变量较近的样本点更大的权重，从而对目标变量与自变量之间的关系进行拟合。
二、非参数回归分析的应用场景1. 数据分布未知或复杂的情况下，非参数回归分析可以灵活地适应不同的数据分布，从而得到较为准确的模型。
2. 非线性关系的建模，非参数回归分析可以对目标变量与自变量之间的非线性关系进行拟合，从而获得更准确的预测结果。
3. 数据量较小或样本信息有限的情况下，非参数回归分析不需要对数据分布做出假设，并且可以通过样本数据来学习模型的结构，因此对数据量较小的情况下也具有一定的优势。
三、非参数回归分析的实际应用为了更好地理解非参数回归分析的实际应用，以下通过一个实例来说明。
假设我们有一组汽车销售数据，包括了汽车的价格和其对应的里程数。
我们希望通过这些数据预测汽车的价格与里程数之间的关系。
首先，我们可以使用核密度估计方法来估计汽车价格与里程数之间的概率密度关系。
通过对价格和里程数进行核密度估计，我们可以得到一个二维概率密度图，显示了不同价格和里程数组合的概率密度。
接下来，我们可以使用局部加权回归方法来拟合汽车价格与里程数之间的关系。
第7章ANCOV A（协方差分析）：非参数和随机方法Peter S. PetraitisSteven J. BeaupreArthur E. Dunham7.1生态学问题生态学参数往往不能满足参数假定的要求。
当这种情况发生时，随机方法是更常用的参数方法，比如协方差分析（ANCOV A）和回归分析的一个很好的替代选择，。
使用随机方法很简单，并且由于标准参数ANCOV A为生态学家所熟知，我们用它来激发对非参数和随机方法的优点和存在问题的讨论。
我们通过对检验随机和非参数方法分析性别和生境影响响尾蛇种群的个体大小来进行讨论，年龄在这里被作为一个混淆（confounding）因素考虑。
个体大小的变异常见于许多动物中（即, 无脊椎动物: Paine 1976; Lynch1977; Sebens 1982; Holomuzki 1989; 两栖动物: Nevo 1973; Berven1982；Bruce和Hairson 1990; 有鳞的爬行动物：Tinkle 1972；Dunham 1982; Schwaner 1985; Dunham等1989; 哺乳动物：Boyce 1978；Melton 1982; Ralls和Harvey 1985）, 并且由于其与许多繁殖特征, 比如成熟年龄，子代个体的数量和大小，和亲代对子代的投入, 有协变关系，从而引起进化生态学家的极大兴趣，（Stearns 1992; Roff 180, 1992）。
对个体大小变异的解释包括资源的季节性，质量和可利用性（如，Case 1978; Palmer 1984; Schwaner和Sarre 1988）, 基于个体大小的捕食性（Paine 1976）, 种群密度（Sigurjonsdottir 1984）, 特性替代（Huey和Pianka 1974; Huey 等1974）和生长速率的渐变变异（Roff 1980）。
然而个体大小的地理变异可能常由于个体大小决定的生长速率和种群年龄结构的相互作用所致。
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
这个表达式表明，g n (X )总是Y i 的线性组合，一个Y i 对应个W i 。
不过W i 与X i 倒没有对应关系，W i 如何生成，也许不仅与X i 有关，而且可能与全体的｛X i ｝或部分的｛X i ｝有关，要视具体函数而定，所以W i (X )写得更仔细一点应该是W i (X ；X 1，…,X n )。
这个权函数形式实际也包括了线性回归。
如果i i i X Y εβ+'=，则Y X X X X X ii '''='-1)(ˆβ，也是Y i 的线性组合。
在一般实际问题中，权函数都满足下述条件：1),,;(,0),,;(111=≥∑=n ni i n i X X X W X X X W（7.1.4）如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满足配方条件的权函数为概率权。
下面我们结合具体回归函数看权函数的具体形式。
1．核函数法选定R m 空间上的核函数K ，一般取概率密度。
如果取正交多项式则可能不满足配方条件。
然后令∑=⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫ ⎝⎛-=n i n in in i a X X aX X K X X X W 11/),,;( （7.1.5）显然∑==ni iW11。
此时回归函数就是i ni nj n i n i n i i i Ya X X K a X X K Y X W X g Y ∑∑∑===⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫⎝⎛-===111)()( （7.1.6）2．最近邻函数法首先引进一个距离函数，用来衡量R m 空间中两点u = (u 1，…，u m ) 和v = (v 1，…，v m ) 的距离‖u -v ‖。
可以选欧氏距离∑=-=-ni i iuu 122)(||||υυ，也可以选||||max ||||1i i ni u u υυ-=-≤≤。
为了反映各分量的重要程度，可以引进权因子C 1，…,C n ，使｛C i ｝也满足配方条件。
然后将距离函数改进为∑=-=-ni i i i u C u 122)(||||υυ（7.1.7） ||max |||12i i i ni u C u υυ-=-≤≤（7.1.8）现在设有了样本(Y i ，X i )，i =1,…,n ，并指定空间中之任一点X ，我们来估计回归函数在该点的值g (X )。
将X 1，…，X n 按在所选距离‖·‖意义下与X 接近的程度排序：||||||||||||21X X X X X X n k k k -<<-<-（7.1.9）这表示点1k X 与X 距离最近，就赋以权函数k 1；与X 距离次近的2k X 就赋予权函数k 2。
…，等等。
这里的n 个权函数k 1,…,k n 也满足配方条件，并且按从大到小排序，即∑==>≥≥≥ni i n k k k k 1211 ,0（7.1.10）就是n i k X X X W i n k i ,,1 ,),,;(1 ==（7.1.11）若在｛‖X i -X ‖, i =1,…,n ｝中有相等的，可将这n 个相等的应该赋有的权取平均。
比如若前两名相等，‖X 1-X ‖=‖X 2-X ‖, 就令W 1 = W 2=)(2121k k +。
这样最近邻回归函数就是∑∑∑=======ni ni ni i i i i i n i Y X k Y k Y X X X W X g Y 1111)(),,;()(（7.1.12）k i 尽管是n 个常数，事先已选好，但到底排列次序如何与X 有关，故可记为k i (X )。
三、权函数估计的矩相合性首先解释矩相合性的概念。
如果对样本 (Y i ，X i )，i =1,…,n 构造了权函数W i = W i (X )=W I (X ;X 1,…,X n )，有了回归函数g (X )的权函数估计∑==ni ii n YW X g 1)(，当Y 的r 阶矩存在(E |Y |r <∞)时，若0|)()(|lim =-∞→r n n X g X g E（7.1.13）则称这样的权函数为矩相合的权函数。
在什么样的条件下构造的权函数是矩相合的呢? Stone(1977)提出了很一般的，几乎是充分必要的条件。
下面我们考虑其充分性条件，并限于考虑概率权。
定理7.1.1 设概率权｛W i ｝满足下述条件： (1)存在有限常数C ，使对R m 上任何非负可测函数(连续函数与分段连续函数是最常见的可测函数)f , 必有)()(1X CEf X f W E n i i i ≤⎪⎭⎫⎝⎛∑= （7.1.14）(2)∀ε>0, 当n →∞时，01)||(||−→−∑=≥-Pni X X i i I W ε （7.1.15）(3)当n →∞时，0max 1−→−≤≤Pi ni W （7.1.16）则｛W i ｝是矩相合的权函数。
定理条件可以作一些直观解释。
条件(1)可以作如下理解，因为权函数是概率权，必有|W i |<1，i =1,…,n 。
于是∑∑∑∑=====≤≤⎪⎭⎫⎝⎛n i n i ni i i i i n i i i X f E X f E X f W E X f W E 1111)()()()(（7.1.17）这里取的是C =1。
因此条件(1)可以说不叫做一个条件。
条件(2)是说，与X 的距离超过一定值的那些X i ，对应算出来的权函数之和很小，也就是说，权函数的值主要取决于那些与X 邻近的X i 的值。
这个条件合理。
条件(3)是说，当n 越来越大时，各个权系数将越来越小，这也是合理的要求。
在证明本定理之前，先证两个引理。
引理7.1.1 设概率权函数｛W i ｝适合定理7.1.1的条件(1)及(2)，又对某个r , E |f (X )|r <∞，则0)()()(lim 1=⎪⎭⎫⎝⎛-∑=∞→r i n i i n X f X f X W E （7.1.18）证明 先设f 在R m 上有界且一致连续，则任给ε>0，存在ε>0，当‖u -v ‖≢ε时，|f (u )-f (v )|≢(ε/2)1/r 。
于是εη>-==∑∑+≤-)(||11)()2(2)()()(X X ni irrini ii IX W M X f X f X W （7.1.19）其中)(sup X f M X=，此处X 表示具体取值。
由条件(2)，上式右边第二项依概率收敛于0且不大于1。
依控制收敛定理有0)(lim 1)(||=⎪⎭⎫⎝⎛∑=>-∞→n i X X i n i I X W E ε （7.1.20）故存在n 0，使当n ≣n 0时，有2)(1)(||ηε≤⎪⎭⎫ ⎝⎛∑=>-n i X X i i I X W E（7.1.21）因此当n ≣n 0时，有η≤⎪⎭⎫⎝⎛-∑=n i r i i X f X f X W E 1|)()(|)(（7.1.22）于是对这种一致连续的f ，引理得证。
证毕对一般的函数f ，取一个在R m上连续，且在一有界域之外为0的函数f ~，使∞<2)(~X f E ，且η<-rX f X f E )(~)(，这里ε是事先指定的。
因为⎭⎬⎫⎪⎭⎫ ⎝⎛-+⎪⎭⎫ ⎝⎛-+⎩⎨⎧⎪⎭⎫ ⎝⎛-≤⎪⎭⎫ ⎝⎛-∑∑∑∑===-=r ni i r i i ni i r i ni i r r i n i i X f X f X W E X f X f X W E X f X f X W X f X f X W E |)()(~|)(|)()(~|)( |)(~)(|)(3)()()(11111 （7.1.23）右边括号里第三项等于η<-r X f X f E )()(~；第一项根据条件(1)不超过ηC X f X f CE r <-)()(~；因为f ~在R m 上有界且一致连续，由前面已证结果知当n →∞时，第二项将趋于0。
因此η)1(3|)()(|)(lim 11+≤⎪⎭⎫⎝⎛--=∞→∑C X f X f X W E r r i n i i n （7.1.24） ε是任意的，故引理得证。
证毕引理7.1.2 设｛W i ｝为满足定理7.1.1三个条件的概率权，函数f 非负且∞<)(X Ef ，则0)()(lim 12=⎪⎭⎫⎝⎛∑=∞→i n i i n X f X W E （7.1.25）证明 定义一组新的概率权函数2i i W W ='，由于0≢W i ≢1, 故0≢i W '≢1。
