第七章 非参数回归模型与半参数回归模型
第一节 非参数回归与权函数法
一、非参数回归概念
前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称
g (X ) = E (Y |X ) （7.1.1）
为Y 对X 的回归函数。我们证明了这样的回归函数可使误差平方和最小，即
22)]([min )]|([X L Y E X Y E Y E L
-=-
（7.1.2）
这里L 是关于X 的一切函数类。当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。 所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法
非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：
∑==n
i i i n Y X W X g 1
)()(
（7.1.3）
其中｛W i (X )｝称为权函数。这个表达式表明，g n (X )总是Y i 的线性组合，一个Y i 对应个W i 。不过W i 与X i 倒没有对应关系，W i 如何生成，也许不仅与X i 有关，而且可能与全体的｛X i ｝或部分的｛X i ｝有关，要视具体函数而定，所以W i (X )写得更仔细一点应该是W i (X ；X 1，…,X n )。
这个权函数形式实际也包括了线性回归。如果i i i X Y εβ+'=，则Y X X X X X i
i '''='-1)(?β，也是Y i 的线性组合。
在一般实际问题中，权函数都满足下述条件：
1),,;(,0),,;(11
1=≥∑=n n
i i n i X X X W X X X W
（7.1.4）
如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满足配方条件的权函数为概率权。
下面我们结合具体回归函数看权函数的具体形式。 1．核函数法
选定R m 空间上的核函数K ，一般取概率密度。如果取正交多项式则可能不满足配方条件。然后令
∑=???
? ??-???? ?
?-=n i n i
n i
n i a X X a
X X K X X X W 11/),,;( （7.1.5）
显然
∑==n
i i
W
1
1。此时回归函数就是
i n
i n
j n i n i n i i i Y
a X X K a X X K Y X W X g Y ∑∑∑===???
? ??-????
??-===1
11)()( （7.1.6）
2．最近邻函数法
首先引进一个距离函数，用来衡量R m 空间中两点u = (u 1，…，u m ) 和v = (v 1，…，v m ) 的距离‖u -v ‖。可以选欧氏距离∑=-=
-n
i i i
u
u 1
22
)(||||υυ，
也可以选||||max ||||1i i n
i u u υυ-=-≤≤。为了反映各分量的重要程度，可以引进权因子C 1，…,C n ，使｛C i ｝也满足配方条件。然后将距离函数改进为
∑=-=-n
i i i i u C u 1
22
)(||||υυ
（7.1.7） ||max |||12i i i n
i u C u υυ-=-≤≤
（7.1.8）
现在设有了样本(Y i ，X i )，i =1,…,n ，并指定空间中之任一点X ，我们来估计回归函数在该
点的值g (X )。将X 1，…，X n 按在所选距离‖·‖意义下与X 接近的程度排序：
||||||||||||21X X X X X X n k k k -<<-<-
（7.1.9）
这表示点1k X 与X 距离最近，就赋以权函数k 1；与X 距离次近的2k X 就赋予权函数k 2。…，等等。这里的n 个权函数k 1,…,k n 也满足配方条件，并且按从大到小排序，即
∑==>≥≥≥n
i i n k k k k 1
211 ,0
（7.1.10）
就是
n i k X X X W i n k i ,,1 ,),,;(1 ==
（7.1.11）
若在｛‖X i -X ‖, i =1,…,n ｝中有相等的，可将这n 个相等的应该赋有的权取平均。比如若前两名相等，‖X 1-X ‖=‖X 2-X ‖, 就令W 1 = W 2=
)(2
1
21k k +。 这样最近邻回归函数就是
∑∑∑=======n
i n
i n
i i i i i i n i Y X k Y k Y X X X W X g Y 1
1
1
1)(),,;()(
（7.1.12）
k i 尽管是n 个常数，事先已选好，但到底排列次序如何与X 有关，故可记为k i (X )。
三、权函数估计的矩相合性
首先解释矩相合性的概念。如果对样本 (Y i ，X i )，i =1,…,n 构造了权函数W i = W i (X )=W I (X ;X 1,…,X n )，有了回归函数g (X )的权函数估计∑==n
i i
i n Y
W X g 1
)(，当Y 的r 阶矩存在
(E |Y |r <∞)时，若
0|)()(|lim =-∞
→r n n X g X g E
（7.1.13）
则称这样的权函数为矩相合的权函数。
在什么样的条件下构造的权函数是矩相合的呢? Stone(1977)提出了很一般的，几乎是充分必要的条件。下面我们考虑其充分性条件，并限于考虑概率权。 定理7.1.1 设概率权｛W i ｝满足下述条件： (1)存在有限常数C ，使对R m 上任何非负可测函数(连续函数与分段连续函数是最常见的可测函数)f , 必有
)()(1X CEf X f W E n i i i ≤??
?
??∑= （7.1.14）
(2)?ε>0, 当n →∞时，
01
)||(||?→?∑=≥-P
n
i X X i i I W ε （7.1.15）
(3)当n →∞时，
0max 1?→?
≤≤P
i n
i W （7.1.16）
则｛W i ｝是矩相合的权函数。
定理条件可以作一些直观解释。条件(1)可以作如下理解，因为权函数是概率权，必有|W i |<1，i =1,…,n 。于是
∑∑∑∑=====≤≤??
?
??n i n i n
i i i i i n i i i X f E X f E X f W E X f W E 1111)()()()(
（7.1.17）
这里取的是C =1。因此条件(1)可以说不叫做一个条件。条件(2)是说，与X 的距离超过一定值
的那些X i ，对应算出来的权函数之和很小，也就是说，权函数的值主要取决于那些与X 邻近的X i 的值。这个条件合理。条件(3)是说，当n 越来越大时，各个权系数将越来越小，这也是合理的要求。
在证明本定理之前，先证两个引理。
引理7.1.1 设概率权函数｛W i ｝适合定理7.1.1的条件(1)及(2)，又对某个r , E |f (X )|r <∞，则
0)()()(lim 1=??
?
??-∑=∞
→r i n i i n X f X f X W E （7.1.18）
证明 先设f 在R m 上有界且一致连续，则任给ε>0，存在ε>0，当‖u -v ‖?ε时，|f (u )-f (v )|
?(ε/2)1/r 。于是
ε
η
>-==∑∑+≤
-)(||1
1)()
2(2
)
()()(X X n
i i
r
r
i
n
i i
i I
X W M X f X f X W （7.1.19）
其中)(sup X f M X
=，此处X 表示具体取值。由条件(2)，上式右边第二项依概率收敛于0且不大于1。依控制收敛定理有
0)(lim 1)(||=??
?
??∑=>-∞
→n i X X i n i I X W E ε （7.1.20）
故存在n 0，使当n ?n 0时，有
2
)(1)(||ηε≤??? ??∑=>-n i X X i i I X W E
（7.1.21）
因此当n ?n 0时，有
η≤??
?
??-∑=n i r i i X f X f X W E 1|)()(|)(
（7.1.22）
于是对这种一致连续的f ，引理得证。 证毕
对一般的函数f ，取一个在R m
上连续，且在一有界域之外为0的函数f ~
，使∞<2)(~X f E ，
且η<-r
X f X f E )(~
)(，这里ε是事先指定的。因为
?
?
???? ??-+??? ??-+????
?? ??-≤??? ??-∑∑∑∑===-=r n
i i r i i n
i i r i n
i i r r i n i i X f X f X W E X f X f X W E X f X f X W X f X f X W E |)()(~|)(|)()(~|)( |)(~)(|)(3)()()(111
11 （7.1.23）
右边括号里第三项等于η<-r X f X f E )()(~
；第一项根据条件(1)不超过ηC X f X f CE r <-)()(~；因为f ~
在R m 上有界且一致连续，由前面已证结果知当n →∞时，
第二项将趋于0。因此
η)1(3|)()(|)(lim 11+≤??
?
??--=∞
→∑C X f X f X W E r r i n i i n （7.1.24） ε是任意的，故引理得证。
证毕
引理7.1.2 设｛W i ｝为满足定理7.1.1三个条件的概率权，函数f 非负且∞<)(X Ef ，则
0)()(lim 12=??
?
??∑=∞
→i n i i n X f X W E （7.1.25）
证明 定义一组新的概率权函数2i i W W ='，由于0?W i ?1, 故0?i W '?1。于是由引理7.1.1，有
0|)()(|)(lim 12=??
?
??-∑=∞
→i n i i n X f X f X W E
（7.1.26）
因为0?
∑=n
i i
W
1
2
?1，由条件(3)知
0m a x )m a x (11
1
12
?→?=≤≤≤==≤≤∑∑P
i
n
i n
i i n i i n
i i W W W W （7.1.27）
故由控制收敛定理有
0)()(l i m 12=??
? ??∑=∞
→n i i n X f X W E （7.1.28） 综合两个极限式可知本引理成立。
证毕
下面我们证明定理7.1.1。
先设r =2, 则E (Y 2)<∞。令
)|()(),|(),|(X Y E X f X Y E Y Z X Y E Y Z i i i i =-=-=
（7.1.29）
由E (Y 2)<∞知E (Z 2)<∞，故
h (X ) = E (Z 2|X )
（7.1.30）
存在。又
∞<≤∞<==)())((,))((,0)|()|(22Z E X h E X f E X Z E X Z E i i
（7.1.31）
还须注意：f (X i ) = E (Y i |X i ) (而非E (Y |X i ))。因此按定义
i x x i x X Y E X f ===|)|()(
而因为 (X ，Y ) 与 (X i ，Y i )同分布，有E (Y |X =x ) = E (Y i |X i =x )。故
)|(|)|()(i i x x i i i X Y E x X Y E X f i ====
现有
∑∑==+??? ??-=-n
i i i n i i i n Z X W X f X f X W X g X g 1
1)()()()()()(
（7.1.31）
因 E | f (X ) |2<∞，依引理7.1.1，有
0)()()(lim 2
1=??
?
??-∑=∞
→n i i i n X f X f X W E （7.1.32）
又若将X 固定为x ，则有
??
?
?????????? ??=??? ??∑∑==∞
→n n
i i i n i i i n X X Z x W E Z x W E ,,)()(lim 12
1
21 （7.1.33）
注意到当X 固定为x 而X 1，…, X n 也给定时，W i (x )成为常数，而Z 1，…, Z n 在给定X 1，…，
X n 时，条件相互独立，再注意到E (Z i |X i )=0，由上式有
??
? ??=??? ??=??? ??∑∑∑===n i i i n i i i i n
i i i X h x W E X Z E x W E Z x W E 1212
22
1)()()|()()(
因此式对一切x 都成立，有
??
? ??=??? ??∑∑==n i i i n i i i X h X W E Z X W E 122
1)()()(
（7.1.34）
考虑到E (h (X ))<∞，h ?0，由引理6.4及上式，知
0)(lim 1=??
?
??∑=∞
→n i i i n Z X W E
（7.1.35）
合并考虑 (7.1.31)，(7.1.32) 和上式，得0|)()(|lim 2
=-∞
→X g X g E n n 。这证明了定理当r =2的情况。
现在设r ?1, E |Y | r <∞。定义截断函数Y (K) ：
??
?
??>≤-<-=K Y K K Y Y K Y K Y K || ||
)
(当当当 （7.1.36）
类似地定义)
(K i
Y (只须把上式中的Y 都改为Y i )。因W i ?0，
1 ,11
≥=∑=r W
n
i i
，有
∑∑==-≤??
? ??-n
i r K i i i r
n i K i i i Y Y x W Y Y x W 1)(1)(||)(||)(
（7.1.37）
记)||(|)()(x X Y Y E x h r K K =-=，则
0||lim )(lim )(=-=∞
→∞
→r
K K K K Y
Y E X Eh
（7.1.38）
且)()|(|)(i M i r
M i
i X h X Y Y E =-。由此得
??
??????????? ??-=??? ??-∑∑==n r n i K i i i r n i K i
i i X X Y Y x W EE Y Y x W E ,,|||)(||)(11)
(1)( ??
? ??=??????-≤∑∑==n i i k i n i n r
K i i i X h x W E X X Y Y x W EE 111)()()(,,||)(
因为此式对一切x 成立，有
))(()()(||)(11)(X h CE X h x W E Y Y x W E k n i i k i r
n i K i i i ≤??
? ??=??? ??-∑∑==
（7.1.39）
上式最后一不等式是根据定理的条件(1)。由 (7.1.38) 及上式，知当K 充分大时，对n 一致地
成立
3/||)(1)(ε
?
??-∑=r
n i K i i i Y Y x W E （7.1.40）
又当K →∞时有
0|||)|(||)|()|(|)()()(→-≤-=-r K r K r K Y Y E X Y Y E E X Y E X Y E E
（7.1.41）
现有
∑∑∑==-=-+??
? ??-+-≤-=-n
i r
K i i K r
n i K i i i r
K r r
n
i i i r
n Y X W X Y
E E Y Y X W E X Y E X Y E E Y X W X Y E E X g X g E 1
)()
(1)()(11
|)()|(| ||)(|)|()|(|{3 ||)()|(||)()(|
（7.1.42）
因为Y (K)有界，其二阶矩有限，故由已证的r =2的情况，知
∑=∞
→=-n
i K i i K n Y X W X Y
E E 1
2)()
(0|)()|(|lim
（7.1.43）
由于|Y (K ) |?K , 而W i 为概率权，故由上式推出对任何r ?1有
∑=∞
→=-n
i r K i i K n Y X W X Y
E E 1
)()
(0|)()|(|lim
（7.1.44）
任给ε>0，先找K 0，使当K ? K 0时，对一切n 成立 (7.1.40)。又依 (7.1.41)，找K 1，使当K
?K 1时有E | E ( Y | X )- E ( Y (K ) | X )| r <ε/3。固定K = max ( K 0, K 1)。根据上式，存在n 0, 使当n ?n 0时
∑=<-n
i r K i i K Y X W X Y
E E 1
)()
(3/|)()|(|ε
（7.1.45）
这时由 (7.1.42)推出：当n ? n 0时有
ε13|)()(|-<-r r n X g X g E
（7.1.46）
这就证明了权函数的矩相合性。 证毕
关于权函数估计的收敛性质还有更多更深入的讨论，如逐点矩相合性，强相合性等，有兴趣的读者可参看有关专着。这里引述Stone 的成果，一是因为它是基本的，可以作为入门的引子；二是因为它是一般的，概括了核估计、最近邻估计、样条估计、小波估计等具体形式。
算例7.1.3 一元非参数回归
本算例利用核估计给出一元非参数回归。计算过程如下。
------------------------------------------------------------------------------------------------------------------------- 一般非参数回归模型计算程序, 例 7.1.4
模型及数据结构说明:
本项程序计算一般非参数回归模型:
Y(i)=g(t(i)) +ε(i)
i=1,2,...,n, 0<= t <=1
其中函数 g 未知待估.
资料准备要点: 因变量 Y 在数据第一列, 自变量 t 是 1 维,
例713.D 数据文件中, n=50
要打印原始资料吗? 0= 不打印, 1= 打印 (1)
打印 Y 的原始资料
1.188100 1.833400 1.081500
2.868000 0.616500
1.067000 1.185200 0.836500 1.805300 1.084800
0.412000 1.315900 1.362600 1.303200 1.731700
0.622000 0.430500 0.997600 1.285700 1.620900
1.329200 1.605700 1.687600 1.376800 1.251000
1.145600 0.743300 0.728600 0.865800 -0.171800
0.923800 0.872400 1.989900 0.009500 0.307900
0.172600 0.282300 0.225500 1.126200 1.365100
1.712400 0.864400 0.882600 1.088700 1.651900
1.523100 0.966300 1.985700 1.888800 0.904900
打印 X 的原始资料
0.538100 0.017800 0.615100 0.027000 0.561200
0.114000 0.343400 0.877500 0.103200 0.221100
0.962700 0.168900 0.453600 0.552000 0.048600
0.263200 0.158300 0.948500 0.616700 0.192300
0.575900 0.218300 0.009000 0.151500 0.834300
0.651100 0.419200 0.229300 0.459800 0.996900
0.220100 0.754500 0.069500 0.420100 0.350800
0.975400 0.253500 0.482500 0.096900 0.790200
0.124000 0.847100 0.785700 0.580600 0.559900
0.638300 0.078700 0.084200 0.623700 0.149800
请决定非参数回归的方法: （0）
0= 固定自变量窗宽的核函数法. 这需要事先将自变量变换为 0<=t<=1.
1= 固定自变量资料点数的平滑法. 这需要自变量资料等距并顺序排列.
请键入核函数的窗宽选择h(1/N<=h<=1, 不妨就取h=0.1-0.2): （0.1）
要打印拟合数据吗? 0=不打印, 1=打印（0）
计算结束。
-------------------------------------------------------------------------------------------------------------------------
圖7.1.3.1
-0.5
0.511.522.533.5
第二节 密度核估计与回归函数核估计
我们在上一节已指出，非参数回归可以归结为权函数方法，权函数具体有四种主要形式：核函数，最近邻函数，样条函数，小波函数。在具体计算方面，一般来说，核函数方法多用于密度估计或者需要密度估计的随机样本回归，样条与小波函数多用于作信噪分离解释的回归(当然也有用于密度估计的)。这一节我们主要介绍密度的核估计，虽然它本身不属于非参数回归内容，但在随机样本回归方法里要经常用到它。最后介绍二元非参数回归函数核估计问题。本节第二、三、四段都是本书作者近期发表的研究成果。
一、密度核估计概念与收敛性
设X 1，…，X n 是从具有未知密度函数f (x )的总体中抽出的i.i.d.样本，要依据这些样本对每一x 去估计f (x )的值。当然这样f (x )的估计也有参数估计与非参数估计的问题。但是习惯上，人们说密度估计时，都是指不知道密度函数的具体形式，因而都是指非参数估计问题。
密度估计最基本的方法是直方图估计。这在初等概率教科书中都有介绍，这里就不说了。但是，它的基本思想却与核估计是相通的。下面我们从直方图估计导出密度核估计。
作直方图时，先用点{}k
i i a 1=把直线分成若干小的计数区间，当然k n 。这样，计数区间的端
点与宽度都是固定的。记N i 为样本点X 1，…，X n 落在第i 个计数区间［a i , a i +1)里的个数，则密度函数f (x )在［a i , a i +1）里的函数估计值就取为
k i a x a a a n N x f i i i i i
n ,,1,,)
()(11 =<≤-=
++
（7.2.1）
这样的直方图估计当然是阶梯函数，于是人们想法改进它(最有趣的是有人用计算数学里的磨光函数去把直方图顶部磨光滑)。不难想象，这种估计对计数区间［a i , a i +1)中心部分比较精确，而对计数区间端点处精度稍差。有人提出，对每个x,各作一个以x 为中点的小计数区间［x -h , x +h ), 再对落在该计数区间的样本点计数，设为N (x , h )，则密度估计为
nh
h x N x f n 2)
,()(=
（7.2.2）
这个想法与直方图不同在于它的计数区间端点划分不是固定的，而是随x 而变，可以自始至终保持x 点在计数区间中间。不过此时计数区间宽度h n 一般是固定的。如果引进函数
?????<≤-=其他当
011
21
)(x x K
（7.2.3）
则上述变端点计数区间的密度估计可写为
∑=??
?
??-=n i n n h X x K nh x f 11)( （7.2.4）
后来Parzen(1962)提出，可以将这种矩形核函数形式放宽限制，只须积分为1(最好还为恒正)即可。这就导出了密度的核估计。
我们也可以从经验分布函数导出密度核估计。经验分布函数
),,(1
)(1*
的个数中小于x X X n
x F n n =
（7.2.5）
也是一种计数，不过从-∞一直计到x 为止。我们可以利用它表示一个以x 为中心窗宽为2h 计数区间里的样本点数，于是密度估计为 可以看到，本书作者在第六章第五节第二段里提出的密度的求导插值估计，本质上与这里也是相通的。
对核函数形式放宽了，那么有哪些条件是不能放宽而必须坚持的呢?一般来说，要求核函数满足条件
??
?
??
??=?+∞<+∞<=≥∞
→∞+∞-+∞∞-??0)(lim )(,)(sup 1
)(,0)(2
x x K dx x K x K dx x K x K x （7.2.7）
对于一般概率密度函数，这些条件是能满足的，所以可以选一个概率密度函数作核函数。不过，最好还是选一个有限窗宽的函数。对窗宽h 的要求，显然样本数越多，窗宽应越小，但不能太小，即h 是n 的函数，且
∞→==∞
→∞
→n n nh n h n x )(lim ,0)(lim
（7.2.8）
在上述要求的核函数及窗宽条件下，密度f (x )的核估计f n (x )是f (x )的渐近无偏估计与相合估计。这是因为
()???∞
+∞
-∞+∞-∞+∞-???
?
??=-==--???
? ??=
???
?
??-=?
??
???????
??-=Z n h y dZ Z n h x f Z K y t x dy y x f n h y K n h dt t f n h t x K n h n h X x K E n h x Ef n )())(( )()()()(1 )()()(1 )()(1
)( （7.2.9）
对于给定的ε>0，由条件 (7.2.7)，存在充分大的T 0，使
M dZ Z K T Z 4
)(0||ε
≤
?≥
（7.2.10）
这里)(sup x f M x
=，并且
??--∞→=-00
)()()()(lim T T T T h dZ Z K x f dZ hZ x f Z K
（7.2.11）
于是
)
(2
2
)()())(()()(2)()())(()(|)()(|0
00
00
||+∞→→
+
--≤
?+--≤-?
????--≥--n dZ Z K x f dZ Z n h x f Z K M
dZ Z K dZ x f Z K dZ Z n h x f Z K x x Ef T T T T T Z T T T T n 当ε
ε
（7.2.12）
由ε的任意性，可知)()(lim x f x Ef n n =∞
→。这就说明f n (x )是f (x )的渐近无偏估计。
再利用X 1，…,X n 的独立性，有
???
????
????
? ??????
??--???? ??-?=2
22
)()()(11))((n h X
x EK n h X
x EK n h n x f Var n （7.2.13）
类似于渐近无偏性的证法可得
?∞+∞-∞→=??
???????? ?
?-dx x K x f n h X x K E n h n )()()()
(1
lim 2
2 （7.2.14）
于是
0))((lim ))((lim ))()((lim 22=-+=-∞
→∞
→∞
→x f Ef x f Var x f x f E n n n n n n
（7.2.15）
这就说明对一切x ，f n (x )均方收敛于f (x )，因此))(()(∞→?→?n x f x f P
n ，这就证明密度核估计的相合性。
二、使用正交多项式核的密度及其偏导数核估计的收敛速度
上一段研究的密度核估计的收敛性，针对的是使用概率密度核函数K ，它非负，积分为1，从而可以肯定保证密度核估计函数f n (x )非负且积分为1。只是它的收敛速度不会超过)(5
4
-n
O 。
为了提高收敛速度，统计工作者使用正交多项式作理论上的研究，取得不少成果。这里介绍的是本书作者的研究成果，近期发表在国际数学杂志“Communications in Statistics ”上。它是直接研究多元密度，并连带一般偏导数的核估计给出收敛速度。
记多元密度f (t )的s 阶混合偏导数为
s
p s s p s s p
t t t f t s s f
t f
???== 111)
()
()
();,,()( （7.2.16）
这里 ,2,1,0,,),,(11==++'=s s s s t t t p p 。
使用多元核函数作出f (s ) (t )的估计如下：
???
? ??-=
∑=+n j n
j s s
p n s n
t t K n t f
αα)(1)
(~1)( （7.2.17）
其中2,21
++-
=r p
r n n α是构造核函数的正交多项式空间维数，可以任意取定。
)(~
u K s 不仅决定于s , 而且决定于s 1,…, s p ,且满足：
?????∈=?∈≤000
0)(~
),0(
|)(~|D u u K D u u C u K s p s 当当
（7.2.18）
其中u 0是一正常数，u = (u 1,…,u p )′。我们以C 表示某一合适常数，各个C 可不相同。
)(~
u K s 还满足：
?????-≤≤===?
1
,,0,0,,1)(~!!1
1111110r i i s i s i du u K u u s s p p p s i p i D p p
但否则当 （7.2.19）
这种多元核函数可以如下构造：
)()()()(~
2121p s s s s u K u K u K u K p =
（7.2.20）
其中p i u K i s ,,1),(1 =是普通一元核函数，满足：
?????=∈<否则当
0)(~
),0(
|)(~|0i s i i s u K u u C u K i i （7.2.21）
及
??
?
?-≤≤≠==0010 0 1)(!1u i i i i s l
i i r l s l s l du u K u s i 但当当 （7.2.22）
这种核函数具体构造及改进我们放到下一段再统一研究。
下面研究)()(t f s n 的收敛性。我们假定偏导函数)()
(t f
r 局部有界，即存在与对t 的各分量
求偏导次数r 1,…,r p 无关的)()(t f r s ，ε>0, r 1+…+r p = r , 使当X t ∈，且t ∈X t 且t +ξ∈X t 时，有
)(|)(|s u p )()
(||||0t f t f
r r εε
ξξ≤+≤≤
（7.2.23）
这里X t 是t 的样本空间。同理定义f (t )局部有界。E n (·) 表示对n 个样本求数学期望。
定理7.2.1 设f (r ) (t ), f (t )局部有界，则
)(2)()()
()
()(t f p r s r n O t f
t f E r s s n n ε???
? ??+--=- （7.2.24）
[
]
{}
)()(2)(2)()()
0(2)(2)()(t f t f p r s r n O t f t f E s r s s s n n +???? ?
?+--=- （7.2.25）
证明 由t (1),…t (n ) 的i.i.d .，令n
t
y u α-=
，注意du dy p
n α=，有
??
+=???
?
??-=
+du u t f u K dy y f t y K t f E n s D s n n s X s
p n
s n n i )()(~
1)(~1
)(0)(αααα
（7.2.26）
再由多元Taylor 展式、多项展式及核函数正交条件得
[]∑
?=+-++=n
r
i i r p i p i i s D s
r n
s s n n p p du t f i i u u u K t f t f E 110
)(!
!)
(~)()()(1)()(ξα
（7.2.27）
这里p n
αξ≤≤||||0，由f (r ) (t )局部有界，核函数有界，积分域有界，可得 (7.2.24)。又
{
}
[
]
)()()(~1)0(2)
(222)
(0
t f n O du u t f u K n t f Var s p r s r n s D s
p n
s n ???
? ??≤+≤
+--+?αα
（7.2.28）
{}
2
)()()(2
)()()()()()()(t f t f E t f Var t f t f E s s n n s n s s n n -+=-
（7.2.29） 可知 (7.2.25)成立。
证毕
在s =1时，由 (7.2.16) 我们把
p
t t f t t f ????)
(,
,)(1 都记作了f (1) (t ), 把它们排成向量得t t f ??)(。相应)()1(t f n 也代表了p 种核估计)(,),()1()1(1t f t f p n n 。由 (7.2.17)知它们的核函数构造不同，
满足的正交条件不同，也把它们排成向量得)(~
)1(t f n 。由定理 (7.2.2)有
??
???
??
?????-
++??-=??-
2
)1(21)1(2
)1()()()
()
()(~1p
n n n n n t t f t f t t f t f E t
t f t f E p （7.2.30）
进一步有
[
]
{}
)()( )()(~)()(~)()(~
)0(2)(2)
1(22
)1()1(1)1(t f t f n O t t f t f CE t t f t f t t f t f E s r s p r r n
n n n n +???
? ??=??-≤??? ????-???? ?
???-+-- （7.2.31）
设1<2δ<2，由 Jensen 和lder o
H 不等式有 []
δδδηηη22||)(2||E Var E +≤
（7.2.32）
于是有 推论1 设
12
1
<<η， [
][
]{}
δδδδ)()()()(~)0(2)(2)
(22)()(t f t f n O t f t f E s r s p r s r s s n n +???
? ??=-+-- （7.2.33）
δ
δ
2)1()1(2)1()()()()()
()(~1??
?
?????
????-
++??-≤??-
p n n n n n t t f t f t t f t f E t
t f t f E p
??
??????????-++??-≤δδ2)
1(21)1()()()()(1p
n n n t t f t f t t f t f pE p
[
][
]{}
δεδεδ)()()0(2)(2)
1(2t f t f n O r p r r +???
? ??=+-- （7.2.34） 这就证明了使用正交多项式核的密度及其偏导数核估计的收敛速度。在本书第十章第四
节要引用这些结果。
三、密度核估计的连续性及光滑性
这一段介绍本书作者提出的一种正交多项式，用它构造的一元到多元密度及其偏导数的核估计，在样本抽定时，保持连续性，在样本数趋于无穷时可以保持好的收敛速度。密度核估计是一随机函数，它利用随机抽得的历史样本x (1) ，…，x (n ) 构造f n (x )，去估计母体的密度f (x )。它的收敛性是一种大样本性质。对于一个具体的核函数和一个具体的f n (x )的构造，一旦历史样本抽定转入统计计算，f n (x )就是一个普通的函数。这时我们自然要考虑它的分析性质，例如连续性和光滑性。因此，密度核估计的连续性和光滑性是对任意抽定的历史样本而言，它是一种小样本性质。从统计计算的角度，仅仅研究大样本性质是不够的。
如果核估计呈跳跃间断，得到的参数估计将随当前样本x 的连续变动而发生剧烈跳跃，使其难以进入实用，许多文献要么忽略了核函数的构造，要么给出的核函数不满足连续性光滑性，Lin(1975)构造密度及其(偏)导数核估计如下。
∑=????
??-=
n j n
i n n a X x K na x f 101
)( （7.2.35）
∑=???
? ??-=n
j n
i
n
n a X x K na x f 112
1
)( （7.2.36）
他进一步具体给出了正交多项式的构造，在n =3时我们画出所给函数式的图像。
图7.2.3.1.
当0?u ?1时，
8.1)6.0(3093630)(220--=+-=u u u u K
（7.2.37）
2.1515818036192180)(2
2
0+??? ?
?
--=-+-=u u u u K
（7.2.38）
显然这样的f n (x )与)(x f n '都不连续。
我们试图寻找截断后仍然连续的正交多项式，从而使密度及其(偏)导数的核估计连续，同
时保持较高的收敛速度。
我们先考虑一元密度核估计的连续性、光滑性、收敛性。以下给出的正交多项式与Lin 给出的正交多项式区别在于连续性和光滑性，其正交性是一样的。
????????????????
????-+++=11112111121413
1113121
r r r r r H
（7.2.39）
???????
???
???????
?????-++???? ??????
??=11
1121111214
13
1)(2
r r r r u u u u u u u H r
t t t
（7.2.40）
???
?
??????
???????
?????-+???? ?????? ??+=111
121111113121)(21 r r r u u u u u u r u H r t t t
（7.2.41）
令H 是r 阶行列式，其第1至r -1行的元素为j
i h ij +=
1
，第r 行元素全为1。将H 的第一行换上(u /u t )j 得H 0，将H 的第二行换上(u /u t )j 得H 1，u t 是一常数。
显然H 0(0) = H 0 (u t ) = H 1(0) = H 1(u t )=0。
再令
??
?
??≤≤=否则当 00 )(0
0t t
u u Hu H u K （7.2.42）
??
???≤≤=否则当 00
)(21
1t t u u Hu H u K （7.2.43）
则
??
=l
l
u l u t l du H u Hu du u K u 0
00
01)(
??
????
???
?
?????
??????
?-++???
?
?????? ?????? ??=?
?
?+++-11
112111121
4
1310
10
2
01
1
r r r r du u u du u u
du u u H u l
l
l u r
l u l l
u l l l t
??
?????
?
????????????-++=???+++11
1
121111214
1
311
01
02
10
1 r r r r dy y dy y dy
y H u r l l l l t ???
?
???
??
?
??????
????-++-++=
11112111121413
11213121
r r r r r l l H u l t
?????-=-≤≤≠==1
21,0 0,0
1r l c r l l l 当但当当 又K 0(0) = K 0(u t )=0，可见K 0是满足正交性及连续性的核函数。在r = 3, u t =1时我们画出它的图形 (图7.2.3.2)。当0?u ?u t =1时
??? ?
?
--=+-=53)1(60369660)(230u u u u u u u K
（7.2.44）
同样容易验证K 1(u )的正交性及连续性。
?
??
?-≤≤≠=='t
u r l l l du u k u 0
120,1
0,1
1)(但当当 K 1(0)=K 1(ut )=0
在这样的构造里，密度核估计的光滑性通过密度导数核估计的连续性实现。
下面我们再说明多元密度核估计的连续性、光滑性及收敛性。
设有p 元密度f (x ), x = (x 1,…, x p )′, 对于其各阶混合偏导数tp
t t x
x x f 11)
(??，p t t t ++= 1，我们使用多元核函数),(),(1,,,1'=p t t t u u u u K p ，作出它的估计：
???
?
??-=∑=+n j n
j t t t t
p n
p n a x x K na x t t t f p )(1,,;111
),,;(
（7.2.45）
其中
p
r n n
a +-
=21 （7.2.46）
同时要求f n 在全空间连续，即
)();,,;(1p p n R C x t t t f ∈
（7.2.47）
多元核函数)(,,1u K p t t t 要满足：
?????=?∈≤否则当
0)(),0( )(,,;,,;11u K D u u C u K p p
t t t p t t t t
（7.2.48）
??????-≤≤===2
,,0, 0,, 1)(!!11,,;211121r i i t i t i du u K u u u t t p p p t t t i
p i i D p p 但否则当 （7.2.49）
且)()(0,,1p t t t R C u K p
∈
这种多元核函数构造如下：
)()()()(21,,211p t t t t t t u K u K u K u K p p =
（7.2.50）
其中p i u K i t i ,,1),( =是普通一元核函数，满足
????
?=∈≤否则当
0)(),0(
)(i t i i t u K u u C u K i （7.2.51）
???-≤≤≠=='?20,
0 1)(!10r l t l t l du u K u t i i i i t u i i i t
但当当 （7.2.52）
且)()(0
R C u K i t i '∈。 这种一元核函数构造如下：
作行列式r r h H j k ?=||，其中第1至r -1行元素为j
k h j k +=1
，最后一行元素全为1，将其第t i +1行换上j
t i j t u u h i )/(,1=+，得r 阶行列式)(i t u H i
?????
????
????
?
??????????
???
?-++++++=111121111
12
111
11413
1113121
r r r r t t t r r H i i i
（7.2.53）
非参数回归模型 非参数回归模型也叫多元回归模型，它是一种脱离于混沌理论的多条路段分析方法。它是对当前路段和几条相邻路段的交通流信息对当前路段进行交通流预测的单条路段分析的扩展。它不需要先验知识，只需要有足够的历史数据即可。它的原理是：在历史数据库中寻找与当前点相似的近邻，并根据这些近邻来预测下一时间段的流量。该算法认为系统所有的因素之间的内在联系都蕴含在历史数据中，因此直接从历史数据中得到信息而不是为历史数据建立一个近似模型。非参数回归最为一种无参数、可移植、预测精度高的算法，它的误差比较小，且误差分布情况良好。尤其通过对搜索算法和参数调整规则的改进，使其可以真正达到实时交通流预测的要求。并且这种方法便于操作实施，能够应用于复杂环境，可在不同的路段上方便地进行预测。能够满足路网上不同路段的预测，避免路段位置和环境对预测的影响。随着数据挖掘技术左键得到人们的认可和国内外学者的大量相关研究，使得非参数回归技术在短时交通流预测领域得到广泛应用。 非参数回归的回归函数()X g Y =的估计值()X g n 一般表示为： ()()∑==n i i i i n Y X W X g 1 其中，Y 为以为广策随机变量；X 为m 维随机变量；（Xi,Yi ）为第i 次观测值，i=1,...,n ；Wi(Xi)为权函数.非参数回归就是对g(X)的形状不加任何限制，即对g （X ）一无所知的情况下，利用观测值（Xi,Yi ），对指定的X 值去估计Y 值。由于其不需要对系统建立精确的数学模型，因此比较适合对事变的、非线性的系统进行预测，符合对城市交通流的预测，同时可以与历史平均模型实现优缺点的互补。 K 近邻法 Friedman 于1977年提出了K 近邻法。其并不是让所有的数据都参与预测，而是以数据点到X 点的距离为基础，甲醛是只有离X 最近的K 个数据被用来估计相应的g(X)值。可以引入欧式空间距离d ，然后按这个距离将X1，X2，...,Xn 与X 接近的程度重新排序：Xk1,...,Xkn,取权值如下： Wki(X:X1,...,Xn)=ki,i=1,..,n 将与X 最近的前K 个观测值占有最大的权K=1，其余的观测值赋予权值k=0.最终得到应用于短时交通流预测的K 近邻法可表示为： ()()()()K t V t V g t V K i i ∑=+==+111
用R语言做非参数和半参数回归笔记
由詹鹏整理，仅供交流和学习 根据南京财经大学统计系孙瑞博副教授的课件修改，在此感谢孙老师的辛勤付出！ 教材为：Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd. 2008. ------------------------------------------------------------------------- 第一章 introduction: Global versus Local Statistic 一、主要参考书目及说明 1、Hardle(1994). Applied Nonparametic Regresstion. 较早的经典书 2、Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer. 结构清晰 3、Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton. 较全面和深入的介绍，偏难 4、Pagan and Ullah (1999). Nonparametric Econometrics. 经典 5、Yatchew(2003). Semiparametric Regression for the Applied Econometrician. 例子不错 6、高铁梅（2009）. 计量经济分析方法与建模：EVIEWS应用及实例（第二版）. 清华大学出版社. （P127/143） 7、李雪松（2008）. 高级计量经济学. 中国社会科学出版社. （P45 ch3） 8、陈强（2010）. 高级计量经济学及Stata应用. 高教出版社. （ch23/24） 【其他参看原ppt第一章】 二、内容简介 方法： ——移动平均（moving average） ——核光滑（Kernel smoothing） ——K近邻光滑（K-NN） ——局部多项式回归（Local Polynormal） ——Loesss and Lowess ——样条光滑（Smoothing Spline） ——B-spline ——Friedman Supersmoother 模型： ——非参数密度估计 ——非参数回归模型 ——非参数回归模型 ——时间序列的半参数模型 ——Panel data 的半参数模型 ——Quantile Regression 三、不同的模型形式 1、线性模型linear models 2、Nonlinear in variables
非参数回归模型
精品资料 仅供学习与交流，如有侵权请联系网站删除 谢谢2 非参数回归模型 非参数回归模型也叫多元回归模型，它是一种脱离于混沌理论的多条路段分析方法。它是对当前路段和几条相邻路段的交通流信息对当前路段进行交通流预测的单条路段分析的扩展。它不需要先验知识，只需要有足够的历史数据即可。它的原理是：在历史数据库中寻找与当前点相似的近邻，并根据这些近邻来预测下一时间段的流量。该算法认为系统所有的因素之间的内在联系都蕴含在历史数据中，因此直接从历史数据中得到信息而不是为历史数据建立一个近似模型。非参数回归最为一种无参数、可移植、预测精度高的算法，它的误差比较小，且误差分布情况良好。尤其通过对搜索算法和参数调整规则的改进，使其可以真正达到实时交通流预测的要求。并且这种方法便于操作实施，能够应用于复杂环境，可在不同的路段上方便地进行预测。能够满足路网上不同路段的预测，避免路段位置和环境对预测的影响。随着数据挖掘技术左键得到人们的认可和国内外学者的大量相关研究，使得非参数回归技术在短时交通流预测领域得到广泛应用。 非参数回归的回归函数()X g Y =的估计值()X g n 一般表示为： ()()∑==n i i i i n Y X W X g 1 其中，Y 为以为广策随机变量；X 为m 维随机变量；（Xi,Yi ）为第i 次观测值，i=1,...,n ；Wi(Xi)为权函数.非参数回归就是对g(X)的形状不加任何限制，即对g （X ）一无所知的情况下，利用观测值（Xi,Yi ），对指定的X 值去估计Y 值。由于其不需要对系统建立精确的数学模型，因此比较适合对事变的、非线性的系统进行预测，符合对城市交通流的预测，同时可以与历史平均模型实现优缺点的互补。 K 近邻法 Friedman 于1977年提出了K 近邻法。其并不是让所有的数据都参与预 测，而是以数据点到X 点的距离为基础，甲醛是只有离X 最近的K 个数据被用来估计相应的g(X)值。可以引入欧式空间距离d ，然后按这个距离将X1，X2，...,Xn 与X 接近的程度重新排序：Xk1,...,Xkn,取权值如下： Wki(X:X1,...,Xn)=ki,i=1,..,n 将与X 最近的前K 个观测值占有最大的权K=1，其余的观测值赋予权值k=0.最终得到应用于短时交通流预测的K 近邻法可表示为：
非参数统计第二次作业 ——局部多项式回归与样条回归 习题一： 一、本题是研究加拿大工人收入情况，即年龄（age）和收入(income)的关系。 此次共调查了205个加拿大工人的年龄和收入，所有工人都是高中毕业。且本题设定因变量为log.income,协变量为age，运用统计方法来拟合log.income 与age之间的函数关系。 二、模型的建立 1.估计方法的选取 拟合两个变量之间的函数关系，即因变量和协变量之间的关系，用回归估计的方法，回归估计包括参数回归估计和非参数回归估计。参数估计是先假定某种数学模型或已知总体的分布，例如总体服从正态分布，其中某些参数未知，如总体均值、方差等，然后利用样本去估计这些未知参数，常用的方法有极大似然估计，Ｂａｙｅｓ估计等，线性模型可以用最小二乘法估计。 非参数估计是不假定具有某种特定的数学模型，或总体分布未知，直接利用样本去估计总体的数学模型，常用的方法有局部多项式回归方法和样条函数回归方法。 本题调查了205个加拿大工人的年龄和收入，但是加拿大工人年龄和收入的具体分布未知，即这两个变量所能建立的数学模型未知，而且由协变量和因变量所形成的散点图可以看出它不符合某种特定的已知模型，需要进一步研究，然后拟合它们之间的函数关系。因此本题选用非参数回归估计的方法，来拟合因变量和协变量之间的关系。 针对此问题分别采用非参数估计中的局部多项式回归和样条函数回归方法对log.income 与age之间的函数关系进行估计。 ２.局部多项式回归方法 局部多项式的思想是在某个点x附近，用一个多项式函数来逼近未知的光滑函数g(x)。选定局部邻域的大小h,对于任意给定某个点x 0，在其小邻域内展开泰勒公式，用一个p阶多项式来局部逼近g(x)，然后再用极大似然估计。 （1）加拿大工人的收入（log.income）与年龄（age）之间的散点图如下所示：
第七章 非参数回归模型与半参数回归模型 第一节 非参数回归与权函数法 一、非参数回归概念 前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。 设Y 是一维观测随机向量，X 是m 维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称 g (X ) = E (Y |X ) （7.1.1） 为Y 对X 的回归函数。我们证明了这样的回归函数可使误差平方和最小，即 22)]([min )]|([X L Y E X Y E Y E L -=- （7.1.2） 这里L 是关于X 的一切函数类。当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。 细心的读者会在这里立即提出一个问题。既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。 所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。 二、权函数方法 非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式： ∑==n i i i n Y X W X g 1 )()( （7.1.3）
自回归模型的参数估计案例 案例一： 建立中国长期货币流通量需求模型。中国改革开放以来，对货币需求量(Y)的影响因素，主要有资金运用中的贷款额(X)以及反映价格变化的居民消费者价格指数(P)。 长期货币流通量模型可设定为 120e t t t t P Y X βμββ=+++ （1） 其中，e t Y 为长期货币流通需求量。由于长期货币流通需求量不可观测，作局部调整: 11()e t t t t Y Y Y Y δ---=- （2） 其中，t Y 为实际货币流通量。 将（1）式代入（2）得短期货币流通量需求模型： 0121(1)t t t t t Y X P Y δβδβδβδδμ-=+++-+ 表1中列出了1978年到2007年我国货币流通量、贷款额以及居民消费者价格指数的相关数据。 表1 年份 货币流通量Y （亿元） 居民消费者价格指数P （1990年=100） 贷款额X （亿元） 1978 212.0 46.2 1850.0 1979 267.7 47.1 2039.6 1980 346.2 50.6 2414.3 1981 396.3 51.9 2860.2 1982 439.1 52.9 3180.6 1983 529.8 54.0 3589.9 1984 792.1 55.5 4766.1 1985 987.8 60.6 5905.6 1986 1218.4 64.6 7590.8 1987 1454.5 69.3 9032.5
1988 2134.0 82.3 10551.3 1989 2344.0 97.0 14360.1 1990 2644.4 100.0 17680.7 1991 3177.8 103.4 21337.8 1992 4336.0 110.0 26322.9 1993 5864.7 126.2 32943.1 1994 7288.6 156.7 39976.0 1995 7885.3 183.4 50544.1 1996 8802.0 198.7 61156.6 1997 10177.6 204.2 74914.1 1998 11204.2 202.6 86524.1 1999 13455.5 199.7 93734.3 2000 14652.7 200.6 99371.1 2001 15688.8 201.9 112314.7 2002 17278.0 200.3 131293.9 2003 19746.0 202.7 158996.2 2004 21468.3 210.6 178197.8 2005 24031.7 214.4 194690.4 2006 27072.6 217.7 225347.2 2007 30375.2 228.1 261690.9 对局部调整模型0121(1)t t t t t Y X P Y δβδβδβδδμ-=+++-+运用OLS 法估计结果如图1： 图1 回归估计结果 由图1短期货币流通量需求模型的估计式： 1202.50.03577.45570.7236t t t t Y X P Y -=-+++
基于核估计的多变量非参数随机模型初步研究 王文圣1，丁晶1 (1.四川大学水利水电学院，四川成都 610065) 摘要：本文基于核估计理论构造了多变量非参数模型。该模型是数据驱动的、不需识别和假定序列相依形式和概率分布形式的一类随机模型，克服了多变量参数模型的不足。实例统计试验表明，建议的多变量非参数模型是有成效的，为随机水文学发展提供了一些新思路。 关键词：核估计；多变量非参数模型；随机模拟；实用性检验 中图分类号：P333.9文献标识码：A 流域水资源的开发利用，不仅需要单站水文信息，而且需要流域内各站的水文信息。进行多站水文序列模拟的一个重要手段就是建立多站(变量)随机模型。目前，多变量随机模型[1]比较成熟的有自回归模型和解集模型。这两类模型的共同点是用有限个参数的线性函数关系描述水文现象。因此简便实用，能表征水文序列的统计特性和一般变化规律，但缺点也明显：①水文序列是一时间不可逆过程，而参数模型描述的是可逆过程，因此大多数参数模型难以反映其涨落不对称性；②水文现象受流域下垫面、人类活动、气候等多因素影响而变化错综，是一个高度复杂的非线性系统，而多数参数模型仅能表征变量及变量之间的线性相依结构，忽略了占据重要位置的非线性性；③水文变量概率密度函数复杂且未知，某一指定概率分布与真实分布存在着差异。如图1、2所示，正态分布、P-Ⅲ型分布都与直方图相差甚远，但χ2检验并不拒绝P-Ⅲ型分布和正态分布；而核估计和k最近邻估计与直方图比较接近。即概率分布具有不确定性；④模型参数由于抽样误差和估计方法不同具有不确定性。 为克服参数模型之不足，文献[2]提出了单变量非参数模型，径流模拟表明是满意的。在此基础上，本文基于核估计理论构造了多变量非参数模型。该模型避开了序列相依形式和模型结构的假设，不涉及模型参数估计，能反映各种复杂关系，较参数模型优越。以中国金沙江流域屏山站和宜宾—屏山区间两站日流量过程随机模拟为例，对建议模型进行了应用研究。 1 核估计理论[3] 1.1 多维核估计定义设X为d维随机变量，X1，X2，……X n为X的一样本。X的概率密度函数f(X)的核估计定义如下： (1)
由詹鹏整理，仅供交流和学习 根据南京财经大学统计系孙瑞博副教授的课件修改，在此感谢孙老师的辛勤付出！ 教材为：Luke Keele:Semiparametric Regression for the Social Sciences.John Wiley &Sons,Ltd.2008. ------------------------------------------------------------------------- 第一章introduction:Global versus Local Statistic 一、主要参考书目及说明 1、Hardle(1994).Applied Nonparametic Regresstion.较早的经典书 2、Hardle etc(2004).Nonparametric and semiparametric models:an introduction. Springer.结构清晰 3、Li and Racine(2007).Nonparametric econometrics:Theory and Practice.Princeton.较全面和深入的介绍，偏难 4、Pagan and Ullah(1999).Nonparametric Econometrics.经典 5、Yatchew(2003).Semiparametric Regression for the Applied Econometrician.例子不错 6、高铁梅（2009）.计量经济分析方法与建模：EVIEWS应用及实例（第二版）.清华大学出版社.（P127/143） 7、李雪松（2008）.高级计量经济学.中国社会科学出版社.（P45ch3） 8、陈强（2010）.高级计量经济学及Stata应用.高教出版社.（ch23/24） 【其他参看原ppt第一章】 二、内容简介 方法： ——移动平均（moving average） ——核光滑（Kernel smoothing） ——K近邻光滑（K-NN） ——局部多项式回归（Local Polynormal） ——Loesss and Lowess ——样条光滑（Smoothing Spline） ——B-spline ——Friedman Supersmoother 模型： ——非参数密度估计 ——非参数回归模型 ——非参数回归模型 ——时间序列的半参数模型 ——Panel data的半参数模型 ——Quantile Regression 三、不同的模型形式 1、线性模型linear models 2、Nonlinear in variables
收稿日期:2006201204 作者简介:巩永丽(1980—),女,山西永济人,西安理工大学硕士研究生,主要从事应用概率统计方面的研究. 山西师范大学学报(自然科学版)第21卷第1期Journal of Shanxi Nor mal University Vol .21 No .12007年3月 Natural Science Editi on M ar .2007 文章编号:100924490(2007)0120038205 人口增长率的非参数自回归预测模型 巩永丽1 ,张德生1 ,武新乾2 ,姜爱平 1 (11西安理工大学理学院,陕西西安710054;21西北工业大学,陕西西安710072) 摘 要:针对传统的人口增长预测模型不能理想地捕获我国人口增长率数据的非线性性特征,本文基于局部线性非参数估计理论,对我国建国以来的年人口增长率建立了非参数自回归NAR (1)模型,并对 2000年～2003年的年人口增长率进行了预测,计算结果表明,相对于参数自回归模型而言,非参数自回 归模型能够很好地解决人口增长预测这一非线性问题,预测精度较高.关键词:非参数估计;非参数自回归模型;预测中图分类号:O29 文献标识码:A 0 引言 我国是一个发展中国家,又是世界上人口最多的国家,人口问题一直是制约我国经济和社会发展的首要因素,因此,能否对人口增长做出比较准确的预测,对于加速推进我国现代化建设有着极为重要的现实 意义.对于人口增长预测,传统的方法有增长曲线模型、灰色系统模型、系统动力学模型、自回归模型等.增长曲线模型预测方法 [1] 相对简单,但是精度不高;灰色系统模型 [1] 主要是对人口增长趋势波动进行分析, 它在预测资料不全或资料的波动太大、不平稳的发展趋势效果较好;系统动力学模型[1] 在分析问题、收集 资料、建立模型和求证的过程中都要消耗一定的财力、物力和人力,还需要占用大量的计算机工作时间,而且建模人员的专业水平也直接影响模型的质量和结果.自回归模型由于是线性参数化形式,难以较好的解决人口增长预测这一非线性问题.因此,本文尝试利用非参数估计方法,建立我国人口增长率的非参数自回归预测模型,结果表明非参数自回归模型用于人口预测可以获得令人满意的结果,可为相关部门制定人口政策提供科学的依据. 1 非参数自回归预测模型基本原理 1.1 非参数自回归模型 非参数自回归模型(NAR (p ))为:Y t =m (X t )+εt ,其中,解释性变量X t ∈R p 由响应变量(或被解释性变量)Y t ∈R 的一些滞后项所组成(p 为正整数);随机误差序列{εt }独立同分布,E (εt )=0, E (ε2t )=σ2 ,并且εt 与X s ,s ≤t 相互独立;未知函数m (? )称为条件均值函数(或自回归函数).1.2 非参数预测 对一组平稳时间序列{Y t },t =1,2,...,n,我们的目的是对确定的正整数k,k ≥1,预测Y n +k 的值.非参数自回归模型对未知值Y n +k 进行预测的计算步骤如下: (1)对这组平稳时间序列建立相应的非参数自回归模型 Y t =m (X t )+εt (1)
第七章 非参数回归模型与半参数回归模型 第一节 非参数回归与权函数法 一、非参数回归概念 前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。 设Y 是一维观测随机向量，X 是m 维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称 g (X ) = E (Y |X ) （7.1.1） 为Y 对X 的回归函数。我们证明了这样的回归函数可使误差平方和最小，即 22)]([min )]|([X L Y E X Y E Y E L -=- （7.1.2） 这里L 是关于X 的一切函数类。当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。 细心的读者会在这里立即提出一个问题。既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。 所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。 二、权函数方法 非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式： ∑==n i i i n Y X W X g 1 )()( （7.1.3）
基于非参数回归模型的短期风电功率预测 王彩霞,鲁宗相,乔 颖,闵 勇,周双喜 (电力系统国家重点实验室,清华大学电机系,北京市100084) 摘要:随着风电接入规模的增加,风电功率预测日益重要。非参数估计方法是模型估计和预测的典型方法之一,在国内短期风电功率预测中尚无应用。文中将非参数回归技术应用于短期风电功率预测,包括风电功率点预测和风电功率概率区间预测。首先,基于非参数回归模型,建立风速与风电功率之间的转换模型,得到风电功率的点预测值;其次,基于经验分布模型与非参数回归技术,建立风电功率预测误差的概率分布函数,得到风电功率预测值的概率区间。以内蒙古某风电场为例,验证了将非参数回归技术应用于风电功率预测的有效性。关键词:风力发电;功率预测;点预测;概率区间预测;非参数回归 收稿日期:2010 02 13;修回日期:2010 06 17。 0 引言 近年来,并网型风电发展迅猛,风电的波动性已给电网调度带来严峻的挑战。风电功率预测是解决风电波动、实现风电与电力系统传统电源联合优化运行的关键技术之一。 风电功率预测按照预测的时间尺度划分一般分为超短期、短期和中长期预测[1]。超短期预测一般指6h 以内的预测,预测结果用于电力系统的在线优化运行,常采用基于历史风电功率数据的时间序列分析方法进行预测,例如自回归滑动平均(ARM A)模型[2 3]、Kalman 滤波[4]等。短期预测一般指对未来6h~48h 风电功率输出的预测,预测结果是电网安排日发电计划或进行电力市场交易的基础。中长期预测一般指未来几天的预测,预测结果主要用于安排风电机组的检修计划等。在实际应用中,短期预测和超短期预测应用较多。本文的研究对象为短期预测。 由于天气状况在未来6h~48h 内一般有较大的变化,因此,短期预测主要依赖于数值天气预报(numeric w eather predictio n,NWP ),通过建立NWP 的气象信息与风电功率输出之间的关系模型,将预测时段内的气象信息转换为风电功率输出。按建模方法的不同,短期风电功率预测可进一步分为物理方法和统计方法[5]。本文研究方法属于统计方法的范畴。 经过多年的积累,欧洲和美国已经有多款商业化的风电功率预测软件[6],如丹麦的WPPT 和Prediktor 、西班牙的SIPREOLICO 等。由于中国 的气候条件与欧美相比差异较大,因此有必要研究 适合中国风电场的风电功率预测方法。近几年,中国的风电功率预测研究也在逐步发展,但受气象服务条件的影响,预测方法大多基于历史数据和时间序列方法[7 9],对超短期预测较为有效,但对短期(如日前24h)风电功率的预测效果往往较差。随着风电的大规模接入,为电网安排发电计划服务的短期风电功率预测亟需展开。中国电力科学研究院开发 的基于NWP 的短期风电功率预测软件[10 11] ,采用的预测方法为反向传播(BP)神经网络,是一种在风电功率预测中应用广泛的典型方法。但是,神经网络方法对模型训练的时间较长,并且需要不断调试合适的隐含层神经元个数、合适的隐含层输出函数及合适的输出层输出函数等,才能得到收敛性较好的神经网络。非参数回归方法也是模型估计的典型方法之一,在国外已有采用基于统计模型的风电功率预测方法的范例[12]。非参数统计模型只需调整合适的窗宽即可应用模型进行预测,实用性比神经网络模型更佳。 本文以内蒙古某风电场为例,研究将非参数回归方法应用于国内短期风电功率预测的有效性。内蒙古气象局引进了美国国家大气研究中心(NCAR)和美国宾州大学(PSU)开发研制的第5代中尺度模式M M5(M esoscale Mo del 5),直接提供风机轮毂高度的NWP 信息,如风速、风向等。本文采用内蒙古气象局提供的NWP 数据,建立NWP 与风电功率输出之间的转换模型,得到风电功率的点预测值;基于经验分布模型和非参数回归方法,建立风电功率预测误差的概率分布函数,进而得到风电功率预测值的概率区间,辅助电网运行决策。 78 第34卷 第16期2010年8月25日V o l.34 No.16A ug.25,2010
案例13 基于非参数GARCH 模型的一种波动率估计方法 一、文献及研究综述 波动率（volatility ）是资产收益不确定性的衡量，它经常用来衡量资产的风险。一般来说，波动率越大，意味着风险越高。由于波动率在投资分析，期权定价等方面的重要性，近20年来一直是金融领域的一个研究热点，出现许多描述金融市场波动率的模型，最为典型的是Bollerslev （1986）提出的广义自回归条件异方差模型（GARCH 模型），而在实证中得到广泛应用的是其中的GARCH(1,1)模型，即条件方差不但依赖与滞后一期的扰动项的平方，而且也依赖于自身的滞后一期值，三者之间存在一种线形关系。针对三者之间的线形关系是否合适即能否用一种更有效的函数关系来描述的问题，人们进行了一些有意义的探索。Engel 和Gonzalez-Rivera(1991)采用半参数方法对条件方差进行建模，对扰动项的滞后值采取非参数形式，对条件方差自身的滞后值采用线形形式，两位的研究思路为人们以后的研究工作拓宽了思路。Peter Buhlmann 和Alexander J.MeNeil （2002）对三者之间的函数关系用一种非参数形式来描述，给出了一种全新的估计波动率的循环算法，并对这一全新的算法的可行性和有效性给出了证明，得出非参数形式的GARCH(1,1)对波动率的估计效果要强与参数形式的GARCH(1,1)。Antonio Cosma 和Fausto Galli （2005）利用Peter Buhlmann 和Alexander J.MeNeil 所提出的估计波动率的算法，对非参数形式的ACD 模型（Autoregressive Conditional Duration Model ）的久期(duration)进行估计，也得出用该估计算法的非参数形式比参数形式的ACD 模型的估计效果优越。 本文采用非参数方法中的非参数可加模型，对条件方差采用非参数可加模型GARCH(1,1)形式进行建模，即对条件方差的滞后值和扰动项的滞后值分别采用不同的函数形式进行建模。估计方法是基于Peter Buhlmann 和Alexander J.MeNeil(2002)对非参数GARCH 估计时的算法思想，采取模拟数据和真实收益率数据分别同参数形式的GARCH(1,1)采用极大似然估计结果进行比较。文章下面的结构是：第二部分是有关方法的描述。第三部分是模拟实验。第四部分是实证部分。第五部分是本文结束语。 二、方法描述 ㈠ Bollerslev （1986）提出的标准的GARCH(1,1)形式： t t z ε=
由詹鹏整理 ,仅供交流和学习 根据南京财经大学统计系孙瑞博副教授的课件修改 ,在此感谢孙老师的辛勤付出！ 教材为：Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd. 2008. ------------------------------------------------------------------------- 第一章 introduction: Global versus Local Statistic 一、主要参考书目及说明 1、Hardle(1994). Applied Nonparametic Regresstion. 较早的经典书 2、Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer. 结构清晰 3、Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton. 较全面和深入的介绍 ,偏难 4、Pagan and Ullah (1999). Nonparametric Econometrics. 经典 5、Yatchew(2003). Semiparametric Regression for the Applied Econometrician. 例子不错 6、高铁梅（2009）. 计量经济分析方法与建模：EVIEWS应用及实例（第二版）. 清华大 学出版社. （P127/143） 7、李雪松（2008）. 高级计量经济学. 中国社会科学出版社. （P45 ch3） 8、陈强（2010）. 高级计量经济学及Stata应用. 高教出版社. （ch23/24） 【其他参看原ppt第一章】 二、内容简介 方法： ——移动平均（moving average） ——核光滑（Kernel smoothing） ——K近邻光滑（K-NN） ——局部多项式回归（Local Polynormal） ——Loesss and Lowess ——样条光滑（Smoothing Spline） ——B-spline ——Friedman Supersmoother 模型： ——非参数密度估计 ——非参数回归模型 ——非参数回归模型 ——时间序列的半参数模型 ——Panel data 的半参数模型 ——Quantile Regression 三、不同的模型形式 1、线性模型linear models 2、Nonlinear in variables
【内容提要】 内容简介 本书分为四部分．第一部分为密度函数和条件密度函数，包括密度函 数的非参数估计、一元条件密度函数的非参数估计和多元条件密度函数的 投影追踪估计；第二部分为非参数计量经济模型，包括非参数计量经济模 型的核估计和变窗宽核估计、局部线性估计和变窗宽局部线性估计、非参 数计量经济模型的异方差问题和多重共线性问题；第三部分为非参数计 量经济联立方程模型，包括非参数计量经济联立模型的局部线性工具变量 估计和变窗宽局部线性工具变量估计、局部线性两阶段最小二乘估计和变 窗宽局部线性两阶段最小二乘估计、局部线性广义矩估计和变窗宽局部线 性广义矩估计；第四部分为半参数计量经济模型和联立方程模型，包括半 参数计量经济模型的最小二乘估计、半参数计量经济联立模型的工具变量 估计和其他工具变量估计．本书的附录包括准备知识和R软件介绍．本书适合高等院校经济、管理学科的研究生和研究人员使用． 【节选】 序言 非参数计量经济学作为现代计量经济学的一个分支，近20年来得到了迅速的
发展．从国际权威的计量经济学学术刊物的论文中，我们不难发现，关于非参数计量经济学理论方法的研究，一直是理论计量一个重要的和前沿的研究领域．在应用研究方面，将非参数、半参数模型方法与微观计量、宏观计量以及金融计量结合，也成为这些计量经济学分支领域的研究热点．在国外著名大学的经济学研究生课程表中，非参数计量经济学已经成为计量经济学高级课程重要的一部分．在国内，近年来，一批年青学者将该领域作为主要研究方向，在跟踪研究的同时，取得了一些创新成果；不少大学已经将非参数计量经济学纳入研究生高级计量经济学的教学内容，甚至为博士研究生开设了专门的课程． 但是，国内目前关于非参数计量经济学的出版物相当少．2003年7月，南开 大学出版社出版了叶阿忠教授的《非参数计量经济学二》一书，在它的序言中，我写下了如下一段话：“在国内，尚缺少全面系统的、既具有学术水平又具有应用 指导价值的著作奉献给广大读者．在这个意义上，这本《非参数计量经济学》填补了这个空白．”时隔几年，这种状况没有改变．从这个意义上说，叶阿忠教授即将出版的《非参数和半参数计量经济模型理论》专著对于推动国内的计量经济学研究与教学都具有十分重要的价值． 叶阿忠教授近10年来以非参数计量经济学模型理论为自己的主要研究方向， 取得了显著的成绩，完成了国家自然科学基金项目“半参数计量经济联立模型单 方程估计方法的理论研究”、教育部人文社会科学基金项目“非参数计量经济模 型的理论研究”和教育部人文社会科学重点研究基地重大项目“非经典计量经济
半参数混合效应模型的稳健估计 【摘要】:人们利用实际观测数据作统计推断时,一些假定是必不可少的。然而这些假定与实际情况几乎不可能完全相符,只是实际情况一种近似描述。人们通常希望所假定的统计模型与实际数据之间微小的差异不会对最终结论产生大的影响,但是实际情况并非人们所希望的那样。最近几十年来,人们发现假定模型与实际数据之间看上去微小的偏离会对很多常用的统计方法产生很大的影响。因此,开始研究稳健的统计方法。所谓“稳健的统计方法”简单的说就是指那些对模型假定与实际数据之间存在的微小偏差不敏感的统计方法。或者说模型假定与实际数据之间的微小偏差对这些方法影响不大。八十年代中期,Green等(1985在研究农业实验和Engle等(1986在研究气候条件对电力需求的影响这两个实际问题时分别独立地提出了一种重要的统计模型,即半参数统计模型。在此基础上又发展到半参数混合效应模型。半参数混合效应模型,既含有固定效应,又含有随机效应;既含有参数部分,又含有非参数部分,综合了参数模型,非参数模型以及混合效应模型的诸多优点,具有更大的灵活性,也更加接近现实,充分利用了数据中的信息。而广义半参数混合效应模型则是半参数混合效应模型与广义线性模型的自然推广。本论文针对半参数混合效应模型,研究了它的稳健统计推断问题。现将主要内容概述如下:1.第一章首先简要地介绍了半参数混合效应模型;其次,介绍了稳健统计的背景和研究现状;并介绍了广义估计方程的背景和研究现状;最后, 介绍了本文的主要工作。2.第二章主要研究了广义半参数混合效应模型均值部分的稳健估计问题,包括回归参数和非参数函数的稳健估计。主要内容包括:首先基于B-样条的非参数方法,构造了带有条件数学期望的稳健估计方程;第二,利用MonteCarloMarkovChain(MCMC方法从随机效应后验分布中抽取样本来估计稳健估计方程中的条件期望;第三,给出了稳健估计的渐近性质;第四,通过随机模拟检验稳健估计的有效性,并在正态模型下与He,FungZhu(2005中提出的稳健估计进行了比较,发现在数据中存在异常点时,该模型下我们研究的稳健估计具有更高的效率。最后,通过对四个实际例子的分析说明了方法的可行性。3.第三章主要研究了响应变量为连续变量的半参数模型下协方差参数的稳健估计。首先,构造了均值分量和协
? 陈强,《高级计量经济学及Stata 应用》课件，第二版，2014 年，高等教育出版社。 第 27 章非参数与半参数估计 27.1 为什么需要非参数与半参数估计 “参数估计法”(parametric estimation)假设总体服从带未知参数的某个分布(比如正态)，或具体的回归函数，然后估计这些参数。 其缺点是，对模型设定所作的假定较强，可能导致较大的设定误差，不够稳健。 1
“非参数估计法”(nonparametric estimation)一般不对模型的具体分布或函数形式作任何假定，更为稳健。 缺点是要求样本容量较大，且估计量收敛的速度较慢。 作为折衷，同时包含参数部分与非参数部分的“半参数方法” (semiparametric estimation)，降低对样本容量的要求，又有一定稳健性。 非参及半参方法与传统的参数法互补；后者不太适用时，可考虑前者。 2
27.2 对密度函数的非参数估计 考虑根据样本数据来推断总体的分布，即密度函数。 如用参数估计法，则先对总体分布的具体形式进行假定。 比如，假设总体服从正态分布N (μ, σ2)，然后估计参数(μ, σ2 )。如果真实总体与正态分布相去甚远，则统计推断有较大偏差。 如不假设总体分布的具体形式，则为非参数方法。 最原始的非参数方法是画直方图，即将数据的取值范围等分为若干组，计算数据落入每组的频率，以此画图，作为对密度函数的估计。 3
直方图的缺点是，即使随机变量连续，直方图始终是不连续的阶梯函数。 为得到对密度函数的光滑估计，Rosenblatt(1956)提出“核密度估计法”(kernel density estimation)。 首先考察直方图的数学本质。假设要估计连续型随机变量x 在x 0处的概率密度f (x )。 概率密度f (x 0 )是累积分布函数F (x)在x 处的导数： f (x ) = lim h→0 F (x +h) -F (x 2h -h) = lim P(x0-h < x
相关主题
文本预览