现代非参数估计
- 格式：pdf
- 大小：826.58 KB
- 文档页数：105
3.1 普通的极大似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 经验似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第四章 NA序列的基本性质及基本不等式
为f (x)的核密度估计, 其中K (u)称为核函数,hn 称为窗宽. 注 1.1.1 在理论上, 往往考虑核函数K (u)为一般的Borel可测函数. 但在实际应
用中, 一般取核函数K (u)为一个概率密度函数, 即 ∫ ∞ K (u) ≥ 0, K (u)du = 1.
−∞
2
1.1. 核密度估计的定义 核函数K (u)的常见候选函数有: 均匀核函数 K (u) = 正态核函数 K (u) = √ XX=rnorm(2000)
4.1 基本性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 基本不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第五章 NA样本回归函数估计的强相合性
( ) n x − Xj 1 ∑ fn (x) = K nhn j =1 hn
(1.1.3)
注意K (x)为区间[−1, 1)上均匀分布的概率密度函数. 4. 核密度估计 定义 1.1.1 设K (u)是定义在R1 上的一个Borel可测函数, hn > 0为常数, 则称 ( ) n 1 ∑ x − Xj fn (x) = K (1.1.4) nhn j =1 hn
5.3 定理证明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
i
第一章
§1.1
一. 问题
非参数密度估计
核密度估计的定义
设总体X 具有未知分布密度函数f (x), 现从总体X 抽取的样本X1 , X2 , · · · , Xn , 我 们的问题是: 如何根据样本估计未知的密度函数f (x)? 二. 估计的构造 1. 直方图估计 取−∞ = a1 < a2 < a3 < · · · < ak < ak+1 = +∞, 把X 轴分为k 个区间[ai , ai+1 ), i = 1, 2, · · · , k . 计算样本X1 , X2 , · · · , Xn 落在第i区间内的频率 1 1∑ I (ai ≤ Xj < ai+1 ) ♯ ({j : 1 ≤ j ≤ n, ai ≤ Xj < ai+1 }) = n n j =1
注 1.1.2
对窗宽hn 的要求是hn → 0(当n → ∞时), 但是
若hn 取得太小, 则fn (x)波动较大, 呈现出不规则的形状; 若hn 取得太大, 则fn (x)过于平稳, 灵敏性差,反映不了f (x)的细致特征. 在实际计算中, 我们必须选定核函数K (u)和窗宽hn 的具体形式. 如何适当地选择 核函数K (u)和窗宽hn ? 一方面是凭一定的经验, 另一方面是借助一定的理论依据. 从后面的理论分析看, 对核函数K (u)的要求条件比较宽松, 所以核函数K (u)的选 择对估计fn (x)的影响不大, 也就是说对核函数K (u)的选择不是太重要. 然而, 窗宽hn 的 选择对估计fn (x)的影响较大, 所以对它的选择要比较慎重, 从均方误差看, 应选择窗 宽hn = Cn−1/5 , 其中C 为常数. 从理论上, 我们要对核密度估计fn (x)研究如下问题: (1) 当样本容量n → ∞时, fn (x)是否收敛到f (x)? fn (x)的极限分布是什么分布? 3
现代非参数估计
杨善朝
(广西师范大学数学与统计学院, 桂林 541004)
2014 年 2 月 16 日
目
第一章 非参数密度估计
录
1 1 6 10 19 24 32 52 52 59 66 68 74 75 75 76 80 80 86 95 95 97
1.1 核密度估计的定义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 核密度估计的渐近无偏与均方相合性 . . . . . . . . . . . . . . . . . . . 1.3 核密度估计的窗宽选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4 核密度估计的弱相合性与强相合性 . . . . . . . . . . . . . . . . . . . . 1.5 最近邻密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 频率插值密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第二章 2.1 非参数回归估计 随机权函数回归估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
u2 1 e− 2σ2 2πσ
CHAPTER 1. 非参数密度估计
{
1 , 2
−1 ≤ u < 1
0, 其它
function (XX,h){ X=XX n=length(X) x=seq(-3,3,0.01) m=length(x) f=rep(0,m) for(i in 1:m){ KX=dnorm((x[i]-X)/h) f[i]=sum(KX)/(n*h) } plot(x,f,type="l",ylim=c(0,0.5)) lines(x,dnorm(x),lty=2,col="red") n }
2.2 Nadaraya-Watson核权函数回归估计的渐近性质 . . . . . . . . . . . . . 2.3 非随机权函数回归估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4 Gasser-M¨ uller型权函数回归估计的大样本性质 . . . . . . . . . . . . . . 2.5 半参数回归模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第三章 经验似然估计
n 1 ∑ fn (x) := I (x − hn ≤ Xj < x + hn ) 2nhn j =1
(1.1.2)
以此作为f (x)在x处的估计值. 3. Parzen估计 如果令 1 K (x) = I (−1 ≤ x < 1) = 2 则(1.1.2)变为 {
1 , 2
−1 ≤ x < 1
0, 其它
∗ Fn ( x)
(1.1.5)
1∑ = I (Xj < x) n j =1
n
(1.1.6)
为F (x)的经验分布函数估计.
4
1.1. 核密度估计的定义
CHAPTER 1. 非参数密度估计
∗ 注意K (u) = I (u > 0)是退化变量X ≡ 0的分布函数, 且经验分布函数估计Fn (x)可
以表示为
(1) K (u)在R1 上有界; ∫∞ (2) −∞ |K (u)|du < ∞; (3) lim|u|→∞ u|K (u)| = 0 或者g (x)在R1 上有界; ∫∞ (4) −∞ |g (x)|dx < ∞. 令 1 gn (x) = hn ∫
∞
( K
−∞
u hn
) g (x − u)du (1.2.1)
∗ Fn ( x)
1∑ = K (x − Xj ) n j =1
n
因此借用核密度估计的思想, 类似地给出核分布函数估计. 定义 1.1.4 设K (u)是定义在R1 上的一个分布函数, hn > 0为常数, 则称 1∑ Fn (x) = K n j =1
n
(
x − Xj hn
) (1.1.7)
为F (x)的核分布函数估计, 其中K (u)称为核分布函数,hn 称为窗宽.
Density
0.0
−4
0.1
0.2
0.3
0.4
0.5
−2
0 x
2
4
图 1.1.1 直方图估计， 虚线为正态密度线, n=200.
1
1.1. 核密度估计的定义 function (n) { x=rnorm(n) a=seq(-4,4,0.5) hist(x,br=a,freq=FALSE,ylim=c(0,0.5))
n
其中♯(A)表示集合A的元素个数. 以这个频率除以该区间的长度 1∑ f直方 (x) := I (ai ≤ Xj < ai+1 )/(ai+1 − ai ), x ∈ [ai , ai+1 ) n ai+1 )内的估计.
Histogram of x
5.1 引言与结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2 预备引理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
1.2. 核密度估计的渐近无偏与均方相合性
CHAPTER 1. 非参数密度估计
§1.2
核密度估计的渐近无偏与均方相合性
