茆诗松《概率论与数理统计教程》笔记和课后习题(含考研真题)详解(参数估计)【圣才出品】

  • 格式:pdf
  • 大小:2.10 MB
  • 文档页数:96

第6章 参数估计
6.1 复习笔记
一、点估计的概念与无偏性 1.点估计及无偏性
(1)定义:设x 1,…,x n 是来自总体的一个样本,用于估计未知参数θ的统计量θ∧
=θ∧
(x 1,…,x n )称为θ的估计量,或称为θ的点估计,简称估计.
(2)定义:设θ∧
=θ∧
(x 1,…,x n )是θ的一个估计,θ的参数空间为Θ,若对任意的θ∈Θ,有E θ(θ∧
)=θ,则称θ∧
是θ的无偏估计,否则称为有偏估计.
注意:
①当样本量趋于无穷时,有E (s n 2)→σ2,称s n 2为σ2的渐近无偏估计,这表明当样本量较大时,s n 2可近似看作σ2的无偏估计.
②若对s n 2作如下修正:
则s 2是总体方差的无偏估计.这个量常被采用.
③无偏性不具有不变性.即若θ∧
是θ的无偏估计,一般而言,其函数g (θ∧
)不是g (θ)的无偏估计,除非g (θ)是θ的线性函数.
④并不是所有的参数都存在无偏估计,当参数存在无偏估计时,我们称该参数是可估的,否则称它是不可估的.
222
1
1()11n
n i i ns s x x n n ===---∑
2.有效性
定义:设θ∧1,θ∧2是θ的两个无偏估计,如果对任意的θ∈Θ有Var (θ∧1)≤Var (θ∧
2),且至少有一个θ∈Θ使得上述不等号严格成立,则称θ∧
1比θ∧
2有效.
二、矩估计及相合性 1.替换原理和矩法估计 替换原理指:
(1)用样本矩去替换总体矩,这里的矩可以是原点矩也可以是中心矩. (2)用样本矩的函数去替换相应的总体矩的函数.
2.概率函数已知时未知参数的矩估计
设总体具有已知的概率函数p (x ;θ1,…,θk ),(θ1,…,θk )∈Θ是未知参数或参数向量,x 1,…,x n 是样本.假定总体的k 阶原点矩u k 存在,则对所有的j (0<j <k )u j 都存在,若假设θ1,…,θk 能够表示成u 1,…,u k 的函数θj =θj (u 1,…,u k ),则可给出θj 的矩估计:θ∧
j =θj (a 1,…,a k ),j =1,…,k ,其中a 1,…,a k 是前k 阶样本原点矩
进一步,如果我们要估计θ1,…,θk 的函数η=g (θ1,…,θ∧
k ),则可直接得到η的矩估计η∧
=g (θ∧
1,…,θ∧
k ).
注:当k =1时,我们通常可以由样本均值出发对未知参数进行估计;如果k =2,我们可以由一阶、二阶原点矩(或二阶中心矩)出发估计未知参数.
1
1n j
j i
i a x n ==∑
3.相合性
定义:设θ∈Θ为未知参数,θ∧n =θ∧
n (x 1,…,x n )是θ的一个估计量,n 是样本容量,若对任何一个ε>0,有
则称θ∧
n 为参数θ的相合估计. 判断相合性的两个有用定理:
(1)设θ∧
n =θ∧
n (x 1,…,x n )是θ的一个估计量,若
则θ∧
n 是θ的相合估计.
(2)若θ∧
n1,…,θ∧
nk 分别是θ1,…,θk 的相合估计η=g (θ1,…,θk ),是θ1,…,θk 的连续函数,则η∧
=g (θ∧
n1,…,θ∧
nk )是η的相合估计.
三、最大似然估计与EM 算法 1.最大似然估计
定义:设总体的概率函数为P (x ;θ),θ∈Θ,其中θ是一个未知参数或几个未知参数组成的参数向量,Θ是参数空间,x 1,…,x n 是来自该总体的样本,将样本的联合概率函数看成θ的函数,用L (θ;x 1,…,x n )表示,简记为L (θ),
L (θ)=L (θ;x 1,…,x n )=p (x 1;θ)p (x 2;θ)…p (x n ;θ)
ˆlim ()0n n P θθε→∞
-≥=ˆlim ()n
n E θθ→∞
=ˆlim ()0n
n Var θ→∞
=
L (θ)称为样本的似然函数.如果某统计量θ∧
=θ∧
(x 1,…,x n )满足
则称θ∧
是θ的最大似然估计,简记为MLE .
注意:在做题时,习惯于由lnL (θ)出发寻找θ的最大似然估计,再求导,计算极值.但在有些场合用求导就没用,此时就需要从取值范围中的最大值和最小值来入手.
2.EM 算法
当分布中有多余参数或数据为截尾或缺失时,其MLE 的求取是比较困难的,这时候就可以采用EM 算法,其出发点是把求MLE 的算法分为两步:
(1)求期望,以便把多余的部分去掉; (2)求极大值.
3.渐近正态性
最大似然估计有一个良好的性质:它通常具有渐近正态性.
(1)定义:参数目的相合估计θ∧
n 称为渐近正态,若存在趋于0的非负常数序列σn (θ)
,使得依分布收敛于标准正态分布.这时也称θ∧
n 服从渐近正态分布N (θ,σn 2(θ)),
记为θ∧n ~AN (θ,σn 2(θ)),σn 2(θ)称为θ∧
n 的渐近方差.
(2)定理:设总体x 有密度函数p (x ;θ),θ∈Θ,Θ为非退化区间,假定 ①对任意的x ,偏导数∂lnp/∂θ,对所有θ∈Θ都存在; ②∀θ∈Θ有
|∂p/∂θ|<F 1(x ),|∂2p/∂θ2|<F 2(x ),|∂3lnp/∂θ3|<F 3(x )
()
()ˆmax L L θθθ∈Θ
=()
ˆn n θθσθ-
其中函数F 1(x ),F 2(x ),F 3(x )满足
③∀θ∈Θ,
若x 1,x 2,…,x n 是来自该总体的样本,则存在未知参数θ的最大似然估计θ∧n =θ∧
n (x 1,x 2,…,x n ),且θ∧
n 具有相合性和渐近正态性,
该定理表明最大似然估计通常是渐近正态的,且其渐近方差σn 2(θ)=(nI (θ))-1
有一个统一的形式,其中,I (θ)称为费希尔信息量.
四、最小方差无偏估计 1.均方误差
(1)使用条件:小样本,有偏估计.
(2)均方误差为:MSE (θ∧
)=E (θ∧
-θ)2,常用来评价点估计. 将均方误差进行如下分解:
MSE (θ∧
)=E[(θ∧
-E θ∧
)+(E θ∧
-θ)]2=E (θ∧
-E θ∧
)2+(E θ∧
-θ)2+2E[(θ∧
-E θ∧

1()d F x x ∞
-∞
<∞⎰
2()d F x x ∞
-∞
<∞⎰
3sup ()(;)d F x p x x ∞
-∞
∈Θ
<∞⎰θθ()()2
ln 0;d p p x x ∞
-∞
∂⎛⎫
<I =<∞ ⎪∂⎝⎭
⎰θθθ1
ˆ~(,)()
n
AN nI θθθ
(E θ∧
-θ)]=Var (θ∧
)+(E θ∧
-θ)2
由分解式可以看出均方误差是由点估计的方差与偏差|E θ∧
-θ|的平方两部分组成.如果θ∧
是θ的无偏估计,则MSE (θ∧
)=Var (θ∧
).
(3)一致最小均方误差
设有样本x 1,…,x n ,对待估参数θ有一个估计类,如果对该估计类中另外任意一个θ的估计θ~
,在参数空间Θ上都有MSE (θ∧
)≤MSE (θ~
),称θ∧
(x 1,…,x n )是该估计类中θ的一致最小均方误差估计.
2.一致最小方差无偏估计
定义:设θ∧
是θ的一个无偏估计,如果对另外任意一个θ的无偏估计θ~
.在参数率间Θ上都有Var (θ∧
)≤Var (θ~
),则称θ∧
是θ的一致最小方差无偏估计,简记为UMVUE .
关于UMVUE ,有如下一个判断准则:
设X =(x 1,…,x n )是来自某总体的一个样本,θ∧
=θ∧
(X )是θ的一个无偏估计,Var (θ∧
)<∞,则θ∧
是θ的UMVUE 的充要条件是:对任意一个满足E (φ(X ))=0和Var (φ(X ))<∞的φ(X )都有Cov θ(θ∧
,φ)=0,∀θ∈Θ.
这个定理表明UMVUE 的重要特征是:θ的最小方差无偏估计必与任一零的无偏估计不相关,反之亦然.
3.充分性原则
定理:总体概率函数是p (x ;θ),x 1,…,x n 是其样本,T =T (x 1,…,x n )是θ的充分统计量,则对θ的任一无偏估计θ∧
=θ∧(x 1,…,x n );令
ˆ()E T θθ
=。