概率论第七章参数估计

第七章 参数估计
§7.1 点估计 一. 问题的提法:
设总体X的分布函数F (x; θ)的形式为已知,
是待估参数，X1, X 2, , X n是X的一个样本，
x1 , x2 , , xn是相应的一个样本观测值。 点 估 计 问 题 就 是 要 构 造一 个 适 当 的 统 计 量
ˆ( X1, X 2 , X n )，用它的观察值ˆ(x1, x2 , , xn ) 来估计未知参数，我们称ˆ( X1, X 2 , , X n )为 的估计量，称 ˆ(x1,x2, ,xn )为参数的估计值。
例6.已知X1, X2,L , Xn为来自总体e()的样本， 求的极大似然估计。
例7.设总体X ~ N ( , 2 ),其中, 2均未知,
设X1, X 2 , X n是来自该总体的一组样本,
求, 2的极大似然估计.
例8.设总体X服从[0 , ]区间上的均匀分布, 求的极大似然估计。
例9.设总体X服从[θ,θ+1]区间上的均匀分布,
EX r =r (1,2,K ,k )为总体的r阶原点矩；假设EX k存在；
1
Ar = n
n i1
Xir为样本的r阶原点矩, r
1, 2,L
, k。
方程组
r (1,2,K ,k ) Ar , r 1, 2,L , k 的解ˆr (X1, X 2,L , X n )为r (r 1, 2,L , k)的矩估计量。
根据经验, 概率大的事件比概率小的事件
理 论
容易发生, x1, x2, , xn是一组样本值, 它是
依 据
已经发生的随机事件, 可以认为取到这组值
的概率比较大, 即似然函数的值比较大。
对似然函数而言, x1 , x2 , , xn是常数,它是参数
1,2 , ,k的函数,因而是参 数值使得L较大,我
们就将使得L取到最大值的参数值 ˆ1,ˆ2 , ,ˆk
称为1,2 ,
,
的极大似然估计值。
k
定义 : 如果似然函数 L(1,2 , ,k )在ˆi (x1, x 2 , , xn )
处取最大值,
则称ˆi为
的极大似然估计值，而相
i
应的统计量 ˆi ( X1, X 2 , , X n ) (i 1, 2, , k)称为参
二、矩估计法:
由辛钦大数定理可知：样本的原点矩依概 率收敛到总体的原点矩，即
Ak
1 n
n i 1
X
k i
P
EX k
αk
据此，得到参数的矩估计法。
定义：设 总 体X的 分 布 函 数 为F ( x; θ1, θ2 , θk )，
（ 其 中θ1, θ2 , θk为 未 知 参 数 ）
X 1, X 2 , X n 是 来 自X的 样 本 ，
（ 或 称 为 达 到 方 差 下 界的 无 偏 估 计 ）.
1
若
lim
n
nI ( )
D(ˆ)
1, 则称ˆ为的渐近有效估计。
例4.总体X ~ f (x; p) px (1 p)1x , x 0 , 1， X1, X 2 ,L , X n为来自X的样本，证明： pˆ X是参数p的有效估计。
,
Xn}
都是θ的无偏估计。
2、有效性:
定 义 : 若Eˆ1 Eˆ2 ， 若 有D(ˆ1) D(ˆ2 )， 则 称ˆ1比ˆ2有 效.
所有无偏估计中方差最小的无偏估计称为 最小方差无偏估计，或称为有效估计。
例3.对任何总体X，EX=μ，DX=σ2 ,
X1 ,X2, … ,Xn 是来自X 的样本，
其中
f
( x,
2)
x
2
e
x2
2 2
,
x
0
0 , x 0
求 2的矩估计。
例4.设总体X ~ f (x, ) 1 e|x|， x 2
( X1, X 2 , , X n )是来自总体X的样本，
求的矩估计。
三、极大似然估计方法:
定 义 ： 总 体X ~ f (x; 1, 2 , k ), 其 中1, 2 , k 是
数i的极大似然估计量。
极大似然估计的求解方法: 1.求解对数似然方程：
ln L(1,2 ,L ,k ) 0. (i 1, 2,L , k) i
若驻点唯一，即为极大似然估计。
2.直接根据定义计算。
例5.设X ~ f (x, p) px (1 p)1x，x 0,1； ( X1, X 2 , , X n )是来自X的样本， 求参数p的极大似然估计。
n
n
ˆ1 X , ˆ2
i
X
i
.(
为常数,
i
i 1)
i 1
i 1
证明：ˆ1 比 ˆ2有效。
定理：总体X ~ f (x; )，若Eˆ ， 则 D(ˆ) 1 （G R下界） nI ( )
其中I ( ) E[ ln f ( X , )]2 称为Fisher信息数。
若D(ˆ) 1 ， 则 称ˆ为的 有 效 估 计 ， nI ( )
例1.设总体X的均值及方差 2都存在，但, 2均未知， 又设X1, X 2 , X n是一个样本，求, 2的矩估计。
例2.已知X1, X2,L , Xn为来自总体U (1 ,2)的样本， 求1 ,2的矩估计。
例3.设( X1, X 2 , , X n )是来自总体X ~ f (x, 2 )的样本，
定义：若估计量ˆ ˆ( X1, X 2 , , X n )的数学期望E(ˆ) 存在, 且对于 , 有E(ˆ) , 则称ˆ是的无偏
估计量。
若lim Eˆ ，则称ˆ为的渐近无偏估计。 n
例2.X1,X2,…,Xn是来自X~U(0,θ)的样本，
证明：
ˆ1
2X
, ˆ2
n
n
1
max{X1,
X 2,
待 估 计 的 参 数, X1, X 2 , X n是X的 一 个 样 本,
n
L( 1, 2 , k ) f ( X i ; 1, 2, k ) i 1
称为样本的似然函数.
说明
1 似然函数是参数 1,2,
,
的
k
函
数.
2 X为 离 散 型 随 机 变 量 时 ，f (x)为 分 布 律 ；
X为 连 续 型 随 机 变 量 时 ，f (x)为 密 度 函 数 。
求的极大似然估计。
极大似然估计的性质:
设的函数u u( ), 具有单值反函数 (u), u ,ˆ是参数的极大似然估计, 则uˆ u(ˆ)是u( )的极大似然估计。
例如，例8中参数θ的方差DX的极大似然估计来自为：DX2
12
ˆ2
12
1 12
max{X
i
}2
§7.2. 估计量的评选标准 估计的三个常用标准是 : 无偏性, 有效性和一致性. 1、无偏性: