第7章董整理参数估计Microsoft PowerPoint 演示文稿

L( ) f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
似然函数：
L( ) f (x1,x2,…, xn; )
L ( ) 看作参数 的函数，它可作为 将以多大可 能产生样本值 x1, x2,… ,xn 的一种度量 .
最大似然估计法就是用使 L ( ) 达到最大值的 ˆ 去估计 .
例6
设总体 X ~N( μ , σ 2) , μ , σ 2 未知 . x1 , , xn
是来自 X 的样本值 , 试求 μ , σ 2的最大似然估计量 . 解
X 的概率密度为
f ( x) 1 2
( x )2 2 2
e
, x
L( ) max L( )
ˆ 称 为 的最大似然估计值 . 而相应的统计量 θ ( X 1 ,, X n ) 称为 θ 的最大似然估计量 .

求点估计值的方法 —— 极（最）大似然法
（1）设总体X是离散随机变量
设事件 x的概率为 ( x, )，其中是未知参数 X p ,
2
i 1,2,, n
1 2 2 2 n n n
1 1 n D X D X i 2 n n i 1
2 2
D X
i 1 i
n
E ( X ) D X ( EX )
2
n
2
2 1 2 2 2 2 n n 2 E( S ) n n1
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估 计总体的某些参数或者参数的某些函数. 估计新生儿的体重
估计废品率
估计湖中鱼数
在参数估计问题 中，假定总体分 估计降雨量 布形式已知，未 … 知的仅仅是一个 … 或几个参数.
参数估计

点估计
区间估计
例如我们要估计某队男生的平均身高. （假定身高服从正态分布
这表明 , 当样本容量很大时 , 在统计上 , 可以用 用样本矩去估计总体矩 . 这一事实导出矩估计法. 定义 用样本原点矩估计相应的总体原点矩 , 又 用样本原点矩的连续函数估计相应的总体原点矩的
连续函数, 这种参数点估计法称为矩估计法 .
注：常用样本平均数 x估计总体期望值 .
2. 最大似然估计法
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 . 这个例子所作的推断已经体现了极大似然法的 基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f (x1,x2,… ,xn ; ) . 当给定样本X1,X2,…Xn时，定义似然函数为：
n


结论1
样本均值 X 是总体均值μ的一致估计值。 （大数定理）
结论2 样本方差 S 2是总体方差 2 的一致估计值.
证
1 n 2 n 2 2 X i nX S X2 X2 n1 n 1 i 1


∵当 n→∞时， X 2 P E ( X 2 ), X 2 P E X 2 ,
第 七 章
参 数 估 计
§7.1 估计量的优劣标准 §7.2 参数的点估计
§7 .3 区间估计
估计量的评选标准
在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
又 E ( X 2 ) E X D( X ) 2 ,
2
n 时，S .
2 P 2
二、无偏估计
ˆ 要求 用ˆ 作为 的估计没有系统误差， 即用 作为 的估计时， 其平均偏差（即误差的 数学期望）为0.
定义 若 E (ˆ ) 0或E (ˆ ) , 则称 ˆ 为θ的无偏估计。
x1 , x2 ,, xn 是一组样本观测值，则
P ( X 1 x1 , X 2 x2 ,, X n xn ) p( x1 , ) p( x2 , ) p( xn , )
似然函数：
L p( x i , )
i 1
n
直观想法： 选取的θ应使这组样本观测值出现的可能性最大. 实现途径： 求似然函数L(θ)的最大值.
ˆ ˆ 计量，如果 D(ˆ1 ) D(ˆ2 ), 则称 1 较 2有效。
ˆ 如果对于给定的n，D(ˆ ) 的值最小，则称 是 的有效估计量。
例
X及 X i都是μ的无偏估计量，但是 X 较X i 有效.
D( X )

2
n
2 D( X i ),
§7.2 参数的点估计
2
n
i 1
1 e 2πσ
( xi μ )2 2σ 2
L( μ, σ )
2
n
i 1
1 e 2πσ
( xi μ )2 2σ 2
于是
1 n 2 2 n 2 (2π ) (σ ) exp[ 2 2σ

i 1 n i 1
n
( xi μ ) 2 ] ( xi μ ) 2
i 1 i 1
n
n
对p求导并令其为0，
n d ln L( p) 1 n 1 xi ( n xi ) =0 dp p i 1 1 p i 1
得
1 n ˆ p xi x n i 1
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
1 n ˆ p( X 1 , , X n ) X i X n i 1
它是在总体类型已知条件下使用的一种参数估 计方法 . 它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
Fisher
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
我们知道,若 X ~ N μ, σ 2 ,则 E ( X ) μ .


由大数定律,
样本体重的平均值
1 n lim P{| X i | } 1 n n i 1
自然想到把样本体重的平均值作为总体平均体重的 一个估计. 用样本体重的均值 X 估计 μ . 类似地，用样本体重的方差 S 2 估计 σ 2.
1 n 1 S2 ( X i X )2 X Xi, n 1 i 1 n i 1
n
1. 矩估计法
矩估计法是英国统计学家K.皮尔逊 最早提出来的 . 由辛钦定理 ,
若总体 X 的数学期望 E X μ 有限, 则有
1 n P X X i E ( X ) μ n i 1
证
1 n 1 n 2 2 2 2 2 X i nX E E( S ) E ( X i ) nE ( X ) n 1 i 1 n 1 i 1
E ( X i2 ) D X i E X i 2 2
结论1 样本均值 x 是总体均值μ的无偏估计值。 证
1 1 n 1 n E ( X ) E X i E ( X i ) n . n n n i 1 i 1
∴ x 是μ的无偏估计值，
ˆ x.
结论2 样本方差 S 2 是总体方差 2的无偏估计值。
n n 1 2 LnL ln(2π ) ln σ 2 2 2 2σ

1 n 令 LnL 2 ( xi nμ ) 0 μ σ i 1 n n 1 LnL 2 ( xi μ ) 2 0 2 2 2 σ 2σ 2(σ ) i 1
解得
1 n μ xi x n i 1 1 n σ 2 ( xi x )2 n i 1
μ , σ 2 的最大似然估计量为
1 n X , σ2 μ ( X i X )2 n i 1
§7.3
参数的区间估计
N ( , 0.1 ) ）
2
现从该总体选取容量为5的样本，我们的任 务是要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 . 设这5个数是:
1.65 1.67 1.68 1.78 1.69
估计为1.68
这是点估计.
估计 在区间 [1.57, 1.84] 内， 这是区间估计.
0 1 Xi ~ 1 p p
p (1 p)
xi i 1
n
1 xi
p i 1 (1 p)
xi
n
xi
n
n
xi
i 1
n
L( p) p i 1 (1 p)
对数似然函数为：
n
xi
i 1
n
ln L( p) xi ln( p) ( n xi ) ln( 1 p)
2 2


三、有效估计
ˆ 问题 如果ˆ1 , 2都是 的无偏估计值，如何比 1 , 2的优劣. 较ˆ ˆ
ˆ 方法 看 1 ,ˆ2中哪一个的取值更稳定 的附近. 在
ˆ ˆ 定义 设1 X 1 , X 2 ,, X n 及 2 X 1 , X 2 ,, X n 都是θ的无偏估