第2章 参数估计

③ P( A) P{X 1 x1 , X 2 x2 ,, X 100 x100} L( )
P{ X1 x1}P{ X 2 x2 } P{ X 100 x100}
P{ X x1}P{ X x2 } P{ X x100}
P{ X xi } x (1 )1 x
( x i )2 2 2 e
1
(x )
2
n n 2 §1) f ( xi ) 1 e 2 点估计和估计量的求法 L( ,
2
( xi )2
i 1
i 1
2
( x i )2 1 ln L [ (ln 2 ln 2 ) ] 2 2 i 1 2
§1
点估计和估计量的求法
引例：产品的废品率为 ,从中任取 100 件， 引例：产品的废品率为 ,从中任取 100 件， 有 10 件废品，试估计 。 有 10 件废品，试估计 。 X ~ B(1, ) ，即 P( X k ) k (1 )1 k 分析：① X ~ B(1, ) ，即 P( X k ) k (1 )1 k 分析：① ② X1, X 2 ,, X100 为来自总体的一个子样 ② X1, X 2 ,, X100 为来自总体的一个子样 ③ L( p ) P{ X 1 x1 , X 2 x2 , , X 100 x100 } ,X ③ L( p ) P{ X 1 x1100 2 x2 , , X 100 x100 } 100
例 2.1.1 X ~ U (0, ) ， 未知，求 的矩估计.
解： X 1 , X 2 , , X n 是来自 X 的一个样本，
x1 , x2 ,, xn 是样本值
矩估计： X E X 2
__

解得 2 X
1 a xb 4.均匀分布 X ~ U (a, b) f ( x) b a 0 其它
n
令
1 1 n 1 n ln L n i1[ 2 2 2( xi )( 1 ) ] 2 i1( xi ) 2 ( i1 xi n ) 0 n n ln L 1 1 1 1 1 2 2 ( xi ) ( 2 2 ] [ n ( xi )2 ] 0 2 [ 22 2 ( ) 2 4 i 1 i 1

估计量是随机变量，估计值是常数，有时 统称为 i 的估计.
点估计
{
矩法 极大似然估计法
§1
1.2 矩法
点估计和估计量的求法
（1）方法：样本矩=总体矩（与未知参数有关）
（2）理论依据：由辛钦定理知：样本矩 总体矩
p
X , Y §1 点估计和估计量的求法 相互独立, 则
( X Y ) ( 1 2 ) 近似 ~ N (0,1) 2 2 . S X SY n1 n2
i 1 n
g i ( X 1 , , X n )
为 的估计量，记为 g ( X1,, X n ) .

§1
点估计和估计量的求法
当 子 样 有 观 测 值 x1 , x2 , , xn 时 ， 估 计 量 gi ( X 1 , X 2 , , X n ) 有观测值 gi ( x1 , x2 , , xn ) ， 称为 i 的一个估计值，记为 i gi ( x1 , x2 , , xn ) .

1 故当 10 时， L( ) 最大。
§1
点估计和估计量的求法
（1）基本思想 （1）基本思想 一次试验中事件 A 发生了， 则认为存在某个特 一次试验中事件 A 发生了，则认为存在某个特
定的条件，使得这一事件的概率 P( A达到最大. 定的条件，使得这一事件的概率 P(A) ) 达到最大. (2)定义 (2)定义(MLE)
i 1
L ②连续型： ( )
di 1 L( ) ln 方法：①ln L( ) ②令( ) d 0 ③得 d ln L 方法：①ln L( ) ②令 d 0 ③得
f ( x1 , x 2 ,, x n ) f ( xi )
n
注：
t ln 注：.t. lns.L.( ) L( ) 最大( L( )最大 L ) s
i 1
n

xi
i 1 x i !
e

n

xi

n
§1 点估计和估计量的求法 L( ) P{ X x i } e
n n xi i 1 in( e ) [ xi ln ln( xi ! )] xi ! i 1 i 1 n xi
1
2
~ N (0,1)
n1

.
n2
例例 2.1.4 X ~ U (a,,b)) ， a, b 未知，求a, bb的矩估计. 2.1.4 X ~ U (a b ， a, b 未知，求 a, 的矩估计.
解： X 1 , X 2 , , X n 是来自 X 的一个样本，
x1 , x2 ,, xn 是样本值


最大
最大
§1
点估计和估计量的求法
例 2.1.5 设 X ~ P( ) ， 未知，求 的最大似然 估计
解： X 1 , X 2 ,, X n 是来自总体的一个样本
x1 , x2 ,, xn 是样本值
X ~ P( )
n
P{ X k}
k
k!
e
L( ) P{ X x i }
i
100 i 1
100 i 1
i
i1 (1 )
xi
100
100
xi
i 1
100
10 (1 )90
1
2
i {1 x(1 x1) 100i x x21 )90 xn } , X 2 1 , 10 (, X n P( ) P X 1 (1 ) 10 (1 )90 可见，此概率值 L( ) 随母体分布中的未知参数 n n L( ) 随母体分布中的未知参数 可见，此概率值 } A {Xi x , X 1i x ,, X x } x x P{ X xi 取值而变，但既然事件 1(1 1 )2 2 100 100 取值而变，但既然事件 iA 1 {X1 x1 , X 2 x2 ,, X 100 x100} i 1 已经发生了， 自然有理由认为 的取值应使其概率 n n 已经发生了， 自然有理由认为 的取值应使其概率 n xi L( ) 达到最大。 xi L( ) 达到最大。 i1 (1 ) i1 x (1 ) n x 为此，令： 为此，令：
§1
点估计和估计量的求法
0 x 1 其它
，
例 2.1.2 X 有分布密度, 0 未知,求 的矩估计.
( 1 ) x f( x) 0
解： X 1 , X 2 , , X n 是来自 X 的一个样本，
x1 , x2 ,, xn 是样本值
__
矩估计： X E X
称 为 的最大似然估计(MLE)，称 L( ) 为似然函 称 为 的最大似然估计，称 L( ) 为似然函数。 数。
§1
点估计和估计量的求法
n
(3)似然函数的表达式
L ①离散型： ( ) P{ X 1 x1 , X 2 x2 ,, X n xn } P{ X xi }
§1
1.1
点估计和估计量的求法
何谓参数估计
（1）参数：指母体分布中的未知数. （2）参数估计：借助子样值对母体参数做出估计 . （3）参数的点估计： 设母体 X 的分布函数 F ( x; ) 的形式已知，
其中 未知， ( X ,, X ) 是来自母体 X 的子样。
1 n
构造适当的统计量 g ( X ,, X ) 估计 . 称
ab X E( X ) 2 矩估计： S 2 D( X ) (b a) 2 n 12
a X 3S n 解得 b X 3S n
§1
点估计和估计量的求法
1.3 最大似然估计法 引例：师徒打猎，一声枪响，兔子被击中， 问谁射击的？ 分析：A: 被击中 B: 未被击中 且P(A︱师) > P(A︱徒) 等价：当师父射击时，s.t. P(A)最大。 推测：师父 依据：既然事件A={兔子被击中}已经发生了， 自然有理由认为存在特定的射击者， 使得P(A)达到最大。
d ln L( ) 1 [( x i ) 1 ] i 1 n 0 令 d i 1
n
1 n xi x n i 1
xi
n
§1
点估计和估计量的求法
2
例 2.1.6 设 X ~ N ( , ) ， , 未知，求 ,
xi 1 xi
x1 , x2 ,, x100 为子样值，且 x1 , x2 ,, x100 为子样值，且
100 xi 100 10 i 1 x 10 i i 1
1
2
100
x1 , x2 ,, x100 为子样值，且
§1
100 点估计和估计量的求法 x 10 i 1 i
2
2
的最大似然估计.
解： X 1 , X 2 ,, X n 是来自总体的一个样本
x1 , x2 , , xn 是样本值
X ~ N ( , )
2
f ( x)
1 e 2

( x )2 2 2
L( ,
n
2
) f ( xi )
i 1