ch7参数估计

( xi 0) ； ln L( ) n ln n x ，
（最大似然估计值） ； 最大似然估计量
ˆ
1 X．
最大似然估计法可用于多个未知参数的概率函数
n
f ( x; 1, , k ) 的总体． 这时
求 k 元函数 L 的最大值， 可令
L L( x1 , , xn ; 1 ,, k ) f ( xi ; 1 ,, θk ) ．
n
f ( xi ; p) p xi (1 p)1 xi ；
L( p) f ( xi ; p) p n x (1 p) n (1 x ) P{ X 1 x1 ,, X n xn }．
i 1
假定摸球 100 次，观察值 x1, x2 ,
, x100
中有 9 个为 1，其余为 0，此时 L( p) p (1 p) ．
所以，黑球 : 白球= 0.09 : 0.91= 9 : 91．
max．
用同样的思想方法可以估计连续随机变量总体的未知参数．
最大似然估计法： 设总体 X 的概率函数为 f ( x；) 的类型已知， 为未知参数．作似然函数
ˆ ˆ L( ) L( x1, , xn ; ) f ( xi ; ) ． 若存在 的一个估计值 ( x1 ,, xn ) ，
别为：68，75，45，61，87，72． 试估计 及 ．
2
解： E (X ) ——考试的平均成绩； 可用样本均值 x 及样本方差
2 V a ( X ) ——考试成绩（总体）的方差． r
2
s2
来估计 及 ．
1 6 1 x xi (68 75 45 61 87 72) 68 ； 6i 1 6
2
2
0 ， 、 2
未知． 样本 X1 , X 2 , , Xn ，
试求 、 、 的矩估计量．
2
ˆ X A1 , 1 E ( X ) A1 X 2 1 n 2 1 n 2 2 2 2 ˆ 2 E ( X ) Var ( X ) [ E ( X )] X i X ( X i X ) B2 , n i 1 n i 1 解： 2 2 A2 1 n B2 ˆ ( X i X )2 . n i 1
特别，若 X～N ( ,
2 ) ， 、
2
未知，则
ˆ X,
1 n ˆ ( X i X )2 B2 ． n i 1
2
例 3．设总体 X～P( ) ，参数 未知．样本 X1 , X 2 , , Xn ，试求 的矩估计量． 解： 1
E( X ) X ，
1, 第i次摸到黑球， Xi 回抽样摸球， 令 得样本 X1 , X 2 , , Xn ． 0，第i次摸到白球，
P{X i k} pk (1 p)1k , (k 0, 1) ， ( i 1, 2,, n )．
若( x1 , x2 , 似然函数
, xn )
为一组观察值， 概率函数
l
1 n l P l ， ( n ) ， 大数定律， Al X i ni1
总体矩的连续 且样本的连续函数
P
函数． 由
ˆ ˆ 1 1 ( X 1 , X 2 , , X n ) 1 ( 1 , 2 , , k ) A1 ( , , , ) A ˆ ˆ 2 2 ( X 1 , X 2 , , X n ) 2 1 2 k 2 ． k ( 1 , 2 , , k ) Ak ˆ ˆ k k ( X 1 , X 2 , , X n )
1 n 1 n 2 ˆ ˆ ( X i X )2 S 2 ； 如上例中的估计量 X X i ， n 1 i 1 ni1
估计值
ˆ 68， 2 2 0 .0 ． ˆ 8
下面介绍两种常用的点估计法：矩估计法和最大似然法． 一. 矩估计法（数字特征法） 概率函数 f (x) ：称随机变量 X 的概率函数为 f (x) ， 是指
解：似然函数
的最大似然估计量．
n n
L( ) L( x1 , , xn ; ) f ( xi ; ) e xi n e n x ，
i 1 i 1
n d [ln L( )] n ˆ 1 n x n x 0 i d x i 1 1
1 2 n
1
2
n
推广到多个参数的情形： 设 (1 , 2 , , k ) 为总体分布中的一组未知参数， 用统计量
ˆ ˆ i i ( X1, X 2 , , X n )
作为参数 i 的估计 ( i 1, 2,, k ) ， 则称 k 维统计量 的一个估计．
ˆ ˆ ˆ ˆ (1, 2 , ,k ) 为参数向量 (1, 2 , , k )
9 91
最大似然法的主要思想：若在一次观察中一个事件出现了，则可以认为此事件出现的概率很大． 令 L( p) p (1 p)
9 91
max ， 求
ˆ p．
令
dL 9 p 8 (1 p) 91 91p 9 (1 p) 90 p 8 (1 p) 90 (9 100p) 0 ， 当 p 0.09 时， L( p ) 取 ˆ dp
第7章
参 数 估 计
估计问题、区间估计问 题）； 参数估计问题（包括点 统计推断的两大基本问题 假设检验问题．
7.1 点 估 计 法 点估计：对总体分布函数中包含的未知参数作出统计推断，即作出估计． 先见下例，增加感性认识．
2 2 例 1．设某次考试的成绩 X～N ( , ) ， 、 为未知参数．今随机地抽取 6 名考生，成绩分
称为矩估计量，相应的观察值称为矩估计值．此方法称为矩估计法．
上述
ˆ ˆ ˆ 1, 2 , k
例 1．设总体 X～U (a, b) ， a、 b 未知． X1 , X 2 , , Xn 是一个样本，求 a、 b 的矩估计量．
1 1 E ( X ) (a b) A1 X， 2 (b a)2 (a b)2 1 n 2 解： 2 2 E ( X ) Var ( X ) [ E ( X )] A2 X i ， 2 12 4 ni1
L( ) L( x1 , , xn ; ) f ( xi ; )
i 1 i 1
n
n
x e
i
xi !

n x n x ln n ln(x1! xn !) ，
1 ˆ x xi ， ； n i 1 （最大似然估计值）
得
ˆ X．
二. 最大似然法 ( Maximum Likelihood Estimators, 简称 MLE ) 设总体 X 的概率函数
f ( x；)
n
的类型已知， 为未知参数， 待估计． 则样本 X1 , X 2 , , Xn 的
i
联合概率密度（或分布律）为
f (x ; ) ． 令
得
1 6 s 8 ( xi x ) 2 2 0 .0 ． 6 1 i 1
2
E (X )
的估计值 68，
2 的估计值 200.8．
构造统计量
估计量：设
为 总 体 X 的 待 估 计 的 参 数 ， 由 样 本 X 1 , X 2 , , X n
ˆ ˆ ( X1 , X 2 , , X n ) 来 估 计 ． 称 ˆ 为 的 一 个 估 计 量 ． 相 应 于 样 本 的 一 个 观 察 值 ˆ x , x , , x ， 称 ( x , x , , x ) 为 的一个估计值．
概率密度f ( x)， 当X 为连续的； f ( x) ( x R) ． 当X 为离散的． P{ X x},
设总体 X 的概率函数为 f ( x；1, , θk ) 的类型已知， (1, , k ) 为未知参数，待估计． 样本
X1 , X 2 , , Xn ． 假设 X 的前 k 阶矩 E( X ) l ( 1, 2 , , θk ) ( l 1, 2, , k ) 存在． 由辛钦
2
似然函数 L( , )
2

i 1
n
( xi ) 2 1 1 exp 2 2 2 2 2
n2
1 n exp 2 ( xi ) 2 ； 2 i 1
例 2．设总体 X～Exp( ) ，
n
d [ln L( )] n x n0 d
1 ˆ X Xi ． 最大似然估计量 ni1
n
e x , f ( x) 0,
x 0, x 0,
未知参数 ( 0, ) ．
x1, x2 , , xn 为一组观察值，试求
i 1
ln L ln L ln L 0 ， 解得 1 2 k
ˆ ˆ 1 , , k ．
例 3．设总体 X～N ( , ) ，参数 、
2
2
未知．样本 X1 , X 2 , , Xn ，试求 、 的最大似
2
然估计量．
(x )2 1 exp 解：概率函数 f ( x; , ) ； 2 2 2
i 1
L( ) L( x1 , , xn ; ) f ( xi ; ) ——
i 1
n
似然函数 ( likelihood function )． 结合例子介绍最大似然法的思想方法． 例子：设一袋中装有黑、白两种球，试通过摸球估计两者数量之比． 解：p ——摸到黑球的概率．只要估计 p， p [0, 1] ．总体 X～B(1, p) ，p 为未知参数．作 n 次放