数理统计 参数估计

例 1设 X 1, ,X ni~ iU d(0 , )试 , 讨 ˆM 与 ˆM 论 的 LE 无 . 偏
解已知 ˆM2X,ˆMLEX(n)
EˆME(2X)2EX2(2),ˆM是 的无偏 . 估
X(n) ~fn(z)n(z)n11,0z
0,
其它
EˆML EEX (n) 0znznn 1dznn1
第七章 参数估计
点估计 估计量的评价标准 充分性与完备性 区间估计 正态总体参数的区间估计
7.1 点估计
一、参数估计的概念
定义 设X1， … ， Xn是总体X的一个样本，其概率函
数为f(x; ), 。其中为未知参数, 为参数空间, f (x; )可表示分布律或密度函数. 若统计量g(X1, … , Xn) 可作为的一个估计，则称其为的一个估计量，记为ˆ ,
(1) 解似然方程法
d [L () ]d L 0 , od r [L l(n ) ]d lL n 0
d d
dd
称为未知参数的似然方程。若该方程有解，则其解就是
ˆM LˆE M(L X 1 E , ,X n)
(2) 直接法
由似然方程解不出的似然估计时，可由定义通过分
析直接推求。
事实 ˆML 上 满 E 足
i1
n
n
xi
[ (m xi )]pi1 (1 p)n(mx)
i1
n
n
lnLln[ (m xi )] mxi ln pn(mx)ln(1p)
i1
i1
令
dlnL
dp
1 p
n i1
xi
n(mx) 1 p
0
可解得
pˆMLE
1 m
X.
0， P{ 1 X m
p
D( 1 X )
}
m
2
mp(1 p)
则称
M (ˆ,)E[ˆ]2
为 的均方误差。
易知
M(ˆ,)D[ˆ].
事实上，M ( ˆ ,) E [ ˆ ] 2 E [ ˆ E ˆ E ˆ ] 2
E [ ( ˆ E ˆ ) 2 2 ( ˆ E ˆ ) ( E ˆ ) ( E ˆ ) 2 ]
E [(ˆ E ˆ)2 ] (E ˆ)2 D [ˆ].
n
L()L(x1,,xn;) f(xi;) i1
为该总体的似然函数。它实际上代表样本 (X1,L,Xn)
取其观测值 (x1,,xn)时的概率。
定义 若ˆ有 ,使得
或
L(ˆ)mL a(x)SuL(p ),
则称 ˆ为 的极大似 ,记 然为 ˆM 估 L.E或计 ˆL .
3、极大似然估计的推求
设 X 1 , ,X n i ~ i f( d x ;), ,试 ˆ M ˆ L M 求 ( E X 1 L , ,E X n )
i 1
iX i) .
定义 设 ˆ0 为的一个无偏估计，若对的任何无偏估计ˆ
都有
D (ˆ0)D (ˆ),
则称ˆ 0为的最小方差无偏估计(MVUE)。
显然，根据均方误差准则，最小方差无偏估计是无偏估计
类中最好的估计。那么，如何寻求最小方差无偏估计呢？究
竟方差小到什么程度才可达到最小值呢？
罗—克拉美不等式给出了无偏估计的方差下界。
ab a 2
12
解方程D组 E(X(X))(ba12a2b)2XB2
^
^
可a 得 M X 3 B 2, b M X 3 B 2 .
三、极大似然估计法
1、极大似然思想 你从河海大学校本部去火车站赶火车，25分钟后列车就
要开了，你是坐公共汽车去还是坐出租车去？答案是坐出租 车去。这是因为坐出租车在25分钟内赶到火车站的把握大 。
则可解方程组
L 0, 或lnL0
j
j
得出 j的MLˆEj, j1,,m.
若碰到用似然方程解不出MLE，则可用直接法推求.
若u=g(x)的反函数单值, 则u =g()的MLE为
uˆMLE g(ˆMLE).
7.2 估计量的评选标准
一、均方误差
设 ˆ ˆ ( X 1 , ,X n ) 为 的,估 若 E [ˆ 2 ] 存 计在 量
即 ˆg(X 1 ,,X n).
若x1， … ， xn是样本的一个观测值，则称
ˆg(x1,,xn)为 的估.计值
由于g(x1， … ， xn) 是实数域上的一个点，现用它
来估计， 故称这种估计为点估计。
点估计的经典方法是矩估计法与极大似然估计法。
二、矩估计法(简称“矩法”)
定义 用样本矩作为总体同阶矩的估计，从而解出未
或
L(ˆML ) Em L a(x)S uL(p).
iid
^
例 6设 X 1 , ,X n ~ P (), 0 , 试 M 求 LE
n
解 L ()i n 1x x i! i e [i n 1(x i!)] 1 i 1x ie n
n
n
lnLln(xi!)xi lnn
i1
一般说，事件A与参数有关，取值不同，则P(A) 也不同。若A发生了，则认为此时的值就是的估计值。
这就是极大似然思想。
例5 设袋中装有许多黑、白球，不同颜色球的数量比 为3:1，试设计一种方法，估计任取一球为黑球的概率p。 解 易知p的值无非是1/4或3/4。现从袋中有放回地任取 3只球，用X表示其中的黑球数，则X~b(3, p)，要估计p 的值。
L ( x 1 , ,x n ； ) d 1 d x n x L ( x 1 , ,x n ； ) d 1 d x n ;x
(3) g’()存在， 且有
则有
g '() T ( x 1 , ,x n ) L ( x 1 , ,x n ； ) d 1 x d n .x
2.罗—克拉美(Rao-Cramer)不等式
定理7.2.1 设总体X为连续型随机变量，密度函数为f(x; ),
为未知参数， ，X1, …, Xn为来自该总体得一个样本。 T(X1, …, Xn)为可估计函数g( )的无偏估计量。如果满足下列
正则条件：
(1)I()E [ln f(X;)]20;
( 2 ) f( X ;) 存 且 在 有 f( x ； ， ) d x f( X ;)d , x
i1
由ddlnL1
n i1
xi
n0
可解得
^
MLE
1 n
n i1
xi
x;
^
其极大似然估计量 MLE是 X.
iid
^
例 7设 X 1 , ,X n~ U (0 , ),试M 求 LE
解 L() n 1 n,
i1
0xi ,i 1, 2,,n
L'()nn1 0, 其似然方程无解。
但分析L()可发现 越小L越大.
知参数的方法称为矩估计法或矩法。 的矩估计可记为 ˆM
矩估计
ˆM
应满足方程：
E(Xk)Ak
1 n ni1
Xik.
或
E [XE (X )k]B kn 1i n 1[X i X ]k.
k的取值取决于f (x; )中未知参数的维数。若维数为1，即
仅有一个参数，则可在第一个方程中让k取1；若维数为2，
则可让k取1和2，解联立方程即可得ˆ1与ˆ2. 余类推。
随机误差
系统误差
二、无偏性
^^
^
设 (X1,,Xn)为 的估,若 计 E量
^
则称 是 的无偏. 估计量
易知，样本均值和样本方差分别是总体均值和总体
方差的无偏估计。事实上，
1n
1n
E (X )E (ni 1X i)ni 1Ei XE (X ),
E (S2)E [n 1 1i n 1(X iX )2]2D (X ).
[g'()]2 D(T) nI() .
特别，当g’()
=
时，上式可简化为
D
(T)
1
nI()
.
性质 则
若
f( X ;)d x 2f (X 2;)d,x
I() E [ ln f ( X ;)]2 E [ 2l n f(2 X ;)].
3. 有效估计
若不等 Dˆ式 n1(I)成为等 ,即E式 ˆ,且Dˆn1(I),
设 ˆ ˆ(X 1 ,L ,X n )是 的估计量，若 则称 ˆ是 的一致性估计量。
ˆ P ，
若ˆ a.e.,则称 ˆ为的强一致.估计量
例3
设
iid
X1,,Xn~B(m,p),m已知，0
<
p
<
1，试求出
pˆ MLE
.
并讨论其一致性。
n
解 ：L(p) (m xi )pxi (1p)mxi
事实上，由柯西不等式可知：对任意实向量a, b, 都有
|[a,b]| [a,a]b [,b]
n
1 (
i 1
n
n
i) 2 ( 1 i) 2 n
i 1
i 1
2 i
i n 1 i2 1 n .
故
D (n 1 i n 1X i) D (X ) n 22 i n 1
n
i2 D (
iid
^
例 1 .设 X 1 , ,X n ~ b ( m ,p )m ,固 ,0 p 定 1 ,试 p M .求
解E(X)xm 1xm xpx(1p)mx mp,
令E(X)X, 即可解p^M得 m 1X.
例 2 .设 X 1 , ,X ni~ ifd (x ;) e x, x 0
令E(X)X, D(X)1nin1(Xi X)2B2,即可解得
^
MX,
^
2MB2
1nin1(Xi X)2.
iid
^^
例 4 .设 X 1 , ,X n~ U (a ,b )a , b ,试 a M 和 求 b M .