第六章点估计
1. 本章重点概括
本章要求学生正确理解参数点估计的概念。掌握矩估计法，明确其实质是用样本矩来替换总体矩，即皮尔逊替换原则。掌握极大似然估计法，明确其基本思想是选取估计量，使得该样本发生的可能性最大，能熟练地求出某些常见分布中未知参数的极大似然估计量。掌握关于判别估计量优良性的一致性、无偏性、有效性这三个准则，并能熟练地加以运用。掌握罗-克拉美(Rao-Cramer)不等式的条件、结论，能求一些常见分布中未知参数的无偏估计量之方差的罗-克拉美下界，会求一些常见分布中未知参数的
有效估计，或会证明某
∧
θ是θ的有效估计。掌握充分统计量的概念和奈曼
(Neyman)因子分解定理，并会加以应用。
点估计方法一般有两种，一种为矩估计法，一种为极大似然估计法。矩估计法比较直观，对任何总体都适用，方法简单，但需要保证总体的相应的矩存在，若不存在就不能用矩估计的方法。而极大似然估计对任何总体也都适用，从它得到估计量一般有有效性，并且常常具有无偏性，即使不具有无偏性，也可以修正偏差使估计值与待估计参数的真实值充分接近。极大似然估计法的缺点是往往要解一个似然方程，而这个方程在有些情况下是很难解的。
在分析估计量的好坏时，应首先考虑一致性，即看估计量是否依概率收敛于所估计的参数，不具备一致性的估计量我们一般是不予考虑的。估计量是一个随机变量，对于不同的样本值，一般给出参数不同的估计值，因而在考虑估计量的优劣时，应该从某种整体性能去衡量，而不能看它在个别样本之下表现如何。
一般来说，矩估计和极大似然估计都不一定是无偏估计。无偏估计要
111
112
求估计量的数学期望等于待估参数，但无偏估计不一定是有效估计，如正
态总体期望的估计量∑==n i i i X k 1ˆμ
，其中∑==n i i k 11是无偏估计，但只有当n n n
k i ,,2,1,1 ==时，μˆ才是有效估计。 由于统计量很多，那么怎样的统计量才是最佳的呢？直观的想法是，一方面要尽可能的简单，另一方面又要能提供样本所含的“全部信息”，由此引出了充分统计量的定义。直接从定义出发判断一个统计量是不是充分统计量有时很困难，奈曼给出了一个较为方便的因子分解定理。
2. 基本概念
1) 点估计
设总体X 的分布已知，θ是待估参数。n X X X ,,,21 为来自该总体一
个样本，若n X X X ,,,21 构造一个统计量),,,(ˆˆ21n
X X X θθ＝，并 用θˆ估计θ，则称θˆ是θ的估计量。
2) 一致性
若θ
ˆ是θ的估计量，如果对于任意0>ε，总有 1}ˆ{lim =<-∞
→εθθP n ， 则称θˆ为θ的一致估计量。
3) 无偏性
若未知参数θ的估计量满足
θθ
=)ˆ(E 则称θˆ具有无偏性，并称θˆ是θ的无偏估计量。
4) 渐近无偏性
若未知参数θ的一个估计θˆ有偏，但当∞→n 时，
113
,)ˆ(θθ
→E 则称θˆ为θ的渐近无偏估计量。
5) 有效性
若1ˆθ和2ˆθ都是θ的无偏估计量，且)ˆ()ˆ(21θθD D ≤，则称1ˆθ较2
ˆθ有效。若对固定的样本容量n ，)ˆ(θ
D 达到最小，则称θˆ为θ的最小方差无偏估计，记为UMVU
E 。
6) 罗—克拉美(Rao-Cramer)不等式
设n X X X ,,,21 是取自总体X 的一个样本，);(~θx f X ，又
),,,(21n X X X u =η是)(θg 的一个无偏估计，且满足正则条件：
(a)集合}0);(:{>θx f x 与θ无关；
(b))(θg '与θ
θ∂∂);(x f 存在，且对一切Θ∈θ， dx x f dx x f ⎰⎰∂∂=∂∂
θ
θθθ);();( ⎰⎰∂∂n n n dx dx x f x f x x u 111);();(),,(θθθ n n
i i n dx dx x f x x u 111);(),,(⎥⎦
⎤⎢⎣⎡∂∂=∏⎰⎰=θθ (c) 令0);(log )(2
>⎪⎭
⎫ ⎝⎛∂∂=θθθθX f E I 称为信息量，则 )
()]([2
θθηθnI g D '≥ 这个不等式称为罗—克拉美不等式。罗—克拉美不等式指出，在样本容量n 给定时，)(θg 的无偏估计的方差不可能无限的小，它有一个下界
114
)
()]([2
θθnI g '，称这个下界为R C -下界。 7) 有效估计
若θ的一个无偏估计θˆ使罗—克拉美不等式中等式
⎥⎥⎦⎤⎢⎢⎣⎡⎪⎭⎫ ⎝⎛∂∂=2);(log 1
)ˆ(θθθX f nE D
成立，则称θˆ为θ的有效估计。
8) 有效率
若θˆ是θ的一个无偏估计，且罗—克拉美不等式下界存在，则称)ˆ(θ
D 与)(θnI 的比
)
ˆ()(1
θθD nI e = 为估计θˆ的有效率。
9) 充分统计量
设n X X X ,,,21 是取自总体X 的一个样本，);(~θx f X ，设
),,,(21n X X X u =η是一个统计量，有概率密度);(θy g . 若
),(]
);([);();(111n n n x x h x x u g x f x f =θθθ 成立，且每当),,,(21n x x x u =η取一固定值时，y =η发生条件下的条件概率函数),(1n x x h 不依赖于θ，则称η为θ的一个充分统计量。
3. 基本方法、定理
1) 矩估计法
由于总体分布中的未知参数往往是总体X 的一些原点矩或原点矩的函
