下载文档原格式
点估计中两种常用方法的比较与分析楚尚坤河南理工大学数学与信息科学学院信息与计算科学专业2005级3班摘要：本文首先介绍矩估计法和极大似然估计法，然后对于同一分布和同一参数，用这两种不同的方法求出矩估计量和极大似然估计量，利用估计量的三条评选标准：无偏性、有效性和一致性来判断哪个估计量在这种情况下与该参数的真实值更相近，从而选择相应的点估计法。
关键词：矩估计极大似然估计无偏性有效性一致性§ 1引言当我们碰到这样的问题：假设总体分布函数的形式已知（它可由理论分析和过去经验得到，或者从抽样数据的直方图和概率纸描点初步估计出），但它的一个或多个参数未知，借助于总体的一个样本值，构造适当的样本函数来估计总体未知参数的问题，我们称之为点估计问题。
点估计是数理统计学中内容很丰富的一个分支，其中两种最常用的构造的估计量的方法是矩估计法和极大似然估计法。
当对于同一分布和同一参数时，先用矩估计法和极大似然估计法分别求得矩估计量和极大似然估计量，然后用无偏性、有效性和一致性对这两个估计量进行衡量，当样本容量足够大时，从而选出一个估计量使得这个估计量既在未知参数的真实值附近，又与未知参数真实值的偏离程度很小，而且随着样本容量n的增大估计量与被估计参数的偏差越来越小，进而选择相应的点估计法。
§ 2相关概念2.1参数估计所谓参数估计，是指从样本（X l,X2，…，X n）中提取有关总体X的信息，即构造样本的函数一一统计量g（X l,X2，…，X n），然后用样本值代入，求出统计量的观测值g（X l, X2」I （ , X n），用该值来作为相应待估参数的值。
此时，把统计量g（X1,X2，…，XQ称为参数的估计量，把9（人也凡）称为参数的估计值。
2.2参数估计的类型参数估计问题常有两类：点估计和区间估计。
（1）点估计：指对总体分布中的参数r ,根据样本（X「X2，…,X n）及样本值（X1，X2，…,X n），构造一统计量g（X i,X2，…,X n），将9（旨公2,…儿）作为二的估计值，则称g （X「X2，…，X n）为二的点估计量，简称点估计，记为A"g（X1,X2, ,X n）。
⎪⎩⎪⎨⎧⎩⎨⎧—Ch3 — 假设检验 —Ch2 —区间估计点估计 参数估计 统计推断第二章 参数估计本章问题：母体X 的分布形式已知，但其中含有未知参数，如何借助子样估计未知参数？§1 点估计和估计量的求法1.1 何谓参数估计（1）参数：指母体分布中的未知参数.（2）参数估计：借助子样值对母体参数做出估计. ①若用子样的一个函数),,,(21n x x x ∧∧=θθ去估计某个未知参数的值，则称∧θ是这个参数的点估计（一种定值估计）.②若用子样的两个函数)2,1(),,,,(21==∧∧i x x x n i i θθ去估计某个未知参数所在的区间，则称),(21∧∧θθ是这个参数的区间估计（设∧∧<21θθ）. （3）参数的点估计：一般，设母体X 的分布函数),,,;(21k x F θθθ 的形式已知，但k θθθ,,,21 是k 个未知参数，),,,(21n X X X 是来自母体X 的子样。
构造适当的统计量),,,(21n i X X X g 分别去估计i θ. 称),,,(21n i X X X g 为),,2,1( k i i =θ的估计量，记为),,2,1(),,,,(21k i X X X g n i i ==∧θ.当子样有观测值n x x x ,,,21 时，估计量),,,(21n i X X X g 有观测值 ),,,(21n i x x x g ，称为i θ的一个估计值，记为),,,(21n i i x x x g =∧θ.估计量是随机变量，估计值是常数，有时统称为i 的估计.依照构造统计量的方法的不同，点估计又分为矩法、极大似然估计法等.1.2 矩法（1）矩估计的方法：①求母体的l 阶矩⎪⎪⎩⎪⎪⎨⎧==∑⎰∞=+∞∞-x p x dx x f x X E k i i li k l l l 对离散型母对连续型母 ),,,,;(,),,,;()(21121θθθθθθμ 可知l μ的表达式中含有未知参数k θθθ,,,21 .②求子样的l 阶矩∑==n i l il X n A 11 当子样n X X X ,,,21 有观测值),,,(21n x x x 时，l A 有相应的观测值∑=n i l i x n 11，是已知的.③令l l A =μ（用已知的l A 去估计含有未知参数的l μ），即令 ⎪⎪⎩⎪⎪⎨⎧===kk A A A μμμ 2211 这是一个含有k个未知参数、k 个方程的方程组, 解之，则可得出所求的k 个未知参数的矩估计量∧∧∧k θθθ,,,21 . 例2.1.1 ),0(~θU X ，0>θ，未知，求θ的矩估计.解：母体有1个未知参数θ.①母体的1阶矩：2)(1θμ==X E②子样的1阶矩：∑===ni i X X n A 111③令11A =μ ： 即X =2θ，解得 __2X θ∧=. 例2.1.2 设母体X 有分布密度⎩⎨⎧<<+=其它010)1()(x x x f θθ ，0>θ，未知，求θ的矩估计.解：母体有1个未知参数θ.①母体的1阶矩：21)1()()(101++=+===⎰⎰+∞∞-θθθμθdx x x dx x xf X E .②子样的1阶矩：∑===ni i X X n A 111.③令11A =μ ： 即X =++21θθ ，解得 121--=∧X X θ. 例2.1.3 设母体X 有：2)(,)(σμ==X D X E ，但2,σμ未知，分别求2,σμ的矩估计.解：母体有2个未知参数2,σμ.①母体的1、2阶矩：μμ==)(1X E ，22222)()()(μσμ+=+==X E X D X E .②子样的1、2阶矩：∑===ni i X X n A 111，∑==n i i X n A 1221. ③令⎩⎨⎧==2211 A A μμ，即⎪⎩⎪⎨⎧=+=∑=n i i X n X 12221μσμ，解得⎪⎩⎪⎨⎧=-==∑=∧∧221221 S X X n Xn i i σμ注：结果表明，母体均值与方差的矩估计量的表达式不受母体分布的影响，分别是子样均值、子样方差.特别，当母体),(~2σμN X ，2,σμ未知时有：22S X ==∧∧σμ，；又当母体),(~p N B X ，pN ,未知时令： )1()()(2⎪⎩⎪⎨⎧=-===Sp Np X D X Np X E ，于是有：⎪⎪⎩⎪⎪⎨⎧-=-=∧∧2221S X X N X S p . 例2.1.4 设母体X 有分布密度0 ,0 0,)()(1⎪⎩⎪⎨⎧≤>Γ=--x x e x x f x βαααβ，0,0>>βα，未知，这时称X 服从参数为βα,的Γ分布，求βα,的矩估计.解：母体有2个未知参数βα,，由上题结论①母体均值与母体方差：ααβααβαβαβαββαα⋅Γ⋅=+Γ⋅Γ⋅=Γ⋅=Γ==⎰⎰⎰∞+--+=∞+-∞+∞-)(11)1()(11)(11)()()( 01)1(0dy e y dx e x dx x xf X E y y x x 令类似可得：2)(βα=X D②子样均值与子样方差：2,S X ③ 令⎪⎪⎩⎪⎪⎨⎧====22)()( S X D X X E βαβα ，解得⎪⎪⎩⎪⎪⎨⎧==∧∧222S X S X βα. （2）矩估计的理论依据：设n X X X ,,,21 为母体X 的一个子样，则n X X X ,,,21 相互独立且均与母体X 有相同分布，从而l n l l X X X ,,,21 相互独立且均与l X 有相同分布，由辛钦大数定律知： )(,)(11∞→=−→−=∑=n X E X n A l l Pn i l i l 当μ即：当n 充分大时，l A 几乎必然与l μ充分接近，因此，以l A 去估计lμ的矩估计方法是合理的.1.3 最大似然估计法引例：有一大批产品，废品率为p<p)10(<未知, 现从中任取100件产品，其中有10件废品，试估计未知参数p .分析：设随机试验为从这批产品中任取一件，观察其质量. 令X为所取得的废品数，则⎩⎨⎧=当取得正品当取得废品，，01X ，分布律为pX P p X P -====1)0(,)1(即母体X服从参数为p 的0-1分布. 此分布律又可记为xx p p x X P --==1)1()(，)1,0(=x又设10021,,,X X X 为一个子样，10021,,,x x x 为其子样值，这100个数值中的某10个为1，另90个为0。
故：101001=∑=i i x.这意味着随机试验的结果是事件},,,{1001002211x X x X x X A ==== 发生了，其概率)(A P 为},,,{)(1001002211x X x X x X P p L ==== ∏===1001}{i i i x X P100100111001)1()1(}{10011001p p p p x X P i i i i i i x x i x x i i =∑-∑=-=====-=-=∏∏可见，此概率值)(p L 随母体分布中的未知参数p 取值而变，但既然事件},,,{1001002211x X x X x X A ==== 已经发生了，自然有理由认为p 的取值应使其概率)(p L 达到最大。
为此，令：101()1(10)1(90)1(10)('8998910909--=---=p p p p p p p p L101=∴∧p 此估计值称为未知参数p 的最大似然估计值.（1）基本思想：若子样nX X X ,,,21有观测值nx x x ,,,21 ，则意味着在试验中事件},,,{2211n n x X x X x X A ==== 发生了.该事件的概率与母体的未知参数有关，故未知参数估计值的选取理应使已经发生的这一事件的概率)(A P 达到最大.这样选取的估计值称为未知参数的最大似然估计值；相应的估计量称为未知参数的最大似然估计量.（2）求法：当为离散型母体设母体X的分布律为x) P==pX;()(θx 其中p的函x(θ;)数形式已知，但参数θ（一维或多维）未知。
若子样nX X X ,,,21 有观测值n x x x ,,,21 ，则已发生的事件},,,{2211n n x X x X x X A ==== 的概率∏∏=========ni i n i i n n x p x X P x X x X x X P L 112211};{}{},,,{)(θθ称为似然函数. 再求出使关于θ的函数)(θL 取得最大值的θ∧作为未知参数θ的最大似然估计. 例2.1.5 设)(~λP X ，λ未知，求λ的最大似然估计解：①母体X 的分布律为λλ-==e x x X P x!}{②似然函数∏∏=-====n i i x n i i e x x X P L i 11!}{)(λλλ③取对数∑--=∑===-ni i i n i i x x x e x L i 11)]!ln(ln [)!ln()(ln λλλλλ④求)(ln λL 的最大值点（此即)(λL 的最大值点） 令]1)1[()(ln 11=-∑=-∑==-n x x d L d ni i n i i λλλλ-=∧=∑=∴x x n n i i 11 λ .此为λ的最大似然估计值；λ的最大似然估计量为X =∧λ. 当为连续型母体设母体X 的分布密度为),;(θx f 其中);(θx f 的函数形式已知，但参数θ（一维或多维）未知。
子样n X X X ,,,21 有观测值nx x x ,,,21 ，则似然函数取为∏==ni i x f L 1);()(θθ，再求使)(θL 取得最大值的θ∧. 例2.1.6 设),(~2σμN X ，2,σμ未知，求2,σμ的最大似然估计.解：①母体X的分布密度为222)(21)(σμσπ--=x e x f②似然函数∏∏=--===n i x n i i i e x f L 12)(122221)(),(σμσπσμ③取对数]2)()ln 2(ln 21[ln 1222∑--+-==n i ix L σμσπ④求最大值点,令：⎪⎪⎩⎪⎪⎨⎧∑-+-=∑----=∂=-∑=∑-=∑---=∂=====])([21)])(1()(21121[ln )(1)(1])1)((221[ln 1224122222121212n i i n i i n i i n i i n i i x n x L n x x x L μσσσμσσμσμσμσμ解得⎪⎩⎪⎨⎧=∑-==∑==∧∧=∧21221)(11 n n i i n i i S x n x x n μσμ注：上两例中参数的最大似然估计分别与矩估计的结果相同，有时会不同，如下例。
