下载文档原格式
第一节点估计一、点估计问题的提法二、估计量的求法三、小结引言生活中的估计一人去算命，算命先生摸骨相面掐算八字后，说，你二十岁恋爱，二十五岁结婚，三十岁生子，一生富贵平安家庭幸福晚年无忧。
此人先惊后怒，道：我今年三十五岁，博士，光棍，木有恋爱。
先生闻言，略微沉思后说：“年轻人，知识改变命运啊。
”引言对于一个未知参数用一个数去估计——点估计.用一个区间去估计——区间估计.例如，甲、乙两人估计武大郎的身高，甲估计武大郎身高是165cm, 乙估计武大郎在160~173cm.甲采用的是点估计, 体现估计的精度,但可靠度较低乙采用的是区间估计，体现可靠度，但精度较差一、点估计问题的提法设总体X 的分布函数形式已知, 但它包含若干个未知参数, 借助于总体X 的一个样本来估计总体未知参数的值的问题称为点估计问题..,,,0,,λλλ试估计参数设有以下的样本值为未知参数数的泊松分布为参假设它服从以是一个随机变量次数一天中发生着火现象的在某炸药制造厂>X 例1250126225490756543210=∑kn k k火的天数次着发生着火次数解),(P ~ λX 因为).( X E =λ所以用样本均值来估计总体的均值E (X ).∑∑===6060k k k k n kn x )162564223542901750(2501⨯+⨯+⨯+⨯+⨯+⨯+⨯=.22.1=.22.1)(的估计为故λ=X E点估计问题的一般提法.,,,,,,,,,);(2121为观察值的一个样本是待估参数是未知形式已知的分布函数设总体n n x x x X X X X x F X θθ.),,,,(ˆ),,,,(ˆ2121θθθ来估计未知参数用它的观察值统计量就是要构造一个合适的nnx x x X X X点估计问题.),,,(ˆ21的估计量称为θθn X X X .),,,(ˆ21的估计值称为θθn x x x .ˆ,θ简记为通称估计.,),,,min(ˆ21的估计量最小值用来作为总体构造例如θθX X X X n=由于估计量),,,(ˆ21nX X X θ是随机变量, 因而对不同的样本值, 得到的参数值往往不同.nx x x ,,,21 对于观察值}.,),,,min(ˆ,,,2121的估计值就是得代入样本观察值θθnn x x x x x x =二、估计量的求法常用构造点估计的方法: (两种)1.矩估计法2.极大似然估计法,,,,),,,,;(}{,),,,,;(,212121为待估参数其中其分布律为为离散型随机变量或其概率密度为为连续型随机变量设k k k x p x X P X x f X θθθθθθθθθ ==1.矩估计法总体的原点矩为l EX 样本的原点矩为∑=n i l i X n 11n X X X ,,,21 ).,2,1,(11k l EX X n l P n i l i =→∑=总体矩样本矩矩估计法的理论背景由大数定理知由于样本l nl l X X X ,,,21 独立同分布, 所以也独立同分布.因而当n 充分大时),2,1,(11k l X n EX n i l i l =≈∑=矩估计法用样本矩来估计总体矩.做法:.,,,——21个方程的未知参数构造包含k k θθθ 估计量的分别作为用方程组的解kk θθθθθθ,,,ˆ,,ˆ,ˆ2121 ——矩估计量.),2,1,(11k l X n EX n i l i l ==∑=令基于,11l P n i l i EX X n →∑=即总体“平均”≈样本“平均”11(1,2,,)nl l i i EX X l k n ===∑ 1l =当时11= 1n i i EX X X n ==∑（）2l =当时2211 (2)n i i EX X n ==∑22EX DX EX =+ （）=EX X从而（2）式变为2211 n i i DX X X n =+=∑解之得2211- n i i DX X X n ==∑2211(- n )n i i X X n ==∑211((- )n i i X X n ==∑221=1()ni n i EX XDX X X S n ==-=∑其中0<θ<0.5 是未知参数，利用总体X 的如下样本值：3，1，3，0，3，1，2，3求θ的矩估计值.例1（2002年数学一，十二）设总体X 的概率分布为2θ)1(2θθ-2θθ21-X0 1 2 3P )21(32)1(21022θθθθθ-⋅+⋅+-⋅+⋅=EX 而,43X =-θ即43X -=θ令解θ43-=X EX =41ˆ=θ43ˆX -=θ所以θ的矩估计量为θ的矩估计值为.,),,,(,)0(,],0[21的估计量求的样本是来自总体未知其中上服从均匀分布在设总体θθθθX X X X X n >解EX 因为,2θ=根据矩估计法,,X EX =令.2ˆ 的估计量为所求所以θθX =例2,2X =θ即,2X =θ11,n i i X X n ==∑记解EX 因为⎰-⋅=101dx x x θθ根据矩估计法,,X EX =令例3 设，是来自总体X 的样本，已知总体X 的密度函数为,1X =+θθ即,1X X -=θn X X X ,,,21 ⎩⎨⎧<<=-.,0,10,)(1其他x x x f θθ求未知参数的矩估计.θ,1+=θθ.1ˆXX -=θ所以11,n i i X X n ==∑记.,,),,,(,,,],[21的估计量求的样本是来自总体未知其中上服从均匀分布在设总体b a X X X X b a b a X n 解2a bX +=22()12n a b S -=例4所以根据矩估计法,=,EX X 2n DX S =其中221111,()n n i n i i i X X S X X n n ====-∑∑解方程组得到a, b 的矩估计量分别为ˆ3n aX S =-ˆ3nb X S =+.,,,,,,0,221222的矩估计量和求一个样本是又设均为未知和但且有都存在和方差的均值设总体σμσμσσμn X X X X >解EX ,μ=2DX σ= 22nX S μσ⎧=⎪⎨=⎪⎩ 则例5221111,()n n i n i i i X X S X X n n ====-∑∑记由上例得,EX X =DX .)(112∑=-=ni i X X n 11,ni i X X EX n ==∑样本均值为总体均值的矩估计2211().nn i i S X X DX n ==-∑样本方差为总体方差的矩估计即甲、乙、丙三士兵同时向目标射击一次,目标被命中一枪.已知甲士兵兵龄5年、乙士兵兵龄3年、丙士兵为新兵.问估计最有可能是谁命中?2.极(最)大似然估计法设甲、乙、丙三个士兵命中目标的概率分别为P (5)、P (3)、P (0).可以认为,兵龄越长,命中的概率越大，因而P (5)＞P (3)＞P (0).甲似乎最像是真正的命中者——最大似然估计极大似然估计法思想其中0<θ<0.5 是未知参数，总体X 的样本观察值为：3，1，3，0，3，1，2，3，求θ的估计值.引例（2002年数学一，十二）设总体X 的概率分布为2θ)1(2θθ-2θθ21-X0 1 2 3P 分析实际中，我们观察到数组而没有观察到其他的数组，说明数组3,1, 3, 0, 3, 1, 2, 3 在实际中出现的概率最大.)3,,3,1,3(8321====X X X X P 数组3,1, 3, 0, 3, 1, 2, 3 出现的概率为3,1, 3, 0, 3, 1, 2, 34222)21()]1(2[θθθθθ-⋅⋅-⋅=426)21()1(4θθθ--=)(θL )3,,3,1,3(8321====X X X X P )3()3()1()3(8321=====X P X P X P X P 独立性代表性记426)21()1(4θθθ--=——称为似然函数数组3,1, 3, 0, 3, 1, 2, 3 发生的概率最大426)21()1(4)(θθθθ--=L 即讨论的最大值问题)21ln(4)1ln(2ln 64ln )(ln θθθθ-+-++=L 426)21()1(4)(θθθθ--=L 求似然函数L (θ)的最大值点，就是最大似然估计.)(ln )(取得最大值的条件相同与基于θθL L θθθθ218126])([ln ----='L 0=12137±=θ解之得由于0<θ<0.5，θ的最大似然估计值12137ˆ-=θ——简化计算,,),;(}{Θθθθ∈==为待估参数设分布律x p k X P ,,,,21的样本是来自总体X X X X n 联合分布律为（1）离散型总体X 似然函数的定义∏==ni i x p 1);(θ),,,(2211n n x X x X x X P === )()()(2211n n x X P x X P x X P ==== 独立n x x x ,,,21 观察值为分布律为个体i X );()(θi i i x p x X P ==∏===n i i i x X P 1)(,,,,,,,2121的概率取到观察值从而n n x x x X X X 发生的概率为即事件”,,,“2211n n x X x X x X === Θ∈====∏=θθ),;(),,,(12211ni i n n x p x X x X x X P 既然该样本值已经出现，而不同的θ,上式对应不同的概率值，)()(1∏===n i i i x X P L θ记——称为似然函数.因而使概率最大的参数的θ值似乎更像真正的参数，就是θ的合理估计.);(1θ∏==ni i x p,,),;(Θθθθ∈为待估参数设概率密度为x f ,,,,21的样本是来自总体X X X X n 的联合密度为n X X X ,,,21 （2）连续型总体X 似然函数的定义.,,,,,,2121的一个样本值为样本n n X X X x x x )()()(21n x f x f x f 独立=),,,(21n x x x f ∏==ni i x f 1);(θ),,,(21n x x x f ∏==ni i x f 1);(θ);(),,,(,,,,12121θ∏==ni i n n x f x x x f x x x 看作固定如果把的函数就是θ——称为似然函数.),;()(1θθ∏==ni i x f L 记作),()(θθ''>'L L 若,)(度上看又是概率密度函数的角从θL 似然函数估计就是使L (θ) 达到最大值的点..,,,21更像真正的参数比因而出现的概率较大使θθθ''''n x x x),,,(ˆ21n x x x θ),,,(ˆ21n X X X θ, 的极大似然估计值参数θ.的极大似然估计量参数θ极大似然估计法的思想的估计值作为未知参数取得最大值的似然函数使θθθˆ)(L ).;,,,(max )ˆ;,,,(2121θθΘθn n x x x L x x x L ∈=即求最大似然估计量的步骤:连续型离散型写出似然函数一)()()()(}{}{}{)( )(2121n n x f x f x f L x X p x X p x X p L =====θθ;);(ln )(ln );(ln )(ln )( )(11θθθθ∑∑====ni i n i i x f L x p L 或目的是使计算过程简化取对数二费舍尔最大似然估计法是由费舍尔引进的.取得最大值的条件相同与)(ln )(θθL L.ˆ,0d )(ln d ,d )(ln d )(θθθθθθθ的最大似然估计值解方程即得未知参数并令求导对三=L L 对于多个未知参数的情形，解对数似然方程组即可.对数似然方程注意有时不能通过微分法来求最大似然估计, 只能从最大似然估计的定义出发求得..,,,,,0)(21似然估计量的最大求的一个样本是来自的泊松分布服从参数为设λλλX X X X X n >解的分布律为因为X ),2,1,0(,e !}{ ===-x x x X P xλλ1122()()()()n n L P X x P X x P X x λ====的似然函数为所以λ例111e!x x λλ-=22e !x x λλ- e !n x n x λλ-en λ-=112!!!nii x n x x x λ=∑ 11!nii x n nii ex λλ=-=∑=∏)(ln λL λλλ∑+-==ni ix n L 1)(ln d d 的最大似然估计值解得λ,11x x n ni i =∑==λ的最大似然估计量为λ11.n i i X X n λ*===∑这一估计量与矩估计量是相同的.0令=()∏=-∑==n i ix n x L ni i1!e)(1λλλ()()11ln ln !n ni i i i n x x λλ===-+-∑∑例2：设总体为指数分布，其概率密度函数为求参数的矩估计和极大似然估计。
点估计的基本概念及矩估计方法总体样本统计量描述作出推断随机抽样统计推断：参数估计和假设检验这类问题称为参数估计问题.参数估计问题的一般提法设有一个总体X ，其分布函数为F (x,θ)，其中θ为未知参数，现从该总体抽样，得样本X 1,X 2,…,X n .参数估计问题就是利用从总体抽样得到的样本来估计总体未知参数的问题.要依据该样本对参数θ作出估计，或估计参数θ的某个函数g (θ).点估计（Point Estimation）参数估计区间估计（Interval Estimation）点估计——估计未知参数的值区间估计——根据样本构造出适当的区间，使它以一定的概率包含未知参数.这是点估计.这是区间估计.估计μ在区间(1.59, 1.77)内，假如我们要估计某队男生的平均身高.（假定身高服从正态分布N (μ,0.12)），现从该总体抽取容量为5的样本，分别为1.65 1.67 1.681.71 1.69,求总体均值μ的估计.估计μ为1.68，全部信息就由这5个数组成.设总体X 的分布函数F (x ,θ)形式已知，θ是待估参数，X 1, X 2, …, X n 为抽自总体X 的样本，x 1, x 2,…, x n 是相应的一个样本值. 据此，应如何估计未知参数θ呢？点估计问题为估计θ，需要构造一个适当的统计量每当有了样本观测值x 1,x 2,…,x n ，就代入该统计量计算出一个值作为未知参数θ的近似值.12ˆ(,,,),n X X X θ12ˆ(,,,)n x x x θ称为参数θ的估计量（Estimator ）.称为参数θ的估计值（Estimate ）.在不引起混淆情况下统称为估计，记为12ˆ(,,,)n X X X θ12ˆ(,,,)n x x x θˆθ注意：被估计的参数θ是一个未知常数，而估计量是样本的函数，是一个随机变量，当样本值取定后，估计值是个已知的数值.对于不同的样本值，θ的估计值一般不同.问题：使用什么样的统计量去估计θ？矩估计法（Method of Moments）最大似然估计法（Method of Maximum Likelihood）矩估计法由英国统计学家卡尔•皮尔逊（Karl Pearson）在20世纪初提出.1.矩估计方法的基本思想用样本矩估计总体矩利用样本k阶原点矩作为总体k阶原点矩的估计.由此进一步估计未知参数θ，这就是矩估计法.1857-1936由大数定律总体k 阶原点矩为因此，可以用A k 估计μk 设X 1,X 2, …, X n 为来自总体X 的一个样本，()kk E X μ=样本k 阶原点矩为若g 为连续函数，则用g (A k )估计g (μk )又由于μk 一般可以表示为总体中未知参数的函数，从而可以估计出未知参数.11n kk i i A X n ==∑11nP kk i i A X n ==−−→∑k μ()Pk g A −−→()k g μ2.矩估计的步骤（1）根据未知参数的个数，求出总体的各阶矩.设总体X~F (x ,θ1,θ2, …,θk ), X 1,X 2, …, X n 为来自总体X 的样本.1(,,),1,2,,l l k l kμμθθ==X 为连续型X 为离散型+12()(;,,)lll k E X x f x ,dxμθθθ∞-∞==⎰12()(;,,)Xll l k x R E X x p x ,μθθθ∈==∑总体X 的密度函数总体X 的分布律（3）用样本矩估计相应的总体矩，即：用A l 替代相应的μl ，得到θl 的矩估计量（2）解方程（组），得12ˆ(,,,),1,2,,l l kA A A l k θθ==（4）g (θ1 ,⋯,θk )的矩估计量为12ˆˆˆ(,,,)kg θθθ1(,,),1,2,,l l k l kθθμμ==解：（1）10.求总体的1阶矩例1.设总体X 的概率密度为其中α>−1是未知参数，X 1,X 2,…,X n 是取自总体X 的样本，求（1）参数α的矩估计量；（2）g (α)=(α+1)/α的矩估计量.(1),01()0,x x f x αα⎧+<<=⎨⎩其它1()E X μ=111(1)=2x dx αααα++=++⎰+()xf x dx ∞-∞=⎰112EX αμα+==+20. 解方程11211μαμ-=-21ˆ1X Xα-=-10.30. 用代替μ1，得α的矩估计为111nii A X X n ===∑用代替α，得g (α)=(α+1)/α的矩估计为ˆα21ˆ1X Xα-=-ˆ1ˆ()ˆgααα+=21X X =-例1.设总体X 的概率密度为其中α>−1是未知参数，X 1,X 2,…,X n 是来自总体X 的样本，求（1）参数α的矩估计量；（2）g (α)=(α+1)/α的矩估计量.(1),01()0,x x f x αα⎧+<<=⎨⎩其它例2.设总体X 的均值μ和方差σ2都存在，且σ2>0，但μ和σ2均未知，设X 1,X 2,…,X n 是来自总体X 的样本，求μ,σ2的矩估计量.解：10.求总体的1阶矩和2阶矩122222()()()()E X E X D X EX μμμσμ==⎧⎪⎨==+=+⎪⎩20.解方程组12221μμσμμ=⎧⎪⎨=-⎪⎩30.分别以A 1, A 2代替μ1, μ2得到μ, σ2的矩估计量分别为1ˆA X μ==22222211111ˆ()n ni i i i A A X X X X n n σ===-=-=-∑∑例2.设总体X 的均值μ和方差σ2都存在，且σ2>0，但μ和σ2均未知，设X 1,X 2,…,X n 是来自总体X 样本，求μ,σ2的矩估计量.特别，若X~N (μ, σ2),μ, σ2未知，则μ, σ2的矩估计量分别为ˆX μ=2211ˆ()ni i X X n σ==-∑若总体X~U [a,b ],其中a<b 且均未知，X 1,X 2, …,X n 是来自总体X 的样本，则a ,b 的矩估计量分别为213ˆ()ni i a X X X n ==--∑213ˆ()ni i b X X X n ==+-∑优点：直观、简单缺点（1）不唯一，如例1例1.设总体X 的概率密度为其中α>−1是未知参数，X 1,X 2,…,X n 是来自总体X 的样本，求（1）参数α的矩估计；(1),01()0,x x f x αα⎧+<<=⎨⎩其它可以求总体的二阶矩μ2，用A 2代替μ2得到矩估计.规定：用尽量低阶的矩求相应的矩估计.缺点（2）损失信息，如例2例2.设总体X的均值μ和方差σ2都存在，且σ2>0，但μ和σ2均未知，设X1, X2,…,X n是来自总体X样本，求μ,σ2的矩估计量.若已知总体X的服从正态分布，则该分布形式已知的信息没有用到，从而造成信息的损失.。
第七章 参数估计参数估计是数理统计研究的主要问题之一. 假设总体X ~N （μ，σ2），μ，σ2是未知参数，X 1，X 2，…，X n 是来自X 的样本，样本值是x 1，x 2，…，x n ，我们要由样本值来确定μ和σ2的估计值，这就是参数估计问题，参数估计分为点估计（Point estimation ）和区间估计(Interval estimation).第一节 点估计所谓点估计是指把总体的未知参数估计为某个确定的值或在某个确定的点上，故点估计又称为定值估计.定义7.1 设总体X 的分布函数为F （x ，θ），θ是未知参数，X 1，X 2，…，X n 是X 的一样本，样本值为x 1，x 2，…，x n ，构造一个统计量（X 1，X 2，…，X n ），用它的观察值 （x 1，x 2，…，x n ）作为θ的估计值，这种问题称为点估计问题.习惯上称随机变量（X 1，X 2，…，X n ）为θ的估计量,称（x 1，x 2，…，x n ）为的估计值.构造估计量（X 1，X 2，…，X n ）的方法很多，下面仅介绍矩法和极大似然估计法. 1.矩法矩法（Moment method of estimation ）是一种古老的估计方法.它是由英国统计学家皮尔逊（K .Pearson ）于1894年首创的.它虽然古老，但目前仍常用.矩法估计的一般原则是：用样本矩作为总体矩的估计，若不够良好，再作适当调整. 矩法的一般作法：设总体X ~F （X ；θ1,θ2，…，θl ）其中θ1,θ2,…,θl 均未知. （1） 如果总体X 的k 阶矩μk =E (X k ) (1≤k ≤l)均存在，则μk =μk (θ1,θ2,…,θl )，（1≤k ≤l ）.(2) 令⎪⎪⎩⎪⎪⎨⎧.),,,(,),,,(,),,,(2122121211l l l l l A A A θθθμθθθμθθθμ其中A k （1≤k ≤l ）为样本k 阶矩.求出方程组的解,ˆ,,ˆ,ˆ21l θθθ 我们称),,,(ˆˆ21n k k X X X θθ=为参数θk (1≤k ≤l )的矩估计量, ),,,(ˆˆ21nk k x x x θθ=为参数θk 的矩估计值. 例7.1 设总体X 的密度函数为：f （x ）=⎩⎨⎧-><<+.,0),1(,10,)1(其他αααx x其中α未知，样本为（X 1，X 2，…，X n ），求参数α的矩法估计.解 A 1=X .由μ1=A 1及μ1=E （X ）=21)1()(1++=+=⎰⎰+∞∞-ααααx x x x x xf d d ， 有21++=ααX ，得121ˆ--=X Xα.例7.2 设X ~N （μ，σ2），μ，σ2未知，试用矩法对μ，σ2进行估计. 解⎪⎪⎩⎪⎪⎨⎧======∑∑==.1)(,1)(12222111ni i ni i X n A X E X n A X E μμ 又 E (X )=μ, E (X 2)=D (X )+(EX )2=σ2+μ2,那么 .1ˆˆ,ˆ2222S nn A X -=-==μσμ. 例7.3 在某班期末数学考试成绩中随机抽取9人的成绩.结果如下：试求该班数学成绩的平均分数、标准差的矩估计值.解 设X 为该班数学成绩，μ=E （X ）,σ2=D （X ）)558994(919191+++==∑= i i x x =75;2/19122)(819898⎥⎦⎤⎢⎣⎡-⋅=∑=i i x x s =12.14.⎪⎪⎩⎪⎪⎨⎧======∑∑==.91)(,91)(9122229111i i i i X A X E X A X E μμ 由于E （X 2）=D （X ）+（EX ）2=σ2+μ2，那么，2222228ˆˆˆ,().9X A A x S μσμ==-=-= 所以，该班数学成绩的平均分数的矩估计值x =μˆ=75分，标准差的矩估计值298ˆs =σ=12.14. 作矩法估计时无需知道总体的概率分布，只要知道总体矩即可.但矩法估计量有时不惟一，如总体X 服从参数为λ的泊松分布时，X 和B 2都是参数λ的矩法估计.2.极（最）大似然估计法极大似然估计法(Maximum likelihood estimation)只能在已知总体分布的前提下进行，为了对它的思想有所了解，我们先看一个例子.例7.4 假定一个盒子里装有许多大小相同的黑球和白球，并且假定它们的数目之比为3∶1，但不知是白球多还是黑球多，现在有放回地从盒中抽了3个球，试根据所抽3个球中黑球的数目确定是白球多还是黑球多.解 设所抽3个球中黑球数为X ，摸到黑球的概率为p ，则X 服从二项分布P {X =k }=k 3C p k（1-p ）3-k ， k =0，1，2，3.问题是p =1/4还是p =3/4？现根据样本中黑球数，对未知参数p 进行估计.抽样后，共有4种可能结果，其概率如表7-1所示.假如某次抽样中，只出现一个黑球，即X =1，p =1/4时，P {X =1}=27/64；p =3/4时，P {X =1}=9/64，这时我们就会选择p =1/4，即黑球数比白球数为1∶3.因为在一次试验中，事件“1个黑球”发生了.我们认为它应有较大的概率27/64（27/64＞9/64），而27/64对应着参数p =1/4，同样可以考虑X =0，2，3的情形，最后可得p =⎪⎩⎪⎨⎧==.3,2,43,1,0,41时当时当x x（1） 似然函数在极大似然估计法中，最关键的问题是如何求得似然函数（定义下文给出），有了似然函数，问题就简单了，下面分两种情形来介绍似然函数. （a ） 离散型总体设总体X 为离散型，P {X =x }=p （x ，θ），其中θ为待估计的未知参数，假定x 1，x 2，…，x n 为样本X 1，X 2，…，X n 的一组观测值.P {X 1=x 1，X 2=x 2，…，X n =x n }=P {X 1=x 1}P {X 2=x 2}…P {X n =x n }=p （x 1，θ）p （x 2，θ）…p （x n ，θ）=∏=ni ix p 1),(θ.将∏=ni ix p 1),(θ看作是参数θ的函数，记为L （θ），即 L （θ）=∏=ni ix p 1),(θ. （7.1）（b ） 连续型总体设总体X 为连续型，已知其分布密度函数为f （x ，θ），θ为待估计的未知参数，则样本（X 1，X 2，…，X n ）的联合密度为：f （x 1，θ）f （x 2，θ）…f （x n ，θ）=∏=ni ix f 1),(θ.将它也看作是关于参数θ的函数，记为L （θ），即L （θ）=∏=ni ix f 1),(θ. （7.2）由此可见：不管是离散型总体，还是连续型总体，只要知道它的概率分布或密度函数，我们总可以得到一个关于参数θ的函数L （θ），称L （θ）为似然函数.(2) 极大似然估计极大似然估计法的主要思想是：如果随机抽样得到的样本观测值为x 1，x 2，…，x n ，则我们应当这样来选取未知参数θ的值，使得出现该样本值的可能性最大，即使得似然函数L (θ)取最大值，从而求参数θ的极大似然估计的问题，就转化为求似然函数L （θ）的极值点的问题，一般来说，这个问题可以通过求解下面的方程来解决0)(=θθd d L . （7.3）然而，L （θ）是n 个函数的连乘积，求导数比较复杂，由于ln L （θ）是L （θ）的单调增函数，所以L （θ）与ln L （θ）在θ的同一点处取得极大值.于是求解（7.3）可转化为求解0)(=θθd dln L .（7.4）称ln L （θ）为对数似然函数，方程（7.4）为对数似然方程，求解此方程就可得到参数θ的估计值.如果总体X 的分布中含有k 个未知参数：θ1，θ2，…，θk ，则极大似然估计法也适用.此时，所得的似然函数是关于θ1，θ2，…，θk 的多元函数L （θ1，θ2，…，θk ），解下列方程组，就可得到θ1，θ2，…，θk 的估计值,⎪⎪⎪⎩⎪⎪⎪⎨⎧=∂∂=∂∂=∂∂.0),,,(ln ,0),,,(ln ,0),,,(ln 21221121k k k k L L L θθθθθθθθθθθθ（7.5） 例7.5 在泊松总体中抽取样本，其样本值为：x 1，x 2，…，x n ，试对泊松分布的未知参数λ作极大似然估计.解 因泊松总体是离散型的，其概率分布为：P {X =x }=λλ-e !x x,故似然函数为：L （λ）=∏∏==∑--⋅⋅==ni ni i x nixx x ni ii11!1!1λλλλee. ln L (λ)=11ln ln (!)nniii i n x x λλ==-+-∑∏,∑=+-=ni i x n 11)ln(λλλd d . 令λλd d ln =0，得： ∑=+-ni i x n 11λ=0.所以x x n ni i L ==∑=11ˆλ，λ的极大似然估计量为X L=λˆ（为了和λ的矩法估计区别起见，我们将λ的极大似然估计记为Lλˆ）. 例7.6 设一批产品含有次品，今从中随机抽出100件，发现其中有8件次品，试求次品率θ的极大似然估计值.解 用极大似然法时必须明确总体的分布，现在题目没有说明这一点，故应先来确定总体的分布.设 X i =,100,,2,1,0,1 =⎩⎨⎧i ，i ，i 次取正品第次取次品第则X i 服从两点分布：12100p （x i ，θ）=P {X i =x i }=θ xi （1-θ）1-xi ，x i =0，1，故似然函数为：L （θ）=∑-∑=-==-=-∏1001100110010011)1()1(i ii i iix x i x x θθθθ由题知：∑=1001i ix =8，所以 L （θ）=θ8（1-θ）92. 两边取对数得：ln L （θ）=8ln θ+92ln （1-θ）.对数似然方程为：θθθθ--=1928)(ln d d L =0.解之得θ=8/100=0.08.所以Lθˆ=0.08. 例7.7 设x 1，x 2，…，x n 为来自正态总体N （μ，σ2）的观测值，试求总体未知参数μ，σ2的极大似然估计.解 因正态总体为连续型，其密度函数为f （x ）=222)(21σμσ--x e π，所以似然函数为：L （μ，σ2）=⎭⎬⎫⎩⎨⎧--⎪⎭⎫ ⎝⎛=⎭⎬⎫⎩⎨⎧--∑∏==n i i nni i x x 122122)(21exp 212)(exp 21μσσσμσππ ln L （μ，σ2）=∑=----n i i x n n 1222)(21ln 22ln 2μσσπ. 故似然方程组为：⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==.0)(212),(ln ,0)(1),(ln 124222122ni i ni i x n L x L μσσσσμμσμσμ 解以上方程组得:⎪⎪⎩⎪⎪⎨⎧=-=-===∑∑∑===.ˆ)(1)(1,12121221B x x n x n x x n ni i n i i ni i μσμ 所以 ⎩⎨⎧==.ˆ,ˆ22B X L σμ例7.8 设总体X 服从［0,θ］上的均匀分布,X 1,X 2,…,X n 是来自X 的样本，求θ的矩法估计和极大似然估计.解 因为E （X ）=θ/2，令X =E （X ），得.2ˆX =矩θ 又 f （x ）=⎪⎩⎪⎨⎧≤≤.,0,0,1其他θθx所以L （θ）=n θ1，0≤x i ≤θ. 要L （θ）最大，θ必须尽可能小，又θ≥x i ，i =1，2，…,n ，所以{}ini L X ≤≤=1max ˆθ.第二节 估计量的评价标准设总体X 服从［0，θ］上的均匀分布，由上节例7可知ˆ2X θ=矩，{}1ˆmax L ii nX θ≤≤ 都是θ的估计，这两个估计哪一个好？下面我们首先讨论衡量估计量好坏的标准问题.1.无偏性定义7.2 若估计量（X 1，X 2，…，X n ）的数学期望等于未知参数θ，即：ˆ()E θθ=， （7.6） 则称ˆθ为θ的无偏估计量（Non -deviation estimator ）.估计量ˆθ的值不一定就是θ的真值，因为它是一个随机变量，若ˆθ是θ的无偏估计，则尽管ˆθ的值随样本值的不同而变化，但平均来说它会等于θ的真值.例7.9 设X 1，X 2，…，X n 为总体X 的一个样本，E （X ）=μ，则样本平均数11nii X X n ==∑是μ的无偏估计量.证 因为E （X ）=μ，所以E （X i ）=μ，i =1，2，…，n ，于是1111()()n ni i i i E X E X E X n n ==⎛⎫== ⎪⎝⎭∑∑=μ.所以X 是μ的无偏估计量.例7.10 设有总体X ，E （X ）=μ，D （X ）=σ2，（X 1，X 2，…，X n ）为从该总体中抽得的一个样本，样本方差S 2及二阶样本中心矩B 2=11()ni i X X n =-∑是否为总体方差σ2的无偏估计？解 因为E （S 2）=σ2，所以S 2是σ2的一个无偏估计，这也是我们称S 2为样本方差的理由.由于B 2=21n S n -， 那么 E （B 2）=2211()n n E S n nσ--=, 所以B 2不是σ2的一个无偏估计.还需指出：一般说来无偏估计量的函数并不是未知参数相应函数的无偏估计量.例如，当X ~N （μ，σ2）时，X 是μ的无偏估计量，但2X 不是μ2的无偏估计量，事实上：22222()()().E X D X E X nσμμ⎡⎤=+=+≠⎣⎦2.有效性对于未知参数θ，如果有两个无偏估计量1ˆθ与2ˆθ，即E （1ˆθ）=E （2ˆθ）=θ，那么在1ˆθ，2ˆθ中谁更好呢？此时我们自然希望对θ的平均偏差E （ˆθ-θ）2越小越好，即一个好的估计量应该有尽可能小的方差，这就是有效性.定义7.3 设1ˆθ和2ˆθ都是未知参数θ的无偏估计，若对任意的参数θ，有 D （1ˆθ）≤D （2ˆθ）， （7.7）则称1ˆθ比2ˆθ有效. 如果1ˆθ比2ˆθ有效，则虽然1ˆθ还不是θ的真值，但1ˆθ在θ附近取值的密集程度较2ˆθ高，即用1ˆθ估计θ精度要高些. 例如，对正态总体N （μ，σ2），11ni i X X n ==∑，X i 和X 都是E （X ）=μ的无偏估计量，但D （X ）=2nσ≤D （X i ）=σ2，故X 较个别观测值X i 有效.实际当中也是如此，比如要估计某个班学生的平均成绩，可用两种方法进行估计，一种是在该班任意抽一个同学，就以该同学的成绩作为全班的平均成绩；另一种方法是在该班抽取n 位同学，以这n 个同学的平均成绩作为全班的平均成绩，显然第二种方法比第一种方法好.3.一致性无偏性、有效性都是在样本容量n 一定的条件下进行讨论的，然而（X 1，X 2，…，X n ）不仅与样本值有关，而且与样本容量n 有关，不妨记为n ，很自然，我们希望n 越大时，n 对θ的估计应该越精确.定义7.4 如果n 依概率收敛于θ，即∀ε＞0，有{}ˆlim 1,nn P θθε→∞-<=，（7.8） 则称ˆnθ是θ的一致估计量（Uniform estimator ）. 由辛钦大数定律可以证明：样本平均数X 是总体均值μ的一致估计量，样本的方差S 2及二阶样本中心矩B 2都是总体方差σ2的一致估计量.第三节 区间估计1.区间估计的概念上节我们介绍了参数的点估计，假设总体X ~N （μ，σ2），对于样本（X 1，X 2，…，X n ），ˆX μ=是参数μ的矩法估计和极大似然估计，并且满足无偏性和一致性.但实际上X =μ的可能性有多大呢？由于X 是一连续型随机变量，P {X =μ}=0，即ˆμ=μ的可能性为0，为此，我们希望给出μ的一个大致范围，使得μ有较高的概率在这个范围内，这就是区间估计问题.定义7.5 设1ˆθ（X 1，X 2,…,X n ）及2ˆθ (X 1,X 2,…,X n )是两个统计量，如果对于给定的概率1-α（0<α<1），有：P {1ˆθ＜θ＜2ˆθ}=1-α, （7.9） 则称随机区间（1ˆθ，2ˆθ）为参数θ的置信区间（Confidence interval ），1ˆθ称为置信下限，2ˆθ称为置信上限，1-α叫置信概率或置信度(Confidence level).定义中的随机区间（1ˆθ，2ˆθ）的大小依赖于随机抽取的样本观测值，它可能包含θ，也可能不包含θ，（7.9）式的意义是指（1ˆθ，2ˆθ）以1-α的概率包含θ.例如，若取α=0.05，那么置信概率为1-α=0.95，这时，置信区间（1ˆθ，2ˆθ）的意义是指：在100次重复抽样中所得到的100个置信区间中，大约有95个区间包含参数真值θ，有5个区间不包含真值θ，亦即随机区间（1ˆθ，2ˆθ）包含参数θ真值的频率近似为0.95. 例7.11 设X ~N （μ，σ2），μ未知，σ2已知，样本X 1，X 2，…，X n 来自总体X ，求μ的置信区间，置信概率为1-α.解 因为X 1，X 2，…,X n 为来自X 的样本，而X ~N (μ,σ2)，所以uX ~N （0，1），对于给定的α，查附录中表2可得上分位点2z α，使得2P z α⎫<⎬⎭=1-α,即22P X z X z ααμ⎧-<<+⎨⎩=1-α. 所以μ的置信概率为1-α的置信区间为X z X z αα⎛-+ ⎝. （7.10） 由（7.10）式可知置信区间的长度为22z α，若n 越大，置信区间就越短；若置信概率1-α越大，α就越小，2z α就越大，从而置信区间就越长.2.正态总体参数的区间估计由于在大多数情况下，我们所遇到的总体是服从正态分布的（有的是近似正态分布），故我们现在来重点讨论正态总体参数的区间估计问题.在下面的讨论中，总假定X ~N （μ，σ2），X 1，X 2，…，X n 为其样本. （1） 对μ的估计 分两种情况进行讨论. （a ） σ2已知此时就是例7.11的情形，结论是：μ的置信区间为22X z X z αα⎛-+ ⎝， 置信概率为1-α.（b ） σ2未知当σ2未知时，不能使用（7.10）式作为置信区间，因为（7.10）式中区间的端点与σ有关，考虑到S 2=211()1n ii X X n =--∑是σ2X σ换成S 得 TX ~t （n -1）.对于给定的α，查附录中t 分布表4可得上分位点t σ/2（n -1），使得2(1)P t n α⎫<-⎬⎭=1-α，即22(1)(1)P X t n X t n ααμ⎧⎫-<<-⎨⎬⎩⎭=1-α.所以μ的置信概率为1-α的置信区间为22(1),(1)X t n X t n αα⎛⎫-- ⎪⎝⎭. （7.11）=，S 0，所以μ的置信区间也可写成22(1),(1)X t n X t n αα⎛⎫-+- ⎪⎝⎭.（7.12） 例7.12 某车间生产滚珠,已知其直径X ~N (μ,σ2)，现从某一天生产的产品中随机地抽出6个，测得直径如下（单位：毫米）14.6 15.1 14.9 14.8 15.2 15.1试求滚珠直径X 的均值μ的置信概率为95%的置信区间.解 111(14.615.114.914.815.215.1)6n i i x x n ===+++++∑=14.95，s 0， t α/2(n -1)=t 0.025(5)=2.571，所以2(t n α-=2.571=0.24， 置信区间为（14.95-0.24,14.95+0.24)，即（14.71,15.19)，置信概率为95%.σ2的置信区间我们只考虑μ未知的情形.此时由于S 2=211()1n i i X X n =--∑是σ2的无偏估计，我们考虑22(1)n S σ-，由于222(1)~(1)n S n χσ--，所以，对于给定的α，2122222(1)(1)(1)n S P n n ααχχσ-⎧⎫--<<-⎨⎬⎩⎭=1-α. 即222221(1)(1)(1)(1)n S n S P n n αασχχ-⎧⎫--⎪⎪<<⎨⎬--⎪⎪⎩⎭=1-α.所以σ2的置信区间为2222221(1)(1),(1)(1)n S n S n n ααχχ-⎛⎫-- ⎪ ⎪--⎝⎭（7.13） 或222200221,(1)(1)nS nS n n ααχχ-⎛⎫ ⎪ ⎪--⎝⎭， 其中S 02=211()ni i X X n =-∑. 例7.13 某种钢丝的折断力服从正态分布，今从一批钢丝中任取10根，试验其折断力，得数据如下：572 570 578 568 596 576 584 572 580 566试求方差的置信概率为0.9的置信区间.解 因为111(572570566)10n i i x x n ===+++∑=576.2，s 02=2211n i i x x n =-∑=71.56， α=0.10,n -1=9，查附表得：2220.05(1)(9)n αχχ-==16.919，220.951(1)(9)n αχχ--==3.325，22021071.56(1)16.919ns n αχ⨯=-=42.30，220211071.56(1) 3.325ns n αχ-⨯=-=215.22.所以，σ2的置信概率为0.9的置信区间为（42.30,215.22).以上仅介绍了正态总体的均值和方差两个参数的区间估计方法.在有些问题中并不知道总体X 服从什么分布，要对E （X ）=μ作区间估计，在这种情况下只要X 的方差σ2已知，并且样本容量n 很大，X 准正态分布N （0，1），因而μ的置信概率为1-α的近似置信区间为X z X z αα⎛-+ ⎝.小 结参数估计问题分为点估计和区间估计.设θ是总体X 的待估计参数.用统计量ˆθ=ˆθ（X 1，X 2，…，X n ）来估计θ称ˆθ是θ的估计量，点估计只给出未知参数θ的单一估计.本章介绍了两种点估计的方法：矩估计法和极大似然估计法.矩法的做法：设总体X ~F （X ；θ1，θ2,…,θl )其中θk (1≤k ≤l )为未知参数. （1） 求总体X 的k (1≤k ≤l )阶矩E （x k ）； （2） 求方程组112112(,,,)(),(,,,)().l l l l l E X A E X A μθθθμθθθ==⎧⎪⎨⎪==⎩的一组解1ˆθ,2ˆθ,…, ˆl θ，那么ˆk θ=ˆk θ (X 1,X 2,…,X n )(1≤k ≤l)为k 的矩估计量. ˆkθ（x 1，x 2,…,x n ）为θk 的矩估计值. 极大似然估计法的思想是若已观察到样本值为（x 1，x 2,…,x n ），而取到这一样本值的概率为P =P (θ1,θ2,…,θl ),我们就取θk (1≤k ≤l )的估计值使概率P 达到最大，其一般做法如下： （1） 写出似然函数L =L （θ1,θ2,…,θl ） 当总体X 是离散型随机变量时,L =121(;,,,)nil i P x θθθ=∏,当总体X 是连续型随机变量时L =121(;,,,)nil i f x θθθ=∏,(2) 对L 取对数ln L =121ln (;,,,)nil i f x θθθ=∑,(3) 求出方程组ln kLθ∂∂=0, k =1,2,…,l . 的一组解ˆk θ=ˆk θ (x 1,…,x n ) (1≤k ≤l )即k 为未知参数θ的极大似然估计值，ˆkθ=(X 1,X 2,…,X n )为θk 的极大似然估计量.在统计问题中往往先使用极大似然估计法，在此法使用不方便时，再用矩估计法进行未知参数的点估计.对于一个未知参数可以提出不同的估计量，那么就需要给出评定估计量好坏的标准.本章介绍了三个标准：无偏性、有效性、一致性.重点是无偏性.点估计不能反映估计的精度，我们就引人区间估计.设θ是总体X 的未知参数，1ˆθ,2ˆθ均是样本X 1，X 2，…，X n 的统计量，若对给定值α(0<α<1)满足P （1ˆθ<θ<2ˆθ）=1-α,称1-α为置信度或置信概率，（1ˆθ，2ˆθ）为θ的置信度为1-α的置信区间.参数的区间估计中一个典型、重要的问题是正态总体X （X ~N （μ,σ2））中μ或σ2的区间估计，其置信区间如表7-3所示.表7-3 正态总体的均值、方差的置信度为（1-α）的置信区间区间估计给出了估计的精度与可靠度（1-α），其精度与可靠度是相互制约的即精度越高（置信区间长度越小），可靠度越低；反之亦然.在实际中，应先固定可靠度，再估计精度. 重要术语及主题矩估计量 极大似然估计量估计量的评选标准：无偏性、有效性、一致性， 参数θ的置信度为（1-α）的置信区间, 单个正态总体均值、方差的置信区间.习 题 七1.设总体X 服从二项分布b （n ，p ），n 已知，X 1，X 2，…，X n 为来自X 的样本，求参数p 的矩法估计.2.设总体X 的密度函数f （x ,θ）=22(),0,0,.x x θθθ⎧-<<⎪⎨⎪⎩其他X 1，X 2，…，X n 为其样本，试求参数θ的矩法估计.3.设总体X 的密度函数为f （x ，θ），X 1，X 2，…，X n 为其样本，求θ的极大似然估计.（1） f （x ，θ）=,0,0,0.e x x x θθ-⎧≥⎨<⎩（2） f （x ，θ）=1,01,0,.x x θθ-⎧<<⎨⎩其他5.随机变量X 服从［0，θ］上的均匀分布，今得X 的样本观测值：0.9,0.8,0.2,0.8,0.4,0.4,0.7,0.6，求θ的矩法估计和极大似然估计，它们是否为θ的无偏估计.6.设X 1，X 2，…，X n 是取自总体X 的样本，E （X ）=μ，D （X ）=σ2，2ˆσ=k 1211()n i ii XX -+=-∑,问k 为何值时2ˆσ为σ2的无偏估计. 7.设X 1，X 2是从正态总体N （μ，σ2）中抽取的样本112212312211311ˆˆˆ;;;334422X X X X X X μμμ=+=+=+ 试证123ˆˆˆ,,μμμ都是μ的无偏估计量，并求出每一估计量的方差. 8.某车间生产的螺钉，其直径X ~N （μ，σ2），由过去的经验知道σ2=0.06,今随机抽取6枚，测得其长度（单位mm ）如下：14.7 15.0 14.8 14.9 15.1 15.2 试求μ的置信概率为0.95的置信区间.9.总体X ~N (μ,σ2)，σ2已知，问需抽取容量n 多大的样本，才能使μ的置信概率为1-α，且置信区间的长度不大于L ？ 10.设某种砖头的抗压强度X ~N （μ，σ2），今随机抽取20块砖头，测得数据如下（kg ·cm -2）：64 69 49 92 55 97 41 84 88 99 84 66 100 98 72 74 87 84 48 81 （1） 求μ的置信概率为0.95的置信区间. （2） 求σ2的置信概率为0.95的置信区间. 11.设总体X ~f (x )=(1),01;10,.x x θθθ⎧+<<>-⎨⎩其中其他 X 1,X 2,…,X n 是X 的一个样本，求θ的矩估计量及极大似然估计量. （1997年研考）12.设总体X ~f (x )= 36(),0;0,.xx x θθθ⎧-<<⎪⎨⎪⎩其他X 1,X 2,…,X n 为总体X 的一个样本（1） 求θ的矩估计量；（2） 求ˆ()D θ. (1999研考) 13.设某种电子元件的使用寿命X 的概率密度函数为f (x ,θ)= 2()2,0;0,.e x x x θθ--⎧>⎨≤⎩其中θ(θ>0)为未知参数，又设x 1,x 2,…,x n 是总体X 的一组样本观察值，求θ的极大似然估计值. （2000研考）估计值和极大似然估计值. （2002研考）15.设总体X 的分布函数为F （x ,β）=1,,0,.x xx ββααα⎧->⎪⎨⎪<⎩其中未知参数β>1,α>0，设X 1,X 2,…,X n 为来自总体X 的样本（1） 当α=1时，求β的矩估计量；（2） 当α=1时，求β的极大似然估计量；（3） 当β=2时，求α的极大似然估计量. (2004研考) 16.从正态总体X ~N （3.4，62）中抽取容量为n 的样本，如果其样本均值位于区间（1.4，5.4）内的概率不小于0.95，问n 至少应取多大？2/2()d zt z t ϕ-=⎰(1998研考)17. 设总体X 的概率密度为f (x ，θ)=,01,1,12,0,.x x θθ<<⎧⎪-≤<⎨⎪⎩其他 其中θ是未知参数（0<θ<1）,X 1,X 2,…,X n 为来自总体X 的简单随机样本，记N 的样本值x 1,x 2,…,x n 中小于1的个数.求： （1） θ的矩估计；（2） θ的最大似然估计. (2006研考)。
