第六章 参数估计

第六章 参数估计

§6.1 点估计的几种方法

6.1.1 替换原理和矩法估计

一、矩法估计

替换原理：(1)用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩；(2)用样本矩的函数去替换相应的总体矩的函数。举例

二、概率函数);(xp已知时未知参数的矩法估计

设总体具有已知的概率函数),,;(1kxp，),,(1k是未知参数或参数向量，nxxx,,21是样本，假定总体的k阶原点矩k存在，则对所有j，,0kjj都存在，若假设k,,1能够表示成k,,1的函数),,(1kjj，则可给出诸j的矩法估计：

kjaakjj,1),,,(ˆ1

其中kaa,,1是前k个样本原点矩：nijijxna11，进一步，如果要估计k,,1的函数),(1kg，则可直接得到的矩法估计)ˆ,ˆ(ˆ1kg。

例1 设总体为指数分布，其密度函数为

xexp);(，0x

nxxx,,21是样本，此处1k，由于/1EX，亦即EX/1，故的矩法估计为

x/1ˆ

另外，由于2/1)(XVar，其反函数为)(/1XVar，因此，从替换原理来看，的矩法估计也可取为

s/1ˆ1，

s样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。

例2设nxxx,,21是来自),(ba上的均匀分布的样本，a与b均是未知参数，这里2k 其密度函数为

0,1),;(bxaabbaxp，

求a，b的矩估计. 解 由2)(121)(,2)(abXDbaXE

得方程组：

niiXXnXVarabXba122.)(1)()(121,2

解此方程组，得到矩估计量: .)(3ˆ , )(3ˆXVarXbXVarXa

6.1.2最大似然估计

定义6.1.1 设总体的概率函数为);(xp，，其中是一个未知参数或几个未知参数组成的参数向量，是参数可能取值的参数空间，nxxx,,21是来自该总体的样本，将样本的联合概率函数看成的函数，用),,;(21nxxxL表示，简记为)(L，

);();();(),,;()(2121nnxpxpxpxxxLL

)(L称为样本的似然函数。如果某统计量),,(ˆˆ21nxxx满足

)(max)ˆ(LL

则称ˆ是的最大似然估计，简记为MLE。

注意：(1)常常使用对数似然函数，因为其与似然函数具有相同的最值。

(2)求导是最常用的求最值的方法。

例3 设一个试验的三种可能结果，其发生概率分别为

21p，)1(22p，23)1(p

现做了n次试验，观测到三种结果发生的次数分别为1n，2n，3n(1n+2n+3n=n)。则似然函数为

232123212222)1(2 ])1[()]1(2[)()(nnnnnnnnL

其对数似然函数为

2ln22321)1ln()2(ln)2()(lnnnnnnL

将之关于求导并令其为0得到似然方程

01222321nnnn

解之，得

nnnnnnnn22)(22ˆ2132121 由于

0)1(22)(ln22322122nnnnL

所以ˆ为极大值点。

例4 设样本x1，x2，…，xn来自正态总体X  N (， 2)，(， 2)是二维参数，未知，求其的极大似然估计。

解 似然函数为

222211()2222211(,)(2),2niiixnnxiLee

于是对数似然函数为niixnnL12222)(21ln22ln2),(ln

niiniixnLxL1242212.0)(212ln,0)(1ln

解之得niiniixxnxxn1221)(1ˆ , 1ˆ

易验证，2ˆ , ˆ为L(， 2)得最大值点。因此，2ˆ , ˆ的极大似然估计值为

niiniixxnxn1221)(1ˆ , 1ˆ

求导无法解决的问题，如下例。

例5 设nxxx,,21是来自均匀分布),0(U的样本，试求的最大似然估计。

解 似然函数为

niXniIL1}0{1)(

要使)(L达到最大，首先一点是示性函数取值应该为1，其次是n/1尽可能大。由于n/1是的单调减函数，所以的取值就尽可能小，但示性函数为1决定了不能小于)(nx，由此给出了的最大似然估计：)(ˆnx。

最大似然估计的不变性：如果ˆ是的最大似然估计，则对任一函数)(g，其最大似然估计为)ˆ(g。

例6 设nxxx,,21是来自正态总体N (， 2)的样本，在前例中已经求得了参数的最大似然估计为 xxnnii11ˆniisxxn12*22)(1ˆ 

于是由最大似然估计的不变性可得如下参数的最大似然估计，它们是

*ˆs

概率)3()3(XP的MLE为)3(*sx

总体0.90分位数90.090.0ux的MLE是90.0*usx，其中90.0u是标准正态分布的0.90分位数。

§6.2 点估计的评价标准

6.2.1 相合性

定义6.2.1 设为未知参数，),,(ˆˆ1nnnxx是的一个估计量，n是样本容量，若对任何一个0，有

0)ˆ(limnnP

则称nˆ为参数的相合估计。

注意：相合性一般可以应用大数定律或直接由定义、依概率收敛的性质来证。

例1 设,,21xx是来自正态总体),(2N的样本，则由辛钦大数定律及依概率收敛的性质知：

(1)x是的相合估计；

(2)2*s是2的相合估计

(3)2s也是2的相合估计

由此可见，参数的相合估计不止一个。

定理6.2.1 设),,(ˆˆ1nnnxx是的一个估计量，若

)ˆ(limnnE。0)ˆ(limnnVar

则nˆ为的相合估计。

例2 设nxxx,,,21是来自均匀总体),0(U的样本，证明的最大似然估计是相合估计。

证明 由上一节知，的最大似然估计是)(nx。由次序统计量的分布，我们知道)(ˆnx的分布密度函数为

ynyypnn,/)(1

故有 1/ˆ0nndynyEnn

20122/ˆnndynyEnn

0)2()1()1(2)ˆ(2222nnnnnnnVarn

由定理知，)(nx是的相合估计。

定理6.2.2 若nknnˆ,,ˆ,ˆ21分别是k,,,21的相合估计，),,,(21kg是k,,,21的连续函数，则)ˆ,,ˆ,ˆ(ˆ21nknng是的相合估计。

注意：(1)样本均值是总体均值的相合估计；

(2)样本标准差是总体标准差的相合估计；

(3)样本变异系数xs/是总体变异系数的相合估计。

例3 设一个试验有三种可结果，其发生概率分别为

21p，)1(22p，23)1(p

现做了n次试验，观测到三种结果发生的次数分别为321,,nnn，可以采用频率替换方法估计。由于可以有三个不同的的表达式：

1p，31p，2/21pp

由大数定律，nn/1，nn/2，nn/3分别是1p，2p，3p的相合估计，由上面定理知，上述三个估计都是的相合估计。

6.2.2 无偏性

定义6.2.2设),,(ˆˆ1nxx是的一个估计，的参数空间为，若对任意的，有

)ˆ(E

则称ˆ是的无偏估计，否则称为有偏估计。

注意：无偏性可以改写为0)ˆ(E，表示没有系统偏差。

例4设总体的k阶矩存在，则样本的k阶矩是总体k阶矩的无偏估计。

证 因为

kkniknikinikikxExEnxEnxnEaE)()(1)(1)1()(111

所以 ak 是 k 的无偏估计。

另外，.)(1122*niixxns，检验2*2s是否为2的无偏估计。 因为)1(~222nn，故1)(22nnE，即2221)(nnE

所以2不是 2的无偏估计，但

2122)(111sxxnnnnii

为 2的无偏估计量.

由此可知niixxn12)(1不是 2的无偏估计量，而样本方差

niixxns122)(11

是 2的无偏估计。

不过，当n时，有2221)(nnE。称2*2s是 2的渐近无偏估计。

注意：无偏性不具有不变性。即ˆ是的无偏估计时，)ˆ(g不一定是)(g的无偏估计，除非)(g是的线性函数。如2s是 2的无偏估计，但s不是的无偏估计。

例5 设总体为),(2N，nxxx,,,21是样本，我们已经证明

niixxns122)(11

是 2的无偏估计。由定理5.3.1，22)1(snY～)1(2n，其密度函数为

0,)21(21)(212121yeynypynn

从而