概率论及数理统计参数估计

5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，

概率论与数理统计第6章参数估计第2讲最大似然估计法上一讲介绍了矩估计,这一讲介绍点估计地另外一种方法——最大似然估计法,它是在总体类型已知条件下使用地一种参数估计方法 .它首先是由数学家高斯在1821年提出地,费歇在1922年重新发现了这一方法,并研究了它地一些性质,从而得到广泛应用.我们先来看一个实例ꢀ例——生活经验：黑球白球9:1,不知哪种多？有放回抽三次,两次白球,白球多！哪种多？一次黑球.ꢀ原理一次实验就出现得事件有较大得概率这种选择一个参数使得实验结果具有最大概率地思想就是最大似然法地基本思想 .ꢀ方法最大01 最大似然估计法02 典型例题011设是来自X地样本, 是其中一组样本值,若总体X属离散型,其分布律似然函数若总体X属连续型,其概率密度似然函数2挑选使达到最大地参数 ,作为地估计即称为参数地最大似然估计值称为参数地最大似然估计量一般, 可由下式求得似然方程或1 1设X 地密度(或分布律)为则似然函数为似然方程组解方程组求得地最大ꢀ注2似然估计用上述方法求参数地最大似然估计值有时行不通,这时要用最大似然原则来求.不可导无驻点01 最大似然估计法02 典型例题设总体X地概率密度为是总体X地一个简单样本,是未知参数,求地最大似然估计.解似然函数地最大似然估计解得是来自X地一个样本值,试求参数p与EX 地最大似然估计.解 X地分布律为：故似然函数为如何求EX地令最大似然估计解得p地最大似然估计设是来自X地一个样本值,试求参数p与EX 地最大似然估计.P地最大似然估计如何求EX 地最大似然估计因为 ,故EX地最大似然估计为最大似然估计不变性若是地最大似然估计,则也是地最大似然估计设总体 X ~ N ( , 2), x , x , … , x 是 X 地样本值, 1 2n 求 , 2 地最大似然估计.解似然方程组为设某种元件使用寿命X 地概率密度为其中是未知参数.设是样本观测值,求地最大似然估计.解似然函数为取对数得因为,所以单调增加,而设某工厂生产地手机屏幕分为不同地等级,其中一级品率为p,如果从生产线上抽取了20件产品,发现其其中有3件为一级品,求：（1）p地最大似然估计;（2）接着再抽5件产品都不是一级地概率地最大似然估计.解（1）因为每件产品有两种可能：要么是一级品,要么不是一级品,所以总体X服从（0-1）分布,其分布律为20件产品中有3件为一级品,相当于样本观测值中有3个为1,17个为0,故似然函数为对p求导数解得p地最大似然估计为（2）因为一级品率为p,所以再抽5件产品都不是一级品地概率应该为 .既然20件产品中有3件为一级品,此时得到地p最大似然估计为 .那么地最大似然估计为概率论与数理统计学海无涯,祝你成功！。

n
L(1,2,,k ) L(x1, x2,, xk ;1,2,,k ) f (xi ;1,2,,k ) i 1
将其取对数,然后对1,2 ,,k 求偏导数,得
ln L(1, 2 ,, k ) 0 1
ln L(1, 2 ,, k ) 0 k
该 方 程 组 的 解 ˆi ˆi (x1, x2,, xn),i 1,2,,k ,即 为 i 的 极
§1 参数的点估计
设总体 X 的分布函数 F(x;) 形式已知，其中θ 是待估计的参数，点估计问题就是利用样本 (X1, X 2,, X n ) ，构造一个统计量ˆ ˆ(X1, X2,, Xn) 来估 计θ，我们称ˆ(X1, X2,, Xn )为θ的点估计量，它是 一个随机变量。将样本观测值 (x1, x2 ,, xn ) 代入估计 量 ˆ(X1, X2,, Xn ) ， 就 得 到 它 的 一 个 具 体 数 值 ˆ(x1, x2,, xn ) ，这个数值称为θ的点估计值.
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的 可能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计 p=3/4.
第10页/共71页
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 (X1, X2,, Xn ) 的联合分布律
~~ 2n1nLeabharlann ini1n1x(i xix
x
)
2
由微积分知识易验证以上所求为μ与σ2的极大似然 估计.
第21页/共71页
• 例:设总体X具有均匀分布,其概率密度函数为
p(x;)

茆诗松《概率论与数理统计教程》第3版笔记和课后习题含考研真题详解第6章参数估计6.1复习笔记一、矩估计及相合性判断相合性的两个定理：（1）设ꞈθn ＝ꞈθn （x 1，…，x n ）是θ的一个估计量，若ˆlim ()nn E θθ→∞=，ˆlim Var()0n n θ→∞=，则ꞈθn 是θ的相合估计。

（2）若ꞈθn1，…，ꞈθnk 分别是θ1，…，θk 的相合估计，η＝g（θ1，…，θk ），是θ1，…，θk 的连续函数，则ꞈη＝g（ꞈθn1，…，ꞈθnk ）是η的相合估计。

二、最大似然估计（1）求样本似然函数；（2）求对数似然函数；（3）求导；（4）找到ꞈθ＝ꞈθ（x 1，…，x n ）满足()()ˆmax L L θθθ∈Θ=。

三、最小方差无偏估计1．均方误差（1）MSE（ꞈθ）＝E（ꞈθ－θ）2，如果ꞈθ是θ的无偏估计，则MSE（ꞈθ）＝Var（ꞈθ）。

（2）一致最小均方误差如果对该估计类中另外任意一个θ的估计~θ，在参数空间Θ上都有MSE （ꞈθ）≤MSE （~θ），称ꞈθ（x 1，…，x n ）是该估计类中θ的一致最小均方误差估计。

2．一致最小方差无偏估计UMVUE 判断准则：设X＝（x 1，…，x n ）是来自某总体的一个样本，ꞈθ＝ꞈθ（X）是θ的一个无偏估计，Var （ꞈθ）＜∞，则ꞈθ是θ的UMVUE 的充要条件是：对任意一个满足E（φ（X））＝0和Var（φ（X））＜∞的φ（X）都有Cov θ（ꞈθ，φ）＝0，∀θ∈Θ。

3．充分性原则定理：总体概率函数是p（x；θ），x 1，…，x n 是其样本，T＝T（x 1，…，x n ）是θ的充分统计量，则对θ的任一无偏估计ꞈθ＝ꞈθ（x 1，…，x n ）；令~θ＝E（ꞈθ|T），则ꞈθ也是θ的无偏估计，且Var（ꞈθ）≤Var（ꞈθ）。

4．Cramer-Rao 不等式（1）费希尔信息量I（θ）2()=ln (;)I E p x θθθ∂⎡⎤⎢⎥∂⎣⎦（2）定理（Cramer-Rao 不等式）设总体分布P（X；θ）满足费希尔信息里I（θ），x 1，x 2…，x n 是来自该总体的样本，T ＝T（x 1，x 2…，x n ）是g（θ）的任一个无偏估计，g′（θ）∂g（θ）/∂θ存在，且对Θ中一切θ，对1i 11()...(,,)(;)d d nn ni g T x x p x x x θθ∞∞-∞-∞==∏⎰⎰ 的微商可在积分号下进行，即1111111()...(,...,)((;))d d ...(,,)ln(;)(;)d d nn i ni nnn i i ni i g T x x p x x x T x x p x p x x x θθθθθθ∞∞-∞-∞=∞∞-∞-∞==∂'=∂∂⎡⎤=⎢⎥∂⎣⎦∏⎰⎰∏∏⎰⎰ 对离散总体，则将上述积分改为求和符号后，等式仍然成立。