概率论第七章参数估计

ln L() d2
ˆ x
0
从而得出λ的最大似然估计量为 ˆ X
例：设总体 X 服从参数为λ的指数分布，其中λ未 知，(X1, X 2 , , X n ) 为从总体抽取一个样本，(x1, x2 , , xn ) 为其样本观测值，试求参数λ的最大似然估计值和 估计量. 解 总体X服从参数为λ的指数分布，则有
f
(;
x)
e
x
x0
0 x 0
n
xi
所以似然函数为 L() ne i1
取对数 令
n
ln L() n ln xi i 1
d
d
ln
L()
n
n i 1
xi
0
解得λ的最大似然估计值为
ˆ
n
n
xi
1 x
i 1
最大似然估计量为
ˆ
n
n
Xi
1 X
i 1
• 例:设(X1,X2,…,Xn)是来自正态总体N(μ,σ2)的一 个样本,其中μ,σ2是未知参数,参数空间Θ={-∞< μ <∞, σ2 >0}.求μ与σ2的最大似然估计.
参数估计的基本思想
数取值称为参数估计.
参
点估计
用某一数值作为 参数的近似值
数
估
计
区间估计
在要求的精度范围内 指出参数所在的区间
§1 点估计
设总体 X 的分布函数 F(x;)形式已知，其中θ 是待估计的参数，点估计问题就是利用样本 (X1, X 2 , , X n ) ，构造一个统计量ˆ ˆ(X1, X2, , Xn ) 来估 计θ，我们称ˆ(X1, X2, , Xn ) 为θ的点估计量，它是 一个随机变量。将样本观测值 (x1, x2 , , xn ) 代入估计 量 ˆ(X1, X2, , Xn ) ， 就 得 到 它 的 一 个 具 体 数 值 ˆ(x1, x2, , xn ) ，这个数值称为θ的点估计值.
参数θ的最大似然估计量为：
ˆ(
X1,
X
2
,...,X
n
)
max{X
1in
i}
§3 估计量的评选标准
• 对于总体的同一个未知参数，由于 采用的估计方法不同，可能会产生 多个不同的估计量。这就提出了一 个问题，当总体的同一个参数存在 不同的估计量时，究竟采用哪一个 更好？这涉及到用什么样的标准来 评价估计量的好坏问题，对此，我 们介绍几个常用的评价标准：无偏 性、有效性和一致性（相合性）。
（一） 矩估计法
• 设(X1,X2,…,Xn)是来自总体X的一个样本,根据大 数定律,对任意ε>0,有
lim P{| X E(X ) | } 0
n
并且对于任何k,只要E(Xk)存在,同样有
lim P{|
n
1 n
n i 1
X
k i
E( X k ) | }
0,
k 1, 2,...
因此,很自然地想到用样本矩来代替总体矩,从而得
E( X ) 1(1,2,...,k ) A1
设
E( X 2 ........
) 2 (1,2 ,...
.......................
,
k
)
A2
E( X k ) k (1,2 ,...,k ) Ak
得到含有未知参数(θ1,…,θk)的k个方程.解这k个 联立方程组就可以得到(θ1,…,θk)的一组解:
缺点是，当总体类型已知时，没有充分利用分布 提供的信息。一般场合下, 矩估计量不具有唯一性 。
其主要原因在于建立矩法方程时，选取那些总体 矩用相应样本矩代替带有一定的随意性。
（二）最大似然估计法
它是在总体类型已知条件下使用的一种参数估 计方法 。
它首先是由德国数学家高斯在 1821年提出的。 然而, 这个方 法常归功于英国统计学家费歇。
Gauss
费歇在1922年重新发现了这一 方法，并首先研究了这种方法 的一些性质。
Fisher
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外出打 猎。一只野兔从前方窜过。 只听一声枪响，野兔应声倒下 。 如果要你推测，是谁打中的呢？
你会如何想呢?
你就会想，只发一枪便打中，猎人命中的概率一 般大于这位同学命中的概率。看来这一枪是猎人 射中的。
这个例子所作的推断已经体现了最大似然估计法 的基本思想 ：一次试验就出现的事件有较大的概 率。
定义:设总体 X 的分布类型已知,但含有未知参数θ.
(1) 设 离 散 型 总 体 X 的 分 布 律 为 p(x; ) ， 则 样 本
( X1, X 2 , , X n ) 的联合分布律
n
p(x1; ) p(x2 ; ) p(xn ; ) p(xi ; ) i 1 n
解
由于
E(X )
E(X 2 ) D(X ) E(X )2 2 2
故令
1
n
n i 1
X
X
2 i
2
2
解得μ和 2 的矩估计量分别为
ˆ 2
1 n
n i 1
X
2 i
ˆ
X2
X
1 n
n
(Xi
i 1
X )2
练习 : 设某炸药厂一天中发生着火现象次数X服从
参数为的泊松分布， 未知，有以下样本值；
解 正态分布的似 然函数为
L L(, 2; x1, x2 ,..., xn )
1 (2 2 )n / 2
exp{
1 22
n
(xi
i1
)2}
两边取对数得
ln
L
n 2
ln(2
)
n 2
ln
2
1
2
2
n
(xi )2
i 1
分别求关于μ与σ2的偏导数,得似然方程组
ln L
1 2
n
( xi
i 1
到总体分布中参数的一种估计.
• 定义：用样本矩来代替总体矩,从而得到总体分 布中参数的一种估计.这种估计方法称为矩估计法. 它的思想实质是用样本的经验分布和样本矩去替 换总体的分布和总体矩.今后称之为替换原则.
• 设总体X具有已知类型的概率函数p(x;θ1,…,θk), (θ1,…,θk)∈Θ是k个未知参数.(X1,X2,…,Xn)是来自 总体X的一个样本.假若X的k阶矩vk=E(Xk)存在,则 对于i≤k, E(Xi)都存在,并且是(θ1,…,θk)的函数vi (θ1,…,θk).
§2.1 无偏性
• 在评价一个估计量的好坏时,我们当然希望估计量 与被估参数越接近越好.但估计量是一个随机变量, 它的取值随样本的观测值而变,有时与被估参数的真 值近些,有时远些,我们只能从平均意义上看估计量 是否与被估参数尽量接近,最好是等于被估参数.于 是有无偏估计量的概念.
设总体的分布类型已知,但含有多个未知参数
1,2 , ,k ，这时总体的概率函数为 f (x;1,2 , ,k ) .设
(x1, x2 , , xn ) 为总体 X 的一个样本观察值,若似然函数
n
L(1,2 , ,k ) L(x1, x2 , , xk ;1,2 , ,k ) f (xi ;1,2 , ,k ) i 1
(2) 设 (X1, X 2, , X n ) 为总体 X 的一个样本,若ˆ(x1, x2, , xn) 为θ的最大似然估计值, 则称ˆ(X1, X2, , Xn) 为参数 θ的最大似然估计量.
设总体的分布类型已知,但含有未知参数θ.设
(x1, x2 , , xn ) 为总体 X 的一个样本观察值，若似然函数
称为似然函数，并记之为 L( ) L(x1, x2, , xn; ) . p(xi ; ) i 1
(2) 设连续型总体 X 的概率密度函数为 f (x; ) ，则样本
( X1, X 2 , , X n ) 的联合概率密度函数
n
f (x1; ) f (x2 ; ) f (xn ; ) f (xi ; ) i 1 n
试估计参数 （用矩法）。
着火的次数 k
0 12 3456
发生k次着火天数 nk 75 90 54 22 6 2 1 250
解
EX
A1
1 n
n i 1
Xi
X
令 X ,
则 ˆ x 1 (0 75 1 90 6 1) 1.22
250
所以 X , 估计值ˆ 1.22。
矩法的优点是简单易行, 并不需要事先知道总体 是什么分布。
解 设 (X1,X2,…,Xn)是来自总体X的一个样本.似然
函数为
L( ;
x1,
x2,...,xn )
1
n
,0
xi
,i
1,2,...,n
要使L(θ; x1,x2,…,xn)达到最大,就要使θ达到最小,由于
0
xi
x(n)
max{x
1in
i}
, i
1,2,...,n
所以θ的最大似然估计值为： ˆ m1iaxn {xi}
解 总体X的期望为 E( X )
从而得到方程
1 n
n i 1
Xi
所以λ的矩估计量为
ˆ
1 n
n i 1
Xi
X
例: 设总体 X 服从参数为λ的指数分布，其中参
数λ未知， (X1, X2, , Xn) 是来自总体的一个样本，
求参数λ的矩估计量. 解 其概率密度函数为
f
(x,
)
e x
,
x0
0, x 0
ˆ1 ˆ1( X1, X 2 ,...,X n ) ˆ 2 ˆ 2 ( X1, X 2 ,...,X n ) ................................... ˆ k ˆ k ( X1, X 2 ,...,X n )