概率统计第8章

i =1
极大似然估计引例
设一袋中装有黑白、两种球。设 p 是从袋 设一袋中装有黑白、两种球。 中随机摸得一个白球的概率， 中随机摸得一个白球的概率，现估计 p 根据问题，我们令总体X为 解：根据问题，我们令总体 为
1, 从袋中取得一白球 X = 0, 从袋中取得一黑球
服从0-1分布，其中 分布， 则X服从 服从 分布
x2 − 2θ
例8.1
解：（1）先求总体期望。 ：（ ）先求总体期望。
m = E( X ) = ∫
反解θ 得到
+∞
0
x f ( x , θ)dx =
θ=
2
2π θ 2
ˆ 用 X 替换 ，得 θ 的矩估计量θ 替换m，
2012-5-16
π
m
2
=
2
π
X
2
4
多个未知参数时的矩估计
θ = (θ 1 , θ 2 ,...,θ k ) 为 k 维未知参数，且 维未知参数， X的直到 k 阶原点矩存在，则有 的直到 阶原点矩存在， m1 = E ( X ) = m1 (θ 1 ,...,θ n ) 2 m 2 = E ( X ) = m 2 (θ 1 ,...,θ n ) L m = E ( X k ) = m (θ ,...,θ ) k 1 n k
−n
L(θ ) = ∏ f ( x i , θ ) = θ ,0 ≤ x i ≤ θ
i =1
2012-5-16 22
例8.8 （续） dL(θ ) − 1− n 由于似然方程 = − nθ =0 dθ
L(θ ) = θ
另一方面
1≤ i ≤ n
无解
所以应考虑极大似然估计的定义， 所以应考虑极大似然估计的定义，因为函数
2012-5-16 21
例8.8
设总体 X ~ U ( 0, θ ), θ > 0 ，x1 , x 2 ,..., x n 为一组样本观测值， 为一组样本观测值，求 θ 的极大似然估计。 的极大似然估计。 解：X的密度函数 的密度函数
则似然函数
n
1 ,0 ≤ x ≤ θ f ( x;θ ) = θ 0, 其它
ˆ 称 θ( x1 , x 2 ,..., x n ) 为
2012-5-16
ˆ θ( X 1 , X 2 ,..., X n ) 为
θ θ
的估计值 的估计量。 的估计量。
2
§8.1.1 矩估计法
设总体X有分布函数 设总体 有分布函数 F ( x , θ) ，其中 θ 为一维未知参数， 存在， 为一维未知参数，若E ( X ) 存在，则
第八章 参数估计
§8.1点估计 点估计
2012-5-16
1
估计量
定义8.1 设总体X的分布函数为 定义 设总体 的分布函数为
F ( x , θ)
从总体X中抽取样本 从总体 中抽取样本 X 1 , X 2 ,..., X n 其观测 值为 x1 , x 2 ,..., x n 构造某个统计量
ˆ θ( X 1 , X 2 ,..., X n ) 用它的观测值 ˆ θ( x1 , x 2 ,..., x n ) 来估计未知参数 θ ，则
ˆ µ = X 2 ˆ = A2 − X 2 σ
再用2阶样本原点矩替代对应的总体矩得 再用 阶样本原点矩替代对应的总体矩得
2012-5-16
8
§8.1.2 极大似然法
设总体X是离散型随机变量，分布律为 设总体 是离散型随机变量， 是离散型随机变量
P ( X = x ) = p( x , θ )则样本取某组观测值
X
10次的结果为 次的结果为
(数据 样本观测值 数据,样本观测值 数据 样本观测值)
( x1 , x 2 ,..., x10 ) = (1,0,1,0,0,0,1,0,0,0)
2012-5-16 11
极大似然估计引例
次摸球的所有可能的结果有多少个? 问:10次摸球的所有可能的结果有多少个 次摸球的所有可能的结果有多少个
例8.5
解：（1）写出似然函数 ：（ ）
L(θ ) = ∏ f ( x i , θ ) = ∏
i =1
−
n
n
xi
i =1
θ
e
x i2 − 2θ
=θ
2012-5-16
−n
⋅e
1 2θ
∑
i =1
n
2 xi
⋅ ∏ xi
i =1
16
n
例8.5
(2)对似然函数取对数， 对似然函数取对数， 对似然函数取对数
n
的概率为
P {X 1 = x1 , X 2 = x 2 ,..., X n = x n }
n
= P{ X 1 = x1 }P { X 2 = x 2 }L P { X n = x n } = ∏ p( x i ,θ ) = L(θ )
为似然函数。 称函数 L(θ ) 为似然函数。
2012-5-16 9
d ln L(θ ) − n 1 n 2 = + 2 ∑ xi = 0 dθ θ 2θ i =1
n
自然指数族分布均值的MLE 自然指数族分布均值的
定理8.1 若总体 服从自然指数族分布，则均值 若总体X服从自然指数族分布 服从自然指数族分布， 定理 的极大似然估计量为样本均值， 参数m = E ( X )的极大似然估计量为样本均值， 即m = X ˆ 证略 对自然指数分布族， 对自然指数分布族，均值参数 m 的矩估计量 与极大似然估计量都是样本均值 X ，而总体 有单值反函数时， 方差函数σ 2 = V ( m ) 有单值反函数时，方差 函数 V (m ) 的极大似然估计量为 V ( X )
= ( 2πσ )
2
2012-5-16
n − 2
−
1
2
e
2σ i = 1
∑
n
( xi − µ )2
19
例8.7 （续） 2 ln L( µ , σ )
1 n n n 2 2 = − ln( 2π ) − ln σ − ∑ ( xi − µ ) 2 2 2 2σ i =1 2 对µ 和 σ 求偏导数得似然方程组 n ∂ ln L 1 = 2 ∑ ( xi − µ ) = 0 σ i =1 ∂µ n n 1 ∂ ln L 2 ( xi − µ ) = 0 =− 2+ 2 2 2 ∑ 2σ 2(σ ) i =1 ∂σ
2012-5-16 18
例8.7 X ~ N ( µ , σ ), µ与σ 未知， 未知， 2 求 µ 及 σ 的最大似然估计量。 的最大似然估计量。
2 2
解： L( µ , σ
n
2
) = ∏ f ( xi ; µ ,σ )
2 i =1
n
=∏
i =1
− 1 e 2π σ
( xi − µ )2 2σ 2
2012-5-16
一般地设总体X有分布函数 F ( x , θ ) ，若 一般地设总体 有分布函数
5
多个未知参数时的矩估计 反解出θ1 ,θ 2 ,...,θ k为m1 , m2 ,...,mk 的函数 n
再用 r 则得到矩估计量
1 r 阶样本原点矩 Ar = ∑ X i 替代 m r n i =1
x 总体的分布律或者密度函数已知， 总体的分布律或者密度函数已知， 1 , x 2 ,..., x n 为一组样本观测值， 为一组样本观测值，若存在θ 的一个值
ˆ ˆ θ ( x1 , x 2 ,..., x n ) = θ
ˆ 使得 L(θ ) = max L(θ )
ˆ 则称 θ ( x1 , x 2 ,..., x n ) 是 θ 的极大似然估计值， 的极大似然估计值，
P ( X = 1) = p, P ( X = 0) = 1 − p
2012-5-16 10
极大似然估计引例
为估计
p ，我们有放回摸球 次，其结果可 我们有放回摸球10次
用随机变量表示如下： 用随机变量表示如下：
1, 第i次摸得白球 Xi = i = 1,2,...,10 0, 第i次摸得黑球 是来自总体X的样本 的样本。 则 X 1 , X 2 ,..., X 10 是来自总体 的样本。若
ˆ 令d ( L( p )) / dp = 0 ⇒ p = 0.3
2012-5-16 13
总体为连续型时的似然函数
设总体X是连续型随机变量，密度函数为 设总体 是连续型随机变量， 是连续型随机变量 f ( x , θ) 若取得样本观测值 x1 , x 2 ,..., x n 则因为随机变量 X i 落在点 x i 的邻域内 的概率近似于 f ( x i , θ ) ⋅ ∆x i 则似然函数 n 可写为 f ( x , θ ) ⋅ ∆x
µ ,σ
2
的矩估计量。 的矩估计量。
解：因为有两个参数，故将总体前二阶矩表 因为有两个参数， 为参数的函数， 为参数的函数，即
m1 = E ( X ) = µ 2 2 2 m2 = E ( X ) = σ + µ
2012-5-16 7
例8.2
反解得
µ = m1 2 2 σ = m 2 − m1
（3）写出对数似然方程 ）
1 2 ln L(θ ) = − n ln θ − ∑ x i + ∑ ln x i 2θ i =1 i =1
n
（4）求极大似然估计值，写出估计量 ）求极大似然估计值，
n 1 2 ˆ= 2 ˆ= 1 θ x i 而估计量为 θ ∑ ∑ Xi 2n i =1 2n i =1
2012-5-16 17
注意到:每一个结果都有自己发生的概率 注意到 每一个结果都有自己发生的概率, 每一个结果都有自己发生的概率