- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1n mle = ∑ xi = x n i=1
1n 2 σ = ∑(xi x) n i=1 , σ 2 的极大似然估计量分别为
2 mle
1n 1 n 2 2 ∑ Xi = X , ∑( Xi X ) = Sn n i=1 n i=1
总结:极大似然估计方法 1) 写出似然函数 L( x1 , , xn ;θ1 , ,θ k )
a ≤ xi ≤ b, 1 , n L(x1, x2 ,, xn; a, b) = (b a) i =1,2,, n 0, 其它
似然函数只有当 a ≤ xi≤ b, i = 1,2,…, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大. 令 取
xmin = min {x1, x2,…, xn} xmax = max {x1, x2,…, xn} a = xmin , b = xmax
问题: λ 的矩估 计是否唯一?
结论:矩估计可能不存在(如 Cauchy分布的参数的矩估计不存 在),即使存在也有可能不唯一 (如例3)。
例4 设从某灯泡厂某天生产的灯泡中随机 抽取10只灯泡,测得其寿命为(单位:小时) 1050, 1100, 1080, 1120, 1200 1250, 1040, 1130, 1300, 1200 试用矩法估计该厂这天生产的灯泡的平均 寿命及寿命分布的方差. 例5 设总体 X ~ U (a, b), a, b 未知, 求参数 a, b 的 矩法估计量.
第6章 参数估计
统计 推断 的基 本问 题
参数估 计问题
点估计 区间估计
假设检 验问题
参数检验 非参数检验
什么是参数估计? 参数是刻画总体某方面概率特性的数量. 参数是刻画总体某方面概率特性的数量. 当此数量未知时,从总体抽出一个样本, 当此数量未知时,从总体抽出一个样本, 用某种方法对这个未知参数进行估计就 是参数估计. 是参数估计. 例如, 例如,X ~N ( ,σ 2), 未知, 通过构造样本的函数, 若, σ 2未知 通过构造样本的函数 给出 它们的估计值或取值范围就是参数估计 的内容. 的内容 区间估计 点估计
极大似然估计法 思想:实际推断原理(一次试验就出 思想 现的事件有较大的概率) 例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球 现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 问: 所取的球来自哪一箱的可能性大? 答: 第一箱. .
L(x1, x2,, xn ,θ )
θ∈ Θ
其中f(x,θ)为总体的密度函数或分布律。
称这样得到的 θ = g(x1, x2,, xn )
为参数 θ 的极大似然估计值 极大似然估计值
称统计量 θ = g( X , X ,, X ) 1 2 n
为参数 θ 的极大似然估计量 极大似然估计量
若 X 为离散型随机变量, 其分布律为
2
=∏
i=1
n
1 e 2πσ
n
( xi )2 2σ
2
=
1 (2π ) (σ )
2
n 2 n 2 2
e
( xi )2 2σ 2 i=1
∑
n
(xi ) n n 2 ln(2π ) ln(σ ) ln L = ∑ 2 i=1 2σ 2 2
似然 方程 组为
1 n ln L = 2 ∑(xi ) = 0 σ i=1 1 n n 2 ln L = (x ) =0 2 2 2 ∑ i 2 2(σ ) (σ ) 2(σ ) i=1
P( X = x) = f (x,θ ), x = u1,u2 ,,θ ∈Θ
则样本 X1, X2,…, Xn的联合分布为
P( X1 = x1, X2 = x2, Xn = xn ) ,
= f (x1,θ ) f (x2 ,θ )f (xn ,θ )
记为
= L(x1, x2 ,, xn ,θ ) = L(θ )
则对满足 a ≤ xmin ≤ xmax ≤ b的一切 a < b , 都有
1 1 ≤ n n (b a) (xmax xmin )
故
a = xmin , b = xmax
是 a , b 的极大似然估计值. Xmin = m X1, X2 , Xn} in{ ,
Xmax = m X1, X2 , Xn} ax{ ,
为似然方程组 若对于某组给定的样本值 x1, x2,…, xn, 参数 θ1,θ2,,θk 使似然函数取得最大值, 即
L(x1,, xn;θ1,,θk ) = max {L(x1, x2,, xn;θ1,θ2,,θk )}
(θ1,θ2 ,θk )∈ , Θ
则称 θ1,,θk 为θ1,…, θk 的极大似然估计值
θk (x1, x2 ,, xn )
常用的点估计方法 频率替换法 利用事件A 在 n 次试验中发生的频率
nA / n 作为事件A 发生的概率 p 的估计量
nA P p → n
例1 设总体X ~ N ( , 2 ), 在对其作28 次 独立观察中, 事件 “X < 4” 出现了21 次, 试 用频率替换法求参数 的估计值.
θk ( X1, X2 ,, Xn )
当测得样本值(x1, x2,…, xn)时,代入上述 统计量,即可得到 k 个数: θ1(x1, x2 ,, xn ) θ2 (x1, x2 ,, xn )
数值
称数 θ1,θk为未知参数 θ1,,θk 的估计值 对应统计量 为未知参数 θ1,,θk 的估计量 如何构造统计量? 如何构造统计量? 问 题 如何评价估计量的好坏? 如何评价估计量的好坏?
可得未知参数的极大似然估计值 θ1,θ2 ,,θk 注:似然方程组法可能不适用, 此时需 用其它方法求极大似然估计值. 见下 例:
例8 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量. 解 X 的密度函数为 1 , a ≤ x ≤b f (x; a, b) = b a 0, 其它 似然函数为
发生了, 则 p 的取值应使这个事件发生 的概率最大.
在容许范围内选择 p ,使L(p)最大 注意到,ln L(p)是 L 的单调增函数,故若 某个p 使ln L(p)最大, 则这个p 必使L(p)最大。
n ∑xi 令 1 n dlnL i=1 i=1 = =0 p = xi = x dp p 1 p n i=1
∑xi
n
n
∑
d2lnL ∑xi n ∑xi i=1 2 = i=1 2 < 0 2 p (1 p) dp
n n
所以
p = x 为所求 p 的估计值.
极大似然法的思想 选择适当的θ = θ ,使L(θ ) 取最大值, 即
= max{ f (x1,θ ) f (x2 ,θ ) f (xn ,θ )}
n
注意:不是 S !
事实上,按矩法原理,令
1n X = ∑Xi = n i=1 1 n 2 2 A2 = ∑Xi = E( X ) n ii=1 =1
=X 2 σ = A2 2
1 1 n 2 2 2 2 = ∑Xi X = ∑( Xi X ) = Sn n i=1 n i=1
n
设待估计的参数为 θ1,θ2 ,,θk 设总体的 k 阶矩存在,记为
2)求出 θ1,θ2,,θk , 使得 L(x1, x2 ,, xn;θ1,θ2 ,,θk )
=
Θ (θ1,θ2 ,θk )∈ ,
max {L(x1, x2 ,, xn;θ1,θ2 ,,θk )}
若 L是 θ1,,θk的可微函数,解似然方程组
ln L(x1, x2 ,, xn ;θ1,θ2 ,,θk ) = 0 θr样本值得 k 个数:
θ1 =θ1(x1, x2,, xn ) θ =θ (x , x ,, x )
k k 1 2 n
未知参数 θ1, …,θk 的矩估计值
例2 设总体 X ~ N ( ,σ 2 ), X1, X2,…, Xn为 总体的样本, 求 ,σ 2 的矩法估计量. 例3 设总体 X ~ Exp(λ), X1, X2,…, Xn为总 体的样本, 求λ 的矩法估计量.
矩法 用样本 k 阶矩作为总体 k 阶矩的
方法
估计量, 建立含有待估参数的方程, 从而解出待估参数
一般, 不论总体服从什么分布, 若总体期望 与方差σ 2 存在, 则它们的矩估计量分别为
n 1 1 2 2 2 = ∑Xi = X, σ = ∑(Xi X ) = Sn n i=1 n i=1 2
L(x1,, xn;θ1,,θk )
= L(θ1,,θk ) = ∏ f (xi ,θ1,,θk )
n
∞< xi <+∞, i =1,2,, n
i=1
(θ1,,θk ) ∈Θ
若 L(x1,, xn;θ1,,θk ) 关于θ1, …, θk可微,则称
ln L(x1, x2 ,, xn ;θ1,θ2 ,,θk ) = 0, r =1,2,, k θr
显然,
θr = g(x1, x2,, xn )
称统计量
r =1,2,, k
θr = g( X1, X2,, Xn )
r =1,2,, k
为θ1, θ2,…, θk 的极大似然估计量
例7 设总体 X ~ N (,σ 2), x1, x2,…, xn 是 X 的样本值, 求 , σ 2 的极大似然估计. 解 L(x1, x2 ,, xn ; ,σ )
E( X ) = k (θ1,θ2 ,,θk )
k
1 n r 样本 X1, X2,…, Xn 的 r 阶矩为 Ar = ∑ X i n i =1
令
1n r r (θ1,θ2 ,,θk ) = ∑Xi r =1,2,, k n i=1 —— 含未知参数 θ1,θ2, …,θk 的方程组