- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1 2
一个统计量 θ = θ ( x1 , L , xn ) 的取值作为θ的估 ) 计值,θ 称为θ的点估计(量),简称估计。 ) 在这里如何构造统计量θ 并没有明确的规定, 只要它满足一定的合理性即可。这就涉及到 二个问题: 其一 是如何给出估计,即估计的方法问题; 其二 是如何对不同的估计进行评价,即估 计的好坏判断标准。
第23页 23页
矩估计一般都具有相合性。比如: 样本均值是总体均值的相合估计; 样本标准差是总体标准差的相合估计; 样本变异系数是总体变异系数的相合估计。
28 July 2011
华东师范大学
第五章 参数估计
第24页 24页
§5.2 习题
1, 1, 2, 4,
P295
7
28 July 2011
华东师范大学
ˆ σ = sn
28 July 2011
华东师范大学
第五章 参数估计
第35页 35页
3− µ 3− x 概率P( X < 3) =Φ 的MLE是Φ ; σ s
第五章 参数估计
第25页 25页
§5.3 极大似然估计
5.3.1 极大似然估计的基本思想: 口袋中有黑、白两种球, 从中任取一只, 发现是白球, 则可以认为:
口袋中白球比黑球多
28 July 2011
华东师范大学
第五章 参数估计
第26页 26页
5.3.2
求极大似然估计的方法
设总体含有待估参数 θ , 得到样本观测值 x1, x2,…, xn
28 July 2011
华东师范大学
第五章 参数估计
第21页 21页
定义 设θ∈Θ为未知参数, θˆn = θˆn (x1,L, xn ) 是θ的一个估计量,n是样本容量,若对任何 一个ε>0,有
ˆ lim n→∞ P(| θ n − θ |> ε ) = 0
ˆ 则称 θ n 为θ参数的相合估计。
n
28 July 2011
华东师范大学
第五章 参数估计
第29页 29页
将lnL(µ,σ 2)分别关于二个分量求偏导并令 其为0, 即得到似然方程组
∂ ln L(µ,σ 2 ) 1 n = 2 ∑ ( xi − µ ) = 0 ∂µ σ i =1 ∂ln L(µ,σ 2 ) 1 n n 2 = 4 ∑(xi − µ) − 2 = 0 2 ∂σ 2σ i=1 2σ
设 θˆ = θˆ( x1,L, xn )是θ的一个估计,若
ˆ E (θ ) = θ
ˆ 则称 θ 是θ的无偏估计,否则称为有偏估计。
28 July 2011
华东师范大学
第五章 参数估计第14页 14页注源自点X 是 E(X) 的无偏估计
S2 是 Var(X) 的无偏估计
Sn2 不是 Var(X) 的无偏估计
第8页
例 x1 , x2 , …, xn是来自(a,b)上的均匀分布U(a,b) 的样本,a与b均是未知参数,这里k=2,由于
a+b (b − a)2 EX = , Var ( X ) = , 2 12
不难推出
a = EX − 3Var ( X ), b = EX + 3Var ( X ),
由此即可得到a, b的矩估计:
华东师范大学
第五章 参数估计
第28页 28页
例 对正态总体N(µ,σ 2),θ=(µ,σ 2)是二维参数,
设有样本x1 , x2 , …, xn,则似然函数及其对数分 别为
( xi − µ )2 1 L(µ,σ 2 ) = ∏{ exp{− }} 2 2σ 2πσ i =1 1 n = (2πσ 2 )−n / 2 exp{− 2 ∑ ( xi − µ )2 } 2σ i =1 1 n n n 2 2 2 ln L(µ,σ ) = − 2 ∑ ( xi − µ ) − ln σ − ln(2π ) 2σ i =1 2 2
28 July 2011
华东师范大学
第五章 参数估计
第18页 18页
课堂练习
ˆ ˆ 设 θ1, θ2 是参数θ 的两个独立的无偏估计,
ˆ ˆ 且 Var θ1 = 2Var θ2 , 找出常数 k1, k2,使得
ˆ ˆ ˆ θ = k1θ1 +k2θ2 也是θ 的无偏估计,
( )
( )
并使它在所有这种形状的估计中的方差最小. k1= 1/3,
第五章 参数估计
第1页
第五章 参数估计
数理统计的主要任务之一是依据样本推断总体. 推断的基本内容包括两个方面: 一是依据样本寻找总体未知参数的近似值和近似 范围,这是第五章的内容。 二是依据样本对总体未知参数的某种假设作出真 伪判断,这是第六章的内容(假设检验)。
28 July 2011
华东师范大学
1 n k 用样本矩 Ak = ∑Xi , n i=1
k
ˆ 代替母体矩 µk = E( X ) = g (θ )
k
即 A = µk = gk (θ ) k 从中解出θ .
华东师范大学
28 July 2011
第五章 参数估计
第6页
注 意 点 (1)
若估计一个未知参数 θ ,则解方程
∑X n
i =1
1
ˆ ˆ 则找一个 θ =θ( X1, X2, L Xn ) ,
使得x1, x2,…, xn出现的可能性最大。
28 July 2011
华东师范大学
第五章 参数估计
第27页 27页
极大似然估计的关键点
x1, x2,…, xn出现的可能性: (1) 离散场合:L(θ; x1, x2 , ..., xn ) = ∏P( Xi = xi )
28 July 2011
华东师范大学
第五章 参数估计
第31页 31页
虽然求导函数是求极大似然估计最常用的方 法,但并不是在所有场合求导都是有效的。
例 设 x1 , x2 , …, xn是来自均匀总体
U(0,θ)的样本,试求θ的极大似然估计。
28 July 2011
华东师范大学
第五章 参数估计
第32页 32页
i =1 n i =1 n
(2) 连续场合:L(θ; x1, x2 , ..., xn ) = ∏ p( xi ) 称以上 L 的为似然函数。 注意:(1) L 是 θ 的函数, x1, x2,…, xn 固定。 (2) θ 可以是多维的 。 ˆ θMLE (3) 下面任务是求 L的极大点
28 July 2011
第五章 参数估计
第2页
• 一般常用θ表示参数,参数θ所有可能取值
组成的集合称为参数空间,常用Θ表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。
• 参数估计的形式有两种:点估计与区间估计。
28 July 2011
华东师范大学
第五章 参数估计
第3页
• 设x ,x , …, xn是来自总体的一个样本,我们用
28 July 2011
)
)
华东师范大学
第五章 参数估计
第4页
一、点估计 §5.1 矩法估计 §5.2 点估计优劣的评价标准 §5.3 极大似然估计 二、区间估计 §5.4 区间估计 §5.5 单侧置信限
28 July 2011
华东师范大学
第五章 参数估计
第5页
§5.1
矩法估计
矩法估计的基本思想:
解 似然函数
L(θ ) =
1
θ
n
,
x(n) ≤ θ
n
要使L(θ)达到最大,即1/θ 尽可能大,所以 θ的取值应尽可能小,但θ不能小于x(n),由此 ) 给出θ的极大似然估计:
ˆ θ = x( n )
28 July 2011
华东师范大学
第五章 参数估计
第33页 33页
5.3.3
MLE的不变性 MLE的不变性
28 July 2011
华东师范大学
第五章 参数估计
第22页 22页
相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时,它 都不能把被估参数估计到任意指定的精度, 那末这个估计是很值得怀疑的。 样本容量越大,估计应当越精确
28 July 2011
华东师范大学
第五章 参数估计
28 July 2011
k2 = 2/3
华东师范大学
第五章 参数估计
第19页 19页
均方误差
28 July 2011
华东师范大学
第五章 参数估计
第20页 20页
相合性
点估计是一个统计量,因此它是一个随机变量, 我们不可能要求它完全等同于参数的真实取值。 但我们可以要求估计量随着样本量的不断增大 而逼近参数真值,这就是相合性,严格定义如下。
华东师范大学
第五章 参数估计
第16页 16页
例 设x1 , x2 , …, xn是取自某总体的样本,记总体均 ˆ ˆ x 值为µ ,总体方差为σ 2,则 µ1 = x1, µ2 = , 都是µ 的无偏估计,但
ˆ ˆ Var ( µ1 ) = σ 2 , Var ( µ2 ) = σ 2 / n ˆ ˆ 显然,只要n>1, µ2 比 µ1 有效。这表明,用全部
代替µ1 ,ν2 ,得α,λ的矩估计为
28 July 2011
华东师范大学
第五章 参数估计
第10页 10页
§5.1 习题
1, 1, 4, 5
P286
28 July 2011
华东师范大学
第五章 参数估计
第11页 11页
§5.2 点估计优劣的评价标准
对同一个未知参数,采用不同的方法找到的 点估计可能不同。那么,自然要问:究竟是 用哪一个更“好”些呢? 这里介绍点估计的 评价标准. 如Poisson( λ )分布均值,方差均为λ,