概率论与数理统计：7-3估计量的评选标准
- 格式：ppt
- 大小：128.00 KB
- 文档页数：11
下载文档原格式
合集下载
《概率论与数理统计》课程教案
※由最大似然估计法得到的估计量，在一定条件下也具有相合性
※相合性是对一个估计量的基本要求，若估计量不具有相合性，那么不论将样本容量n取得多么大，都不能将θ估计得足够准确，因而不可取
可以用大数定律的思想处理。
板书，回顾
PPT
课后作业
包括课后作业、数值实验作业、其它要求
课后小结
课后小结是教案执行情况的经验总结，目的在于改进和调整教案，为下一轮课讲授设计更加良好的教学方案。应全面审视教学过程，特别注意对意外发现、点滴收获、以及因个别疏漏而及时补充的方法等方面的内容进行撰写
无偏性若估计量 ＝ (X1,X2,…,Xn)的数学期望E( )存在，且对于任意的θ Θ有E( )＝θ，则称 是θ的无偏估计量。
ห้องสมุดไป่ตู้即E( )－θ＝0，
称E( )－θ为以 作为θ的估计的系统误差，那么无偏估计的实际意义就是无系统误差。（人为的或系统本身原因导致的误差，而不是测量误差）
例如：设总体X的k阶矩，期望和方差分别为μk，μ，σ2
由于E(Ak)=E( )= = =μk
E(S2)=E( )=σ2，
E( )=E( )＝μ
所以k阶样本矩，样本方差和样本均值分别为k阶总体矩μk，方差σ2和期望μ的无偏估计量
而σ2的一个估计量 ＝B2＝ 由于
E(B2)=E( )= ≠σ2，因而是有偏的
其中，由方差恒等式E(X2)＝D(X)+E(X)2
由于方差是随机变量取值与其数学期望的偏离程度的度量，这样在无偏的情况下E( )=E( )=θ，以方差小者为好，即估计量的有效性
有效性设 ＝ (X1,X2,…,Xn)与 ＝ (X1,X2,…,Xn)都是θ的无偏估计量，若对于任意θ Θ，有D( )D( )且至少对于某一个θ Θ，上式中的不等号成立，则称 较 有效。
※相合性是对一个估计量的基本要求，若估计量不具有相合性，那么不论将样本容量n取得多么大，都不能将θ估计得足够准确，因而不可取
可以用大数定律的思想处理。
板书，回顾
PPT
课后作业
包括课后作业、数值实验作业、其它要求
课后小结
课后小结是教案执行情况的经验总结，目的在于改进和调整教案，为下一轮课讲授设计更加良好的教学方案。应全面审视教学过程，特别注意对意外发现、点滴收获、以及因个别疏漏而及时补充的方法等方面的内容进行撰写
无偏性若估计量 ＝ (X1,X2,…,Xn)的数学期望E( )存在，且对于任意的θ Θ有E( )＝θ，则称 是θ的无偏估计量。
ห้องสมุดไป่ตู้即E( )－θ＝0，
称E( )－θ为以 作为θ的估计的系统误差，那么无偏估计的实际意义就是无系统误差。（人为的或系统本身原因导致的误差，而不是测量误差）
例如：设总体X的k阶矩，期望和方差分别为μk，μ，σ2
由于E(Ak)=E( )= = =μk
E(S2)=E( )=σ2，
E( )=E( )＝μ
所以k阶样本矩，样本方差和样本均值分别为k阶总体矩μk，方差σ2和期望μ的无偏估计量
而σ2的一个估计量 ＝B2＝ 由于
E(B2)=E( )= ≠σ2，因而是有偏的
其中，由方差恒等式E(X2)＝D(X)+E(X)2
由于方差是随机变量取值与其数学期望的偏离程度的度量，这样在无偏的情况下E( )=E( )=θ，以方差小者为好，即估计量的有效性
有效性设 ＝ (X1,X2,…,Xn)与 ＝ (X1,X2,…,Xn)都是θ的无偏估计量，若对于任意θ Θ，有D( )D( )且至少对于某一个θ Θ，上式中的不等号成立，则称 较 有效。
估计量的评选标准与区间估计
式的估计称为区间估计。
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2
1 n 1
n
(Xi
i 1
X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,
பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)
(n 1)S 2
2
2 a/2
(n
北邮概率论与数理统计参数估计的评选标准 (7.3)
§7.3 估计量的评选标准由点估计提法可以看出,估计的概念相当广泛,并且用不同的估计方法往往会得出不同的估计.如果不对估计的好坏加以明确,估计是没有意义的.评价估计量的优劣并不简单，这首先需要明确衡量优良性的标准.这些标准不是唯一的，也不是绝对的.从不同角度出发可以提出不同的标准.下面我们讨论评价估计优劣的一些常用的标准. （一）均方误差同一参数的估计有多种，那么什么样的估计算是好的甚至是最好的？这就涉及优良性标准.从直观上看，估计量与被估计量越接近越好.当我们用)(ˆX θ估计θ时,评价该估计好坏的一个自然的度量是|)(ˆ|θθ-X ,但由于θ是未知的,样本又具有随机性,因而这种自然度量在实际中是不可行的,为了消除随机性的影响,可以考虑对它求平均|)(ˆ|θθ-X E ,出于数学处理上的方便,最常用的标准是由下式给出的均方误差.2))(ˆ()ˆ(θθθθ-=X E MSE 例7.3.1设n X X ,,1 为来自正态总体),(2σμN 的简单随机样本， (1) 若μ已知,考虑2σ的两个估计量:∑=---=n i i X n 1221)(11ˆμσ,∑=-=n i i X n 1220)(1ˆμσ, 求这两个估计量的均方误差,并比较它们的大小; (2)若μ未知,考虑2σ的两个估计量:∑=---=n i i X X n 1221)(11ˆσ,∑=-=n i i X X n 1220)(1ˆσ, 求这两个估计量的均方误差, 并比较它们的大小.解:(1)先求20ˆσ的均方误差,由于220)ˆ(σσ=E ,所以])([1)ˆ()ˆ(1222022∑=-==n i i X D n D M S E μσσσ, 又∑=-ni iX122)(1μσ～)(2n χ,故n XD ni i2])(1[122=-∑=μσ,即得4122])([σμn X D ni i =-∑=,从而知nMSE 4202)ˆ(2σσσ=,或])([1)ˆ()ˆ(1222022∑=-==ni i X D n D MSE μσσσ n X D nni i 41222)(1σμ=-=∑=, (这里用到了:若X ～),(2σμN ,则⎩⎨⎧-=-为奇数，为偶数，k k k X E k k0,!)!1()(σμ从而422)(σμ=-X D )再求21ˆ-σ的均方误差,}])({)1(1)ˆ(212222212∑=-+---=ni i n X E n MSE σσμσσ 424122)1(12}])([{)1(1σσμ-+=+--=∑=n n X D n ni i , 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE , 思考题：考虑∑=-+=n i i kX k n 122)(1ˆμσ（k 为整数），计算)ˆ(22k MSE σσ并找出k 为何值时均方误差最小.（2）先求21ˆ-σ的均方误差,由于221)ˆ(σσ=-E ,所以 ])([)1(1)ˆ()ˆ(12221212∑=----==ni i X X D n D MSE σσσ又∑=-ni i X X122)(1σ～)1(2-n χ,故)1(2])(1[122-=-∑=n X XD ni iσ, 即得412)1(2])([σ-=-∑=n X X D ni i ,从而知12)ˆ(4212-=-n MSE σσσ,再求20ˆσ的均方误差,}])1()({1)ˆ(21222222∑=----=ni i n X X E n MSE σσσσ 42412212}])([{1σσn n X X D n ni i -=+-=∑=, 易见对任意的02>σ,总有>-)ˆ(212σσMSE )ˆ(202σσMSE . 思考题：考虑∑=-+=n i i kX X k n 122)(1ˆσ（k 为整数），计算)ˆ(22k MSE σσ并找出k 为何值时均方误差最小.（二） 无偏性均方误差可分解成两部分:2))(ˆ()ˆ(θθθθ-=X E MSE 2ˆˆ]-)(E [)(r Va θθθ+= 若偏差0ˆ==θθθ-)(E )b(，那么均方误差就等于方差.这样的估计量叫做无偏估计量.因此有如下义.定义 设θ为待估参数,参数空间为Θ,),,,(ˆˆ21nX X X θθ=为θ的估计量,若对于任意Θ∈θ,总有θθθ=)ˆ(E ， 则称),,,(ˆˆ21n X X X θθ=为θ的无偏估计量,或者说),,,(ˆˆ21n X X X θθ=作为θ的估计量具有无偏性.又若0=∞→)b(lim n θ，称θˆ是θ的渐近无偏估计.例7.3.2 设总体X 的均值为μ，方差为2σ，n X X ,,1 是来自该总体的简单随机样本.则（i ）样本均值X 为总体均值μ的无偏估计； （ii ）样本均值2S 为总体均值2σ的无偏估计;思考题:样本标准差S 是否是总体标准差σ的无偏估计?如果不是，在正态模型下如何修改使之为无偏估计.例7.3.3 设n X X ,,1 是来自总体),(2σμN 的简单随机样本，求解下面问题(1)2σ的两个常用估计量∑=-=n i i nX X n S 122)(1,∑=--=n i i X X n S 122)(11中哪个是无偏估计?(2) 若22bS X a T +=为2μ的无偏估计,确定b a ,. 解:(1)略(2) 2222222)()1()()()(σμσσμna b a b n a S bE X aE T E ++=++=+=， 由无偏性定义知 对2,σμ∀，有 222)(μσμ=++na b a 从而得nb a 1,1-==。
估计量的评选标准
首先讨论如下简单情形：总体 X 的概率密度为
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d
E[ X
1]2
E(X )2 2
1
故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。
1 n
Var (ˆ )
1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1
2 3
x1
1 3
x2
7.3估计量的评选标准
第12页
例7 设总体期望为 E( X )= , 方差 D( X )= 2
( X 1 , X 2 ,, X n )
(1)设常数 为总体X 的一个样本。
1 ci i 1,2, , n. n
n
c
i 1
n
i
1.
证明
(2) 证明
ˆ1 ci X i 是 的无偏估计量
i 1
由前面例子 可知,
x0 X 与 n min{X 1 , X 2 , , X n }都
0 为常数
是 的无偏估计量,问哪个估计量更有效？ 2 解 D(X ) , D(n min{ X 1 , X 2 ,, X n }) 2 n
所以, X 比
n min{X1, X 2 ,, X n } 更有效。
k
特别地, 样本均值 X 是总体期望 E( X ) 的无偏估计量
1 n 2 样本二阶原点矩 A2 X i 是总体二阶 n i 1 2 原点矩 2 E ( X ) 的无偏估计量。
例2 设总体 X 的期望 E( X )与方差 D( X )存在,
第4页
n i 1n 1 2 2 S ( X X ) (2) 是 D( X ) 的无偏估计量。 i n 1 i 1 n 1 n 1 证 (X i X )2 X i2 X 2 n i 1 n i 1
第23页
n 1 1 n 2 2 2 又 B2 ( X i X ) ( X i 2 X i X X ) n i 1 n i 1
1 n 2 X i X 2 A2 X 2 , n i 1
( A2是样本二阶原点矩 )
由大数定律知,
1 n 2 A2 X i 依概率收敛于E ( X 2 ), n i 1 1 n X X i 依概率收敛于E ( X ), n i 1
7.3估计量的优良准则
好的估计量要求估计值在未知参 数真值的附近.
ˆ( X ,, X ) 是未知参数 的估计量， 若 定义 设 1 n
ˆ ) , 则称 ˆ 为 的无偏估计量. E ( ˆ ) 为用 ˆ 估计 而 产生的系统偏差. 注：称 E (
无偏性指估计量没有系统的偏差, 只存在随机偏差.
定理1 设 X 1 ,, X n 为取自总体 X 的样本， 总体 X
的均值为 , 方差为 . 则
2
（1） 样本均值 X 是 的无偏估计量； 证 （1） 因为
E( X i ) E( X ) ,
n
i 1,2,, n,
n
1 1 E( X ) E X i E( X i ) n i 1 n i 1 E( X ) ,
2 1 n 1 n D( X ) D X i D( X i ) , n n i 1 n2 i 1
D( X i ) 2 ( i 1,2,, n)
故 X 较 X i ( i 1,2,, n) 更有效.
有效性
注：在数理统计中常用到最小方关差无偏估计, 其 定义如下： 设 X 1 ,, X n 是取自总体 X 的一个样本,
2
n
(2) 因
X
i 1
n
2 i
2
Xi 而 , i 1
n
例1 设总体 X ~ N (0, ), X 1 , X 2 , X n 是来自这一 总体的样本. 2 ˆ ). (2) 求 D(
2
解 (2) 因
X
i 1
n
2 i
2 Xi ~ N (0,1) ( i 1,2,, n), 2 且它们相互独立, 故依 分布定义
概率论与数理统计：7-3估计量的评选标准
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好. 设ˆ1 ˆ1( X1 , X 2 ,, X n )与ˆ2 ˆ2 ( X1 , X 2 ,, X n ) 都是 的无偏估计量, 若对于任意 ，有
D(ˆ1 ) D(ˆ2 ), 且至少对于某一个 上式中的 不等号成立，则称ˆ1较 ˆ2有效.
第三节 估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同, 如课本 上本章的例2和例6. 而且, 很明显, 原则上任何统 计量都可以作为未知参数的估计量.
问题: 对于同一个参数究竟采用哪一个估计量好?
故有
E
(
X
k i
)
E(X
k
)
k
,
i 1,2,,n.
即
E( Ak
)
1 n
n i 1
E
(
X
k i
)
k .
故
k
阶样本矩
Ak
是
k
阶总体矩
的无偏估计
k
.
特别地:
不论总体 X 服从什么分布, 只要它的数学期 望存在, X 总是总体 X 的数学期望 1 E( X ) 的 无偏估计量. S 2是 2的无偏估计,故通常取S 2作 2 Nhomakorabea估计量.
例2 设总体 X 服从参数为的指数分布, 概率密
度
f ( x;)
1
e
x
,
0,
x 0, 其中参数 0, 又设 其它
X1, X2,, Xn 是来自总体X 的样本，试证 X 和
nZ n[min(X1, X2 ,, Xn )] 都是的无偏估计.
D(ˆ1 ) D(ˆ2 ), 且至少对于某一个 上式中的 不等号成立，则称ˆ1较 ˆ2有效.
第三节 估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同, 如课本 上本章的例2和例6. 而且, 很明显, 原则上任何统 计量都可以作为未知参数的估计量.
问题: 对于同一个参数究竟采用哪一个估计量好?
故有
E
(
X
k i
)
E(X
k
)
k
,
i 1,2,,n.
即
E( Ak
)
1 n
n i 1
E
(
X
k i
)
k .
故
k
阶样本矩
Ak
是
k
阶总体矩
的无偏估计
k
.
特别地:
不论总体 X 服从什么分布, 只要它的数学期 望存在, X 总是总体 X 的数学期望 1 E( X ) 的 无偏估计量. S 2是 2的无偏估计,故通常取S 2作 2 Nhomakorabea估计量.
例2 设总体 X 服从参数为的指数分布, 概率密
度
f ( x;)
1
e
x
,
0,
x 0, 其中参数 0, 又设 其它
X1, X2,, Xn 是来自总体X 的样本，试证 X 和
nZ n[min(X1, X2 ,, Xn )] 都是的无偏估计.
估计量的评价标准
计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
浙大概率论与数理统计课件 概率7-3估计量的评选标准
k
n
P
k
i 1
g ( A1 , A2 ,, Ak )
g( μ1 , μ2 ,, μk )
P
其中 g 为连续函数 .
数理统计
故
Ak 1 n
k 为 E ( X ) μk ( k 1, 2,) 的相合 Xi
k i 1 n
估计量 . 若 g为连续函数,
则有
.
g ( A1 , A2 ,, Ak ) 为 g ( μ1 , μ2 ,, μk ) 的相合估计量
ˆ D( ˆ1) ≤D( 2)
且至少对于某个 θ 上式中的不等号成立，
ˆ 则称 ˆ1 较 2 有效 .
数理统计
例2 (续例1) 试证 当 n > 1 时 θ 的无偏估计量
X
较 Z m in ( X 1 , , X n ) 有效 . 证
D X θ ,
2
故有 而
D X D(
数理统计
证
E X θ,
E X θ
所以 X 是参数 θ 的无偏估计量 . 而
Z m in ( X 1 , , X n )
具有概率密度
n nx θ , x 0, e f min x; θ θ 0, 其它,
故知 E Z θ ,
数理统计
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
ˆ E ( )
n
P
k
i 1
g ( A1 , A2 ,, Ak )
g( μ1 , μ2 ,, μk )
P
其中 g 为连续函数 .
数理统计
故
Ak 1 n
k 为 E ( X ) μk ( k 1, 2,) 的相合 Xi
k i 1 n
估计量 . 若 g为连续函数,
则有
.
g ( A1 , A2 ,, Ak ) 为 g ( μ1 , μ2 ,, μk ) 的相合估计量
ˆ D( ˆ1) ≤D( 2)
且至少对于某个 θ 上式中的不等号成立，
ˆ 则称 ˆ1 较 2 有效 .
数理统计
例2 (续例1) 试证 当 n > 1 时 θ 的无偏估计量
X
较 Z m in ( X 1 , , X n ) 有效 . 证
D X θ ,
2
故有 而
D X D(
数理统计
证
E X θ,
E X θ
所以 X 是参数 θ 的无偏估计量 . 而
Z m in ( X 1 , , X n )
具有概率密度
n nx θ , x 0, e f min x; θ θ 0, 其它,
故知 E Z θ ,
数理统计
估计量的评选标准 在介绍估计量的评选标准之前，我们必须强 调指出： 评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 . 这是因为估计量是样本的函数, 是随机变量 . 因 此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性.
ˆ E ( )
概率论与数理统计：估计量的评选标准
教学内容一、提出问题，引出新课：在点估计法中有一种是矩估计法，一种是极大似然估计法。
我们发现针对同一个问题，用不同的方法得出来的估计量有可能不同。
那么哪一个会更好一些呢？下面给出点估计量的评价准则。
评价准则有三个，分别是:无偏性、有效性、相合性。
二、讲授新课：1、无偏性：一个估计量θˆ，当我们代入不同的样本观测值时，因为样本的随机性，其估计值也是随机的。
可能他们有的在这里在这里在这里，他们的值不一定会等于θ的真值。
但这些样本观测值形成了一个分布，因此，这时可以计算θˆ的数学期望，如果它的期望正好等于θ的真值，我们认为这个估计量具有无偏性。
因此，无偏估计的定义就是：（1）、定义：如果满足θθ=)ˆ(E ，就称θˆ是θ的无偏估计量。
无偏性等价于：0)ˆ(=-θθE （在科学技术中θθ-)ˆ(E 称为θ估计的系统误差，无偏估计的实际意义就是无系统误差。
）例1：证明样本均值X 为总体期望)(X E =μ的无偏估计。
例 3 设总体X 服从),(2σμN ，)2(,,,21>n X X X n 为总体X 的一个样本，试证明：11),(21,X X X X n +均为μ的无偏估计量。
下面分别求这些量的数学期望。
证：∑∑====⎪⎭⎫ ⎝⎛=ni i n i i X E n X n E X E 11)(11)(μ 由μ=)(,,,21i n X E X X X 是独立同分布， 得到μ=)(X E()μμμ=+=+=⎥⎦⎤⎢⎣⎡+)(2121)(2111n n EX EX X X E 对2分之1X 1+X n 计算数学期望，把E 拿进去，由独立同分布同样等到其值为μμ=)(1X E对X 1取数学期望，其值为μ。
所以，这三个式子11),(21,X X X X n +均为μ的无偏估计量。
通过例3，我们发现一个统计量可能有多个无偏估计量，这些无偏估计量哪个会更好一些呢？下面我们引入有效性。
2、有效性若未知参数θ有两个无偏估计量1ˆθ和2ˆθ，如果在样本容量相同的情况下，1ˆθ和2ˆθ的估计值通过图形可以，发现1ˆθ的估计值较2ˆθ的估计值更密集的在真值θ的附近，说明1ˆθ估计值的方差比2ˆθ的方差小。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
故通常取S 2作 2的估计量.
例2 设总体 X 服从参数为的指数分布, 概率密
度
f ( x;)
1
e
x
,
0,
x 0, 其中参数 0, 又设 其它
X1, X2,, Xn 是来自总体X 的样本，试证 X 和
nZ n[min(X1, X2 ,, Xn )] 都是的无偏估计.
证 因为 E( X ) E( X ) ,
无偏估计的实际意义: 无系统误差.
例1 设总体 X 的k 阶矩k E( X k ) (k 1)存在, 又设 X1, X2 ,, Xn 是 X 的一个样本，试证明不论
总体服从什么分布, k 阶样本矩
Ak
1 n
n i 1
X
k i
是
k 阶总体矩k的无偏估计.
证 因为 X1, X2 ,, Xn 与 X 同分布，
评价估计量的标准是什么?
下面介绍几个常用标准.
二、无偏性
若 X1, X2 ,, Xn 为总体 X 的一个样本， 是包含在总体 X 的分布中的待估参数, (是的取值范围)
若估计量ˆ ( X1, X2 ,, Xn )的数学期望 E(ˆ )存在, 且对于任意 有 E(ˆ ) , 则称ˆ 是的无偏估计量.
所以 X 是 的无偏估计量.
而
Z
min(
X1,
X2 ,,
Xn)
服从参数为 的指数分布, n
概率密度
fmin ( x;)
n
e
nx
,
x0
0,
其它
故知 E(Z ) , E(nZ ) , n
所以 nZ 也是 的无偏估计性
比较参数的两个无偏估计量ˆ 1和ˆ 2, 如果 在样本容量n相同的情况下, ˆ 1的观察值较ˆ 2更 密集在真值的附近, 则认为ˆ 1较 ˆ 2 理想.
例如 由第六章第二节知, 样本k(k 1)阶矩是 总体 X 的k 阶矩 k E( X k )的相合估计量, 进而若待估参数 g(1,2 ,,n ), 其中g为连续 函数, 则的矩估计量ˆ g(ˆ 1,ˆ 2 ,,ˆ n ) g( A1, A2 , , An )是的相合估计量.
由极大似然估计法得到的估计量, 在一定条 件下也具有相合性. 估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中 往往难以做到,因此,在工程中往往使用无偏性和 有效性这两个标准.
第三节 估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同, 如课本 上本章的例2和例6. 而且, 很明显, 原则上任何统 计量都可以作为未知参数的估计量.
问题: 对于同一个参数究竟采用哪一个估计量好?
故有
E
(
X
k i
)
E(X
k
)
k
,
i 1,2,,n.
即
E( Ak
)
1 n
n i 1
E
(
X
k i
)
k .
故
k
阶样本矩
Ak
是
k
阶总体矩
的无偏估计
k
.
特别地:
不论总体 X 服从什么分布, 只要它的数学期 望存在, X 总是总体 X 的数学期望 1 E( X ) 的 无偏估计量. S 2是 2的无偏估计,
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好. 设ˆ1 ˆ1( X1 , X 2 ,, X n )与ˆ2 ˆ2 ( X1 , X 2 ,, X n ) 都是 的无偏估计量, 若对于任意 ，有
D(ˆ1 ) D(ˆ2 ), 且至少对于某一个 上式中的 不等号成立，则称ˆ1较 ˆ2有效.
例3 (续例2) 试证当n 1时, 的无偏估计量 X较 nZ 有效.
证明
由于 D( X ) 2, 故有 D( X ) 2 , n
又因为
D(Z )
2 n2
,
故有 D(nZ ) 2,
当n 1时, D(nZ ) D( X ),
故 的无偏估计量 X较 nZ 有效.
四、相合性
若ˆ ˆ ( X1, X2 ,, Xn )为参数的估计量, 若对于任意 ,当n 时,ˆ ( X1, X2 ,, Xn ) 依概率收敛于, 则称 ˆ 为 的相合估计量.
例2 设总体 X 服从参数为的指数分布, 概率密
度
f ( x;)
1
e
x
,
0,
x 0, 其中参数 0, 又设 其它
X1, X2,, Xn 是来自总体X 的样本，试证 X 和
nZ n[min(X1, X2 ,, Xn )] 都是的无偏估计.
证 因为 E( X ) E( X ) ,
无偏估计的实际意义: 无系统误差.
例1 设总体 X 的k 阶矩k E( X k ) (k 1)存在, 又设 X1, X2 ,, Xn 是 X 的一个样本，试证明不论
总体服从什么分布, k 阶样本矩
Ak
1 n
n i 1
X
k i
是
k 阶总体矩k的无偏估计.
证 因为 X1, X2 ,, Xn 与 X 同分布，
评价估计量的标准是什么?
下面介绍几个常用标准.
二、无偏性
若 X1, X2 ,, Xn 为总体 X 的一个样本， 是包含在总体 X 的分布中的待估参数, (是的取值范围)
若估计量ˆ ( X1, X2 ,, Xn )的数学期望 E(ˆ )存在, 且对于任意 有 E(ˆ ) , 则称ˆ 是的无偏估计量.
所以 X 是 的无偏估计量.
而
Z
min(
X1,
X2 ,,
Xn)
服从参数为 的指数分布, n
概率密度
fmin ( x;)
n
e
nx
,
x0
0,
其它
故知 E(Z ) , E(nZ ) , n
所以 nZ 也是 的无偏估计性
比较参数的两个无偏估计量ˆ 1和ˆ 2, 如果 在样本容量n相同的情况下, ˆ 1的观察值较ˆ 2更 密集在真值的附近, 则认为ˆ 1较 ˆ 2 理想.
例如 由第六章第二节知, 样本k(k 1)阶矩是 总体 X 的k 阶矩 k E( X k )的相合估计量, 进而若待估参数 g(1,2 ,,n ), 其中g为连续 函数, 则的矩估计量ˆ g(ˆ 1,ˆ 2 ,,ˆ n ) g( A1, A2 , , An )是的相合估计量.
由极大似然估计法得到的估计量, 在一定条 件下也具有相合性. 估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中 往往难以做到,因此,在工程中往往使用无偏性和 有效性这两个标准.
第三节 估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同, 如课本 上本章的例2和例6. 而且, 很明显, 原则上任何统 计量都可以作为未知参数的估计量.
问题: 对于同一个参数究竟采用哪一个估计量好?
故有
E
(
X
k i
)
E(X
k
)
k
,
i 1,2,,n.
即
E( Ak
)
1 n
n i 1
E
(
X
k i
)
k .
故
k
阶样本矩
Ak
是
k
阶总体矩
的无偏估计
k
.
特别地:
不论总体 X 服从什么分布, 只要它的数学期 望存在, X 总是总体 X 的数学期望 1 E( X ) 的 无偏估计量. S 2是 2的无偏估计,
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好. 设ˆ1 ˆ1( X1 , X 2 ,, X n )与ˆ2 ˆ2 ( X1 , X 2 ,, X n ) 都是 的无偏估计量, 若对于任意 ，有
D(ˆ1 ) D(ˆ2 ), 且至少对于某一个 上式中的 不等号成立，则称ˆ1较 ˆ2有效.
例3 (续例2) 试证当n 1时, 的无偏估计量 X较 nZ 有效.
证明
由于 D( X ) 2, 故有 D( X ) 2 , n
又因为
D(Z )
2 n2
,
故有 D(nZ ) 2,
当n 1时, D(nZ ) D( X ),
故 的无偏估计量 X较 nZ 有效.
四、相合性
若ˆ ˆ ( X1, X2 ,, Xn )为参数的估计量, 若对于任意 ,当n 时,ˆ ( X1, X2 ,, Xn ) 依概率收敛于, 则称 ˆ 为 的相合估计量.