当前位置：文档之家 › 估计量的评价标准

估计量的评价标准

  • 格式：ppt
  • 大小：572.50 KB
  • 文档页数：23

下载文档原格式

  / 23

合集下载

估计量的评选标准与区间估计

估计量的评选标准与区间估计
式的估计称为区间估计。
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2

1 n 1
n
(Xi
i 1

X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,




பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)

(n 1)S 2
2


2 a/2
(n

估计量的评价标准

估计量的评价标准

ˆ 2 X 和 n 1 X 哪一个更有效？ ˆ ( 2) 问：1 2 ( n) n ˆ 解 由于 D(1 ) 4 D( X )
4 2 D( X ) , n 3n
ˆ ) D( n 1 X ) ( n 1)2 D( X ), D( 2 ( n) ( n) n n
三、有效性
ˆ ˆ 比较参数 的两个无偏估计量1和 2 , 如果 ˆ ˆ 在样本容量 n相同的情况下, 1 的观察值较 2更 ˆ ˆ 密集在真值 的附近, 则认为1 较 2 理想.
换句话说，对参数 的无偏估计量 ˆ 关于 的波动越小，即方差 ˆ ˆ ˆ D( ) E[ E ( )]2
ˆ 可算得： 1 2 x 555550 ˆ 6 x 1200000 2 5 ( n) ˆ ˆ 用来估计N , 2 来估计N比 1 更合理.
ห้องสมุดไป่ตู้
四、 最小方差无偏估计量
定义
ˆ 设 0 是 的 一 个 无 偏 估 计 量 对 于 ,若 的 任 一 方 差 存 在 的 无 估 计 量 ˆ , 都 有 偏 ˆ ˆ D( 0 ) D( ) ˆ 则 称 0 是 的 最 小 方 差 无 偏 估 计 ), 缩 写 为 (量 MVUE.
ˆ E ( )2
ˆ ( E ( ) )
越小越好.
定义6.3 设 ˆ1 ˆ1 ( X 1 , X 2 ,, X n )，ˆ2 ˆ2 ( X 1 , X 2 ,, X n )
均是 的无偏估计量，若
ˆ ˆ 则称 1比 2有效.
ˆ ˆ D(1 ) D( 2 ),
FX
( n)
( x)
P{ X ( n ) x }
F n( x)
X ( n) max( X1 , X 2 ,, X n )的概率密度为 nx n 1 n , 0 x n 1 pX ( x ) FX ( x ) nF ( x ) p( x ) ( n) ( n) 0, 其它

第十八讲 估计量的评选标准及区间估计

第十八讲 估计量的评选标准及区间估计

第十八讲 估计量的评选标准及区间估计1. 估计量的评价标准判断估计量好坏的标准是：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和相合性。

（1）无偏性设∧θ是未知参数θ的估计量，则∧θ是一个随机变量，对于不同的样本值就会得到不同的估计值，我们总希望估计值在θ的真实值左右徘徊，即其数学期望恰等于θ的真实值。

定义: 设∧∧=θθ（n X X X ,,,21 ）是未知参数θ的估计量，若)(∧θE 存在，且对Θ∈∀θ有)(∧θE =θ，则称∧θ是θ的无偏估计量，称∧θ具有无偏性。

在科学技术中，)(∧θE -θ称为以∧θ作为θ的估计的系统误差，无偏估计的实际意义就是无系统误差。

例１：设总体X 的k 阶中心矩)(kk X E =μ)1(≥k 存在，),,,(21n X X X 是X 的一个样本，证明：不论X 服从什么分布，∑==n i ki k X n A 11是k μ的无偏估计量。

证明：n X X X ,,21与X 同分布，n i X E X E k k ki ,,2,1)()( ===∴μ第七章 参数估计第3节 估计量的评选标准从上一节得到：对于同一参数，用不同的估计方法求出的估计量可能不相同，用相同的方法也可能得到不同的估计量，也就是说，同一参数可能具有多种估计量，而且，原则上讲，其中任何统计量都可以作为未知参数的估计量，那么采用哪一个估计量为好呢？这就涉及到估计量的评价问题。

对定义的理解：设Θ∈θ是总体X 的分布参数，Θ∈∀θ，即服从某一分布形式的任意总体分布，参数θ的估计量∧∧=θθ（,,21X X n X , ）（是简单随机样本的函数）的数学期望都等于θ。

k n i ki k X E n A E μ==∴∑=1)(1)(特别，不论X 服从什么分布，只要)(X E 存在，X 总是)(X E 的无偏估计。

例２：设总体X 的2)(,)(σμ==X D X E 都存在，且02>σ，若2,σμ均为未知，则2σ的估计量∑=-=ni i X X n 122)(1ˆσ是有偏的。

估计量的评选标准

估计量的评选标准
首先讨论如下简单情形：总体 X 的概率密度为
p(x,θ )，g(θ )为待估参数，设 gˆ(X1)为 g(θ) 的
任意无偏估计，考虑
Var(gˆ(X1)) 的下界？
注：积分形式的 Cauchy 不等式：
uvdx 2 u2dx v2dx
1、 Fisher信息量的定义.
设总体 X 的概率函数为 p (x; ), ,且满足一定条件:
ln p(x;) x ln ln x! x!
I ()
E[ d ln
p( X ; )]2 d

E[ X

1]2

E(X )2 2

1

故 1 , nI () n
显然,Var(x) 1 ,
nI ()
所以, x是的有效估计.
例1 设 X1, X2,… Xn 是取自总体 X ~ N( 0,σ2) 的一个 样本，试证：
两者不同!
对于同一个未知参数,用不同的方法得到 的估计量可能不同,于是提出问题：
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
ˆ( X1,..., Xn ) 越接近 越好！
如何刻画？
例：估计农大12级本科生高数的平均成绩：
方案一：设计一个抽样方案，取200个同学 的高数成绩，计算出他们的平均成绩，作为 真实成绩的估计； 方案二：随便取一个同学的成绩作为真实成 绩的估计。

1 n
Var (ˆ )

1
n
2
Var(ˆ1)
例如 X ~ N( , 2 ) , ( x 1, x 2 ) 是一个样本.
ˆ1

2 3
x1

1 3
x2

7.2(估计量的评价标准)

7.2(估计量的评价标准)
(n − 1) S 2
σ
2
~ χ 2 (n − 1)
可得
E (S ) = σ ,
2 2
2σ 4 2 D( S ) = n −1
由切比雪夫不等式， 由切比雪夫不等式，当 n → ∞，对任意 ε > 0,
P{| S 2 − σ 2 |< ε } ≥ 1 − D( S 2 )
ε2
2σ 4 = 1− →1 2 (n − 1)ε
n−1 n−1 2 E ( B2 ) = E(S ) = D( X ) ≠ D( X ). n n
7.2
估计量的评价标准
所以，B2不是总体方差D(X)的无偏估计，尽管B2是 所以， 不是总体方差 的无偏估计，尽管 的无偏估计 D(X)的矩估计量． 的矩估计量． 的矩估计量
1 n n 2 看作对B 我们可以把 S = ∑ ( X i − X ) = n − 1 B2 看作对 2的 n − 1 i =1
P{ X = k } =
λk
k!
e −λ , k = 0,1, 2, L
分别是E(X) =λ和D(X)=λ 的矩估计量， 的矩估计量， 由于 X 和B2分别是 ˆ ˆ 于是得到λ 的两个不同的矩估计量 λ1 = X 和 λ2 = B2
7.2
估计量的评价标准
既然估计量不是唯一的， 那么， 究竟孰优孰劣就 既然估计量不是唯一的 ， 那么 ， 要有一个评价标准． 要有一个评价标准 ． 评价估计量的好坏一般从以下 三个方面考虑： 有无系统偏差； 波动性的大小； 三个方面考虑 ： 有无系统偏差 ； 波动性的大小 ； 当 样本容量增大时是否越来越精确． 样本容量增大时是否越来越精确 ． 这些就是估计量 的无偏性，有效性和相合性． 的无偏性，有效性和相合性．

7.3 估计量的评选标准

7.3 估计量的评选标准
第三节
估计量的评选标准
一、问题的提出 二、无偏性 三、有效性 四、相合性参数, 对于同一个参数 用不同的估计方法求出的 估计量可能不相同. 估计量可能不相同 问题 (1)对于同一个参数究竟采用哪一个估计量好? (1)对于同一个参数究竟采用哪一个估计量好? 对于同一个参数究竟采用哪一个估计量好 (2)评价估计量的标准是什么? (2)评价估计量的标准是什么? 评价估计量的标准是什么 本节介绍几个常用标准. 本节介绍几个常用标准.
ˆ θ 是 θ 的无偏估计量 .
无偏估计的实际意义: 无系统误差. 无偏估计的实际意义: 无系统误差.
例1 设总体 X 的 k 阶矩 µ k = E ( X k ) ( k ≥ 1)存在 ,
试证明不论 的一个样本， 又设 X 1 , X 2 ,L, X n 是 X 的一个样本，
1 n k 总体服从什么分布 , k 阶样本矩 Ak = ∑ X i 是 n i =1
才能显示出优越性, 这在实际中往往难以做到, 才能显示出优越性, 这在实际中往往难以做到, 因此, 因此, 在工程中往往使用无偏性和有效性这 两个标准. 两个标准.
k 阶总体矩 µ k 的无偏估计 .
证 因为 X 1 , X 2 ,L, X n 与 X 同分布， 同分布， 故有 即
E ( X ik ) = E ( X k ) = µ k ,
i = 1,2,L, n.
1 n k E ( Ak ) = ∑ E ( X i ) = µ k . n i =1
故 k 阶样本矩 Ak 是 k 阶总体矩 µ k 的无偏估计 .
都是 θ 的无偏估计量 ,
ˆ ˆ ˆ ˆ 若有 D(θ1 ) ≤ D(θ 2 ) , 则称 θ1 较 θ 2 有效 .
四、相合性

常用估计量的评价标准

常用估计量的评价标准
常用估计量的评价标准有：
1. 偏差（Bias）：估计量的期望值与真实值之间的差距。

偏差越小越好。

2. 方差（Variance）：估计量的离散度，即估计量与其期望值之间的差异。

方差越小越好。

3. 平均绝对误差（MAE）：估计量的绝对误差的平均值。

MAE越小越好。

4. 均方误差（MSE）：估计量的误差的平方的平均值。

MSE越小越好。

5. 均方根误差（RMSE）：MSE的平方根。

RMSE越小越好。

6. 相对误差（Relative Error）：估计量的误差与真实值之间的比率。

相对误差越小越好。

7. 系数相关度（Correlation Coefficient）：估计量与真实值之间的相关程度。

系数相关度越大越好。

8. 准确率（Accuracy）：估计量正确的比率。

准确率越高越好。

9. 召回率（Recall）：真实值中被正确估计量估计到的比率。

召回率越高越好。

10. F1得分（F1 Score）：综合考虑准确率和召回率的得分。

F1得分越高越好。

评价估计量的标准

评价估计量的标准
1.准确性：估计量应该尽可能接近真实值。

2.精确度：估计量应该具有足够的精度，以支持正确的决策。

3.一致性：估计量应该在相同的背景下多次测量所得到的结果是一致的。

4.可靠性：估计量应该具有足够的可靠性，以在不确定的环境中使用。

5.效度：估计量应该具有足够的效度，以反映所评估的属性或变量。

6.适用性：估计量应该适用于特定的变量或场景，并且在不同场景下使用时应该具有相似的表现。

7.可解释性：估计量应该能够被易于理解的方式解释并解释。

8.稳定性：估计量应该对于不同的操作者、时间和环境条件变化不敏感。

9.可比性：估计量应该具有足够的可比性，以支持不同实验结果的比较。

概率论与数理统计6-2估计量的评价标准

3n(n 1)
所以 ˆ n 是 的相合估计
六、小结
估计量的评选的四个标准，
但要求一下三个标准
无偏性 有效性 相合性
相合性是对估计量的一个基本要求, 不具备
相合性的估计量是不予以考虑的.
由最大似然估计法得到的估计量, 在一定条 件下也具有相合性.估计量的相合性只有当样本 容量相当大时,才能显示出优越性, 这在实际中往 往难以做到,因此,在工程中往往使用无偏性和有 效性这两个标准.
第六章
第二节 估计量的评价标准
一、问题的提出 二、无偏性 三、有效性 四、相合性
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不同.然而, 原 则上任何统计量都可以作为未知参数的估计量.
问题 (1) 对于同一个参数究竟采用哪一个估计量好? (2) 评价估计量优劣的标准是什么?
估计往往是相合估计.
例6.20 设总体 X 的二阶矩存在, X1, X 2 , X n
是总体 X 的样本, n 1,2, ,试证
ˆ n
2 n(n 1)
n
iX i
i 1
是总体均值 的相合估计.
证明： E(ˆn )
E( 2 n(n 1)
n i1
iXi )
2 n(n 1)
n i1
iE(Xi )
例 6.19 若总体 X 的 E( X )和 D(X )存在,则样 本均值是总体均值 X 的相合估计.
解： E( X ) E( X )
lim D( X ) lim D( X ) 0
n
n n
一般地,样本的 k 阶原点矩
Ak
1 n
n i 1
X
k i
是总体

估计量的评价标准


计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

0
nxn
n dx
n ,
n1
故有
E
n
n
1
(
n
)
,
故
n
n
1
max(1,
2
,L
,n ) 也是 的无偏估计量.
例4 设总体 服从参数为 1/的指数分布 , 概率密
度
p( x;)
1
x
e
,
0,
x 0 , 其中参数 0, 又设 其它
1,2 ,...n是来自总体的样本，试证明
与n[min(1,2,...n )都是的无偏估计。
E( 2
2
)
n
E( 2) E( 2)
n 1 2 2 , 所以ˆ 2 是有偏的.
n
若以 n 乘 ˆ 2 , 所得到的估计量就是无偏的.
n1
(这种方法称为无偏化).
E
n
n
ˆ
1
2
n
n
1
E
(ˆ
2
)
2
.
因为
n ˆ 2
n 1
Sn*2
1 n 1
n i 1
(i
2 ),
即 Sn*2是 2 的无偏估计, 故通常取Sn*2作 2的估计量.
证明 E E ,
所以 是 的无偏估计量.
而概率(1) 密m度in(p1m,in2(,Lx;,n))服从n参e数nx为, n
的指数分布,
x0
0,
其它
故知
E((1)
)
n
,
E(n(1) ) ,
所以 n(1) 也是 的无偏估计量.
由以上两例可知,同一个参数可以有不同的无 偏估计量.
无偏性虽然是评价估计量的一个重 要标准,而且在许多场合是合理的, 必要 的。然而有时一个参数的无偏估计可能 不存在，或不合理的。
1
2
D
ˆn
E ˆn
2
令 n 且由定理的假设，得
lim
P
n
0
n
即ˆn 是 的一致估计
例6 若总体 的 E 和D 存在,则样本均值
是总体均值的相合估计.
解：
E E
lim D lim D 0
n
n n
一般地,样本的k
阶原点矩
k
1 n
n
ik
i 1
是总体
的k 阶原点矩 E k的一致估计.由此可见,矩
例2 对于均值 , 方差 2 0 都存在的总体, 若,
2
均为未知, 则 2
的估计量
sˆ n 2
ˆ 2
1 n
n
(i
i1
)2
是 有偏的(即不是无偏估计).
, 证明 ˆ 2
1 n
n i 1
i2
2
2
2
因为 E E 2 2 2,
又
2
E
D
(E )2
2
2,
所以
E(ˆ 2 )
如果有的一列估计 ,满足关系式
则称 是 的渐近无偏估计（量）。
一个估计量如果不是无偏估计量，就称
这个估计量是有偏的，且称
为估
计量 的偏差。
例1 设总体 的k 阶矩k E k (k 1)存在,
又设1,2,L ,n 是 的一个样本，试证明不论
总体服从什么分布,
k 阶样本矩 k
1 n
n
ik
i 1
MVUE.
说明 最小方差无偏估计是一种最优估计.
四、一致估计
有时候我们不仅要求估计量有较小的方差，还 希望当样本容量n充分大时，估计量能在某种 意义下收敛于被估计参数，这就是所谓相合性 （或一致性）概念。
定义6.5 设 ˆn ˆn 1,2,...,n 是未知参数
估计序列，如果ˆn 依概率收敛于 ，即对任意
0 ，有
lim
n
P{| ˆn
|
}
0
或
lim
n
P{| ˆn
|
}
1
则ˆn称是 的一致估计量（相合估计）。
定理6.2 设 ˆn是 的一个估计量，若
lim
n
E
ˆn
且
lim
n
D
ˆn
0
则 ˆn是 的一致估计（相合估计）。
证明：由于
0 P
ˆn
1
2
E ˆn
2
1
2
E[ˆn
E(ˆn )
E(ˆn ) ]2
一、问题的提出
从前一节可以看到, 对于同一个参数, 用不 同的估计方法求出的估计量可能不相同,那么那 一个估计量好？好坏的标准是什么?
下面介绍几个常用标准.
二、无偏估计
若1,2,L ,n 为总体 的一个样本， 是包含在总体 的分布中的待估参数.
(1)无偏性是对估计量的一个基本而重要的要求 . (2)无偏估计的实际意义: 无系统误差.
三、最小方差无偏估计
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好.
例5 (续例4)
试证当n 1时, 的无偏估计量 较n(1) 有效.
证明 由于 D 2, 故有 D 2 ,
n
又因为
D((1)
)2ຫໍສະໝຸດ n2,故有 D(n(1) ) 2,
当n 1时, D(n(1) ) D(),
)
n 1,
n
E((n
2 )
)
0
n
n
xn
1dx
n 2,
n2
D((n) ) E((n)2) [E((n) )]2
(n
n 1)2 ( n
2)
2
,
故
D(ˆ2 )
1 2,
n(n 2)
又n 2, 所以 D(ˆ2 ) D(ˆ1), ˆ2较ˆ1 有效.
定义6.4 如果存在的一个无偏估计量ˆ0 ,使得对于 的任意无偏估计量ˆ , 都有 D(ˆ0 ) D(ˆ) 则称ˆ0是的最小方差无偏估计(量),缩写为
故 的无偏估计量较n(1)有效.
练习 (续例3) 在例3中已证明ˆ1 2
和ˆ2
n
n
1
max{1
,
2
,L
, n }都是
的无偏估
计量, 现证当n 2时, ˆ2较ˆ1 有效.
证明
由于
Dˆ1 4D
4 D 2 ,
n 3n
D(ˆ2
)
D
n
n
1(n)
n
n
1
2
D
(n)
,
又因为
E((n)
1.例:设总体 ~ N ,1,则 就没有无偏
估计。
2.如例4 有时对同一个参数可有多个无偏估计.
这些说明仅有无偏性要求是不够的。于 是，人们又在无偏性的基础上增加了对方差的 要求。若估计量的方差越小。表明该估计量的 取值（即估计值）围绕着待估参数的波动就越 小，也就是更为理想的估计量。为此，引入最 小方差无偏计。
是
k 阶总体矩k的无偏估计.
证明 因为1,2,L ,n 与 同分布，
故有 E( k ) E( k ) k ,
. 即
E( k )
1 n
n i 1
E(ik )
k
i 1,2, ,n.
故 k 阶样本矩 k 是k 阶总体矩 k 的无偏估计.
特别地:
不论总体服从什么分布，只要其数学期望存在， 则总是总体 的数学期望 1 E 的无偏 估计量.
例3 设总体 在 [0, ]上服从均匀分布,参数 0,
1,2,L ,n 是来自总体 的样本，试证明2 和
n
n
1
max(1,
2
证明 因为
,L ,n )
E(2
都是 的无偏估计.
) 2E 2
,
2
所以 2 是 的无偏估计量.
因为 (n) max(1,2 ,L ,n )的概率密度为
所以
E((n) )