当前位置：文档之家 › 第二章 参数估计.pdf

第二章 参数估计.pdf

  • 格式：pdf
  • 大小：464.19 KB
  • 文档页数：14

下载文档原格式

  / 14

合集下载

数理统计： 参数估计方法

数理统计： 参数估计方法
23
引例
设总体 X 服从参数为 的指数分布， 未知，
X1 , X 2 , , X n 是来自X的样本, x1 , x2 , , xn 是
相应的样本值，求 的矩估计量和矩估计值.
解 因为 E( X ) 所以 用样本矩替换总体矩, 得 的矩估计量
ˆ

1 n
n i 1
Xi

X
(
x)

1

e

x

,
x0
0,
其他.
但参数 未知。已知参数的取值范围,记为 。
给出样本的一组观察值，如何推断总体的分布?
【思路】给出 的估计，则得到对总体分布的推断。
【方法】根据一定的原则，从 中找到一个值(点) 作为的 估计。
点估计
2
点估计定义
设总体 X 的分布函数 F ( x; ) 的形式为已知,
的估计量.
4
二、估计量的评选标准 1. 无偏性
定义 若 X1, X 2 ,, X n 为总体 X 的一个样本，
是包含在总体 X 的分布中的待估参数, 若估计量ˆ ˆ( X1 , X 2 ,, X n )的数学期望 E(ˆ) 存在, 且对于任意 有
E(ˆ) 则称ˆ 是 的无偏估计量,否则称为有偏的.
(2) lim S 2 2 a.s. (强大数定律) n
即样本方差是总体方差2的强相合估计， 也是相合估计.
12
C. 样本标准差
其观察值:
S
S2
1 n1
n i 1
Xi

X
2
;
s
1 n1
n i 1
( xi

第二章多元正态分布的参数估计

第二章多元正态分布的参数估计

就是剔除了 X2 Xk1, , X p 得(线性)影响之后,Xi和
Xj之间得协方差。
给定X2时Xi 和Xj得偏相关系数(partial correlation
coefficient)定义为: ij k1, , p
ij k1, , p
,
ii k1, , p jj k1, , p
其中 Σ11 2 ij k1, , p 。
μ12
μ1
Σ12
Σ
1 22
x2 μ2
Σ112
Σ11
Σ12
Σ
1 22
Σ
21
μ1·2和Σ11·2分别就是条件数学期望和条件协方差矩
阵,Σ11·2通常称为偏协方差矩阵。
这一性质表明,对于多元正态变量,其子向量得条件分布仍
就是(多元)正态得。
例5 设X~N3(μ, Σ),其中
1
16 4 2
μ
0 2
μ(1) μ(2)
11 Σ 21
31
12 22 32
13 23 33
Σ11
Σ
21
Σ12
22
则
X (1)
X1
X
2
~
N2 ( μ(1) ,
Σ11)
其中
μ (1)
1
2
Σ11
11 21
12
22
在此我们应该注意到，如果 X ( X1, X 2 , , X p ) 服从 p
aX
(0,1,
0)
X
2
X2
~
N (aμ, aΣa)
X3
1
aμ
(0,1,
0)
2
2
3
11 12 aΣa (0,1, 0) 21 22

第二章 多元正态分布及参数的估计

第二章 多元正态分布及参数的估计

27
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
y BxB


0 0 1
1 0 0
100 110
1 2 0
003 100
0 0 1
1 0 0



1 0 1
2 0 1
003 100
2
北大数学学院
第二章 多元正态分布及参数的估计
目录
§2.1 随机向量 §2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
3
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
例2.1.1
f (x1, x2
()X1,X212)的e联 12合( x12密 x22度) [1函数x为1 x2e

1 2
(
x12

x22
)
]
我们从后面将给出的正态随机向量的联合密
度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出:
本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习.
三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则
E(AX)=A·E(X) E(AXB)=A·E(X)·B
6

第二章参数估计

第二章参数估计

第二章 参数估计【学习目标】1、掌握矩估计的替代原则；会求已知分布中未知参数的矩估计（值）2、熟练掌握极大似然估计的思想及求法3、估计量的评价标准：无偏性、有效性、相合性的定义4、统计量的无偏性的判断；两个无偏估计的有效性判断；会用Fisher 信息量及c-R 下界进行统计量的UMVUE 充分性判断5、掌握区间估计的定义6、单个正态总体均值的区间估计（包括方差已知、方差未知）；单个正态总体方差的区间估计（包括均值已知、均值未知）7、两个正态总体均值差的区间估计（方差未知）；两个正态总体方差比的区间估计 8、单侧置信区间的求法 【典型例题讲解】例1、设1,,n X X 是来自均匀分布(,1)U θθ+的总体的容量为n 的样本，其中θ-∞<<+∞为未知参数，试证：θ的极大似然估计量不止一个，例如1(1)ˆXθ=，2()ˆ1n X θ=-，3(1)()11ˆ()22n XXθ=+-都是θ的极大似然估计。

解：(,1)U θθ+分布的密度函数为11()0x f x θθ≤≤+⎧=⎨⎩其他似然函数(1)()11()0n x x L θθθ≤≤≤+⎧=⎨⎩其他由于在(1)()1n x x θθ≤≤≤+上()L θ为常数，所以凡是满足：(1)()ˆˆ1n x x θθ≤≤≤+的ˆθ均为θ的极大似然估计。

从而（1）1(1)ˆX θ=满足此条件，故1(1)ˆX θ=是θ的极大似然估计；（2）由于()(1)1n X X -≤，故2()(1)()2ˆˆ11n n X X X θθ=-≤≤=+，所以2()ˆ1n Xθ=-为θ的极大似然估计；（3）由于()(1)1n X X -≤，故(1)()(1)12n X X X +-≤，(1)()()12n n X X X ++≥，从而有3(1)()(1)()(1)()31111ˆˆ()()12222n n n XXXXXXθθ=+-≤≤≤++=+，故3ˆθ也为θ的极大似然估计。

应用数理统计第二章

应用数理统计第二章
ˆ = ⎡ rs ⎤ . N ⎢ ⎥ ⎣x⎦
□
例2.1.11 总体 X ~ U (θ,θ +1) ， θ 是未知参数， X1，…，Xn 是一组样本，求θ 的极大似然估计。 解. 总体的密度函数为： f(x,θ ) = 1， θ ＜ x1，…，xn ＜ θ +1 显然不能对参数 θ 求导，无法建立似然方程 注意到这个似然函数不是 0 就是 1 ，利用 顺序统计量，把似然函数改写成如下形式：
f(x,θ ) = 1， θ ＜ x(1) ＜… ＜ x(n) ＜ θ +1 因此只要 θ ＜ x(1) 并且 x(n) ＜ θ +1 同时满足， 似然函数就可以达到极大值 1 。 所以 U (θ,θ +1) 中参数θ 的极大似然估计 可以是区间 ( x(n) - 1 ，x(1) ) 里的任意一个点 。 说明 MLE 可以不唯一，甚至有无穷多个 同理，总体 U (a，b) 左右端点 a 、b 的MLE 分别就是两个极值统计量 x(1) 、x(n) 。
k =1
n
注意这里总体参数 θ 是一个向量 (µ,σ2 ) ， 因此对于似然函数取对数后分别对 µ,σ2 求导， 建立对数似然方程组：
1
σ
−
2
(x − µ) = 0 n + 1 2(σ 2 )2 ( xk − µ )2 = 0 ∑
k =1 n
2σ 2
解方程组得到正态总体两个参数的MLE
ˆ µ=X
1 n n−1 2 ˆ σ 2 = ∑ ( X k − X )2 = S n k =1 n
⎛ N ⎞ ∑ xk nN − ∑ xk L ( x ,θ ) = [ ∏ ⎜ ⎟ ] p (1 − p ) ⎝ xk ⎠
这里每一个 xk = 0、1、…、N 中的某个值

2多元正态分布及参数估计

2多元正态分布及参数估计
或表达为
定X (2) X ,, X f x (2) 0 r 1 p 2





的条件下，
f x | x
(1)
(2)

f 2 x (2)
12
f x
4、独立性
设 X 1 , X 2 , , X p 是 p 个随机变量, Xi的分布函数记为 Fi(xi)
(i=1,2,…,p); F ( x1 , x2 ,, x p ) 是 ( X 1 , X 2 ,, X p ) ' 的联合分布
C OV X , Y X D X D D Y Y C OV Y , X
21
第二章 多元正态分布及参数的估计
§2.1 随 机 向 量
三﹑ 协方差阵的性质 (1) 设X,Y为随机向量(矩阵） D(AX+b)=A· D(X)· A' COV(AX,BY)=A· COV(X,Y)· B'
17
2、协方差矩阵
协方差定义为
Cov X , Y E ( X E ( X ))(Y E (Y ))
ห้องสมุดไป่ตู้
若Cov(X,Y)=0，则称X和Y不相关。 两个独立的随机变量必然不相关，但两个不相关的 随机变量未必独立。 当X=Y时，协方差即为方差，也就是
Cov X , X Var X D ( X ) 和Y Y ,Y ,,Y X X 1 , X 2 ,, X p 1 2 q 的协方差矩
19
X和Y的协方差矩阵与Y和X的协差阵互为转置关系，即有 若COV(X,Y)=0，则称X和Y不相关。 两个独立的随机向量必然不相关，但两个不相关的随机向量未必独 立。 X=Y时的协差阵COV(X,X)称为X的协差阵，记作D(X)，即

多元正态分布及参数估计


2019/11/6
应用统计方法
22
2、性质 1） 设为常数，则 E (a X )a(E X )； 2）设 A,B,C 分别为常数矩阵，则
E ( A C X ) A E ( X B ) B C
3）设 X 1,X 2, ,X n为 n个同阶矩阵，则
E ( X 1 X 2 X n ) E X 1 E X 2 E X n
对一切 x、y成立，则称 x和 y相互独立。
2、设 x和 y是两个连续随机向量， x和 y相互
独立，当且仅当
f(x|y)fx(x)或 F (x ,y ) F x(x )F y(y )
对一切
2019/11/6
x
、y
成立。 应用统计方法
19
3、设 x1,x2, ,xn是 n个随机向量，若
F ( x 1 , x 2 , , x m ) F 1 ( x 1 ) F 2 ( x 2 ) F m ( x m ) mn
2019/11/6
应用统计方法
23
二、协方差矩阵
1、定义：设 x (x 1 ,x2, ,xp)和 y (y 1 ,y2, ,y q)分 别为 p维和 q维随机向量，则其协方差矩阵为
Exx2 1 E E ((xx1 2))y1E(y1)
y2E(y2) yqE(yq)
降的右连续函数；
2019/11/6
应用统计方法
4
② 分布函数的取值范围为[0，1]，即
0F(a1,a2, ,ap)1
③ 分布函数当变量取值为无穷大时，函数值收敛到1，即
F(,, ,)1
2019/11/6
应用统计方法
5
二、两个常用的离散多元分布

数值分析答案第二章参数估计习题

数值分析答案第二章参数估计习题数值分析习题解答数值分析课后习题答案参数估计练习题数值分析习题参数估计习题参数估计习题及答案数值分析习题解答pdf数值分析习题集及答案数值分析习题答案
f(x)= （） { > − ex λ ) λ 0λ ( x解： λe , x ≥ 0
第二章 参数估计 1.设母体X具有负指数分布，它的分布密度 −λ x 为 λe , x ≥ 0 f(x)= 0, x < 0 其中 λ > 0 。试用矩法求的估计量。 解：x e(λ ) f(x)=
0
1
θ −1
dx =
θ θ +1
X 估计EX
X ∴θ = 1− X
1 e 5.设母体X的密度为 f ( x) = 2σ
−
x
σ
, −∞ < x < ∞
试求 σ 的最大似然估计;并问所得估计量是 否的无偏估计. ∑x x n 解： n 1 −σ 1 n − σ
i
L = ∏ f ( xi ) = ∏
i =1 i =1
ln L = n ln θ + (θ − 1)∑ ln xi
i
0, 其他 n
i =1
( θ >0 )
n i =1
d ln L n ＾= − n = + ∑ ln xi = 0,∴θ θ i dθ ∑ ln xi
i
2矩法估计
EX =
用
X 用估计EX
+∞
−∞
∫ x ⋅ f ( x)dx = ∫ x ⋅θ ⋅ x
2
给定置信概率1−α 即
P ( x − uα
2
σ/ n
，有 uα ，使
2
P{ u ≤ uα } = 1 − α

第二章 参数估计


0


x 2de
x

2xe
x
dx

2

xde
x
0
x
0
0
2 e dx 2 2
0
9
例4：设X1， … ， Xn为取自 N ( , 2 ) 总体的
样本，求参数 , 2 的矩估计。
: E( X ) D( X ) 2 E( X 2 ) [E( X )]2
极大似然法是由德国数学家G.F.Gauss在1821年提 出的.然而这个方法通常归于英国统计学家 R.A.Fisher,因为他在1912年里发现了这一方法,并 且首先研究了这种方法的性质.
设总体的密度函数为f(x,θ), θ为待估参数,θ∈Θ,Θ
为参数空间.当给定样本观察值 x (x1, x2 , xn )后,f(x,
以随便给的,所以根据统计思想建立各种点估计方法
和评价点估计的好坏标准便是估计问题的研究中心.
这里先介绍三个常用的标准:无偏性、有效性和一致
性.
1
有效性
^
^
设 i i ( X1,, X n ), i 1, 2分别是参数 的两个无偏估计,
^
^
^
^
若D 1 D 2 至少有一个n使 成立 , 则称 1比 2 有效.
总体k阶矩 样本k阶矩
k E(Xk )
Ak

1 n
n i 1
X
k i
的矩估计量是
约定：若


是未知参数的矩估计，则u()的矩
估计为u(


),
6
例2、：设X1， … ， Xn为取自参数为的指数分布 总体的样本，求的矩估计。

参数估计2


n
e n
i
x !
i 1 n i 1
ii ) ln L( x1 , x 2 ,..., x n ; ) xi ln n ln xi !
i 1
xi ln L( x1 , x2 ,...,xn ; ) i 1 n 0 iii)令 : 1 n iv)解之得 : xi x为 的极大似然估计值 , n i 1 1 n X i X 为 的极大似然估计量 . n i 1
(1)正态分布N (u, 2 ) (2)指数分布Z ( ) (3)均匀分布U (a, b) (4)二项分布B(n, p) (3)泊松分布 ( ) 试求其中未知参数的矩 估计. 解 : (1)
因为X ~ N ( , 2 ), E ( X ) , D( X ) 2 故有 X ,
注2
若 为 的矩估计量, g ( )为 的连续函数, 亦称g ( )为g ( )
2 2 例如S n 为总体方差D( X )的矩估计量, 则S n S n 为标准差 D( X )


的矩估计量. 的矩估计量.
例1.1
设X 1 , X 2 ,..., X n为来自正态总体 X 的样本, X的分布为
i 1 n n
( X为连续型)
(1.4) (1.5)
或
L( x1 , x2 ,..., xn ) PX i xi ;
i 1
( X为离散型)
达到最大值

L( x1 , x2 ,..., xn ; ) max L( x1 , x2 ,..., xn ; )

(1) 利用求导法求极大然估 计步骤 i )建立似然函数: L( x1 , x 2 ,..., x n ; 1 , 2 ,..., r ) f ( xi ; 1 , 2 ,..., r )
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

22、设总体 X 在区间 [, +1] 上服从均匀分布，则 的矩估计 ˆ =
；
3
D(ˆ) =
。
23、设总体 X ~ N(, 2 ) ，若 和 2 均未知， n 为样本容量，总体均值 的置 信水平为1 − 的置信区间为 (X − , X + ) ，则 的值为________；
24、在实际问题中求某参数的置信区间时，总是希望置信水平愈 愈好，而置
解： E(ˆ1) = E(ˆ2), D(ˆ1) D(ˆ2) ． 12、设ˆ1 和ˆ2 均是未知参数 的无偏估计量，且 E(ˆ12 ) E(ˆ22 ) ，则其中的统计
量 更有效。
13、在参数的区间估计 (1,2 ) 中，当样本容量 n 固定时，精度2 −1 提高时，置
信度1 −
。
14、设 X1, X 2 ,, X n 是来自总体 X ~ N(,1) 的样本，则 的置信度为 0.95 的置
9、什么是最优无偏估计量？ 10、什么是一致最小方差无偏估计量？ 11、有效估计量和最优无偏估计量的关系是什么？ 12、什么叫均方误差最小估计量？ 13、叙述一致估计量的概念。 14、试述评价一个置信区间好坏的标准。 15、描述区间估计中样本容量、精度、置信度的关系。
三、单选题 1、设总体未知参数 的估计量 满足 E( ) = ,则 一定是 的( )
的关系为
。
6 、 称 统 计 量 T = T ( X1, X 2 ,, X n ) 为 可 估 函 数 g() 的 （ 弱 ） 一 致 估 计 量 是
指
。
7、判断对错：设总体 X ~ N(, 2 ) ，且 与 2 都未知，设 X1, X 2 ,..., X n 是来自
1
该总体的一个样本，设用矩法求得 的估计量为 ˆ1 、用极大似然法求得 的
估计量为 ˆ2 ，则 ˆ1 = ˆ2 。
_________________
8、ˆn 是总体未知参数 的相合估计量的一个充分条件是_______ .
解：
lim
n→
E
(ˆn
)
=
,
lim
n→
Var(ˆn
)
=
0
．
9 、 已 知 x1, x2 , x10 是 来 自 总 体 X 的 简 单 随 机 样 本 ， EX = 。 令
第二章 参数估计
一、填空题
1、总体 X 的分布函数为 F(x; )，其中 为未知参数，则对 常用的点估计方法
有
，
。
2、设总体 X 的概=
e− 0,
(
x−
)
,x x
而 X1, X2, , Xn 是来自总体 X 的简单随机样本，则未知参数 的矩估计量为
_______
3、设 X1, X 2 , X 3 是来自总体 X 的简单随机样本，且 E(X ) = ，记
4
A 极大似然估计 B 矩估计 C 无偏估计
D 有效估计
2、设总体未知参数 的估计量 满足 E( ) ,则 一定是 的( )
A 极大似然估计 B 矩估计 C 有偏估计
D 有效估计
3、设 X1, X 2 ,, X n 为来自均值为 的总体的简单随机样本，则 X i (i = 1,2,, n) （）
置信区间长度小于等于 0.2，则样本容量 n 至少要取多大_______。
18、为估计大学生近视眼所占的百分比，用重复抽样方式抽取 200 名同学进行调
查，结果发现有 68 个同学是近视眼。则大学生近视眼所占的百分比的 95%的置
信区间为
。
19、设总体 X 未知参数为 ， X 为样本均值, 若 n X − 近似服从 N(0,1) ， X(1− X)
ˆ
=
1 8
6 i=1
xi
+
10
A
i=7
xi
，则当
A
=
时， ˆ 为总体均值 的无偏估计。
10、 设总体 X ~ U (0, )，现从该总体中抽取容量为 10 的样本，样本值为
0.5， 1.3， 0.6， 1.7， 2.2， 1.2， 0.8， 1.5， 2.0， 1.6
则参数 的矩估计为
。
11、 设ˆ1 与ˆ2 都是总体未知参数 的估计，且ˆ1 比ˆ2 有效，则ˆ1 与ˆ2 的期望与 方差满足_______ .
信区间的长度愈 愈好。但当增大置信水平时，则相应的置信区间长度总
是
。
二、简述题 1、描述矩估计法的原理。 2、描述极大似然估计法的原理。 3、极大似然估计法的一般步骤是什么？ 4、评价估计量好坏的标准有哪几个？ 5、什么是无偏估计？ 6、什么是较有效？ 7、什么叫有效估计量？ 8、判断可估函数 g() 是有效估计量的充要条件是什么？
信区间为
。
15、设 X1, X 2 ,, X n 是来自总体 X ~ N(, 2 ) 的样本，其中 2 未知，则 的置
2
信度为 0.95 的置信区间为
。
16、设 X1, X 2 ,, X n 是来自总体 X ~ N(, 2 ) 的样本，其中 未知，则 2 的置
信度为 0.95 的置信区间为
。
17、设 X 服从参数为 的指数分布，X1, X 2 ,, X n , (n 2) 是来自总体 X 的样本，
X 为其样本均值，则 2nX 服从
分布。
18、设总体服从正态分布 N(,1) ，且 未知，设 X1, X 2 ,..., X n 为来自该总体的一
个 样 本 ， 记
X
=
1 n
n i=1
Xi
，则
的 置 信 水 平 为 1−
的置信区间公式是
___________________________________；若已知1− = 0.95 ，则要使上面这个
则 的一个双侧近似 1- 置信区间为
。
20、设总体 X ~ U ( , +1), X1, X2,..., Xn 为样本，则θ的矩估计量为
，
极大似然估计量为
。
21、设总体 X ~ N (, 2 ), X1, X 2,..., X n 为样本， 、 2 未知，则 2 的置信度为
1－ 的置信区间为
。
1
=
1 3
X1
+
1 3
X2
+
1 3
X3， 2
=
1 4
X1
+
1 4
X2
+
1 2
X3
3
=
1 2
X1
+
1 2
X2，
4
=
1 4
X1
+
1 4
X2
+
1 4
X3
则哪个是 的有偏估计
，哪个是 的较有效估计 。
4、随机变量 X 的分布函数 F(x; )中未知参数 的有效估计量和极大似然估计量
的关系为
。
5、随机变量 X 的分布函数 F(x; )中未知参数 的有效估计量和最优无偏估计量