概率论与数理统计 浙大版 课件
- 格式：ppt
- 大小：2.55 MB
- 文档页数：80
当前位置：文档之家 › 概率论与数理统计 浙大版 课件
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
dlndL()32630 ˆ0.4 27
三、 衡量估计量好坏的标准
的点估计量ˆ 一般是不唯一的, 如何选择好
的 ˆ ? 首先我们要对估计量提出衡量其好坏
的标准.
标准: 无偏性, 有效性, 一致性
1、无偏性
定 义 ：E[若 (X1,X2,,Xn)],
则 称 为的 无 偏估 计 量 。
即ˆ 取值在真值 附近来回摆动
P(红 球 /甲)0.99P(红 球 /乙)0.01
自然，认为从甲箱取更合理
又如，兔龟赛跑，得第一名的最有可能是谁？
极大似然估计法：
（1）X---离散型，已知 X的分布
P(Xx)p(x,),未知
样本 (X 1,X 2, ,X n)取到观测值(x1,x2, ,xn) 事件A
P ( A ) P ( X 1 x 1 , X 2 x 2 , , X n x n )
对来自总体的样本 (X1,X2, ,Xn)， 其观测值
为 (x1,x2, ,xn)，作为与总体X同分布且相互
独立的n维随机变量，样本的联合概率密度为:
f(x1,x2, ,xn) fX 1 (x 1 )fX 2 (x 2 ) fX n (x n )
n
f(x 1 ,) f(x 2 ,) f(x n ,) f (xi ,) i1
2 矩估计
由 EX0 1xdx2Xˆ2X
26
例 5 ： 设 总 体 X 的 概 率 分 布 率 为 ： 12 21 - 3 32 ,其 中 0 未 知 , 现 得 到 样 本 观 测 值 2 ， 3 ， 2 ， 1 ， 3 ， 求 的 矩 估 计 与 极 大 似 然 估 计 。
2
n 2
212i n1(xi)2
lL n (,2 ) n 2 ln 2 ) ( n 2 ln 2 ) ( 2 1 2 i n 1 ( x i ) 2
lnL
1
22
n
2
i1
(xi
)
0
ln2L2n2
1
24
n
(xi
i1
)2
0
解 得 ˆX , ˆ2n 1i n 1(X iX )2
例 4 ： 设 总 体 X 服 从 0 ,上 的 均 匀 分 布 ， 0 未 知 ， 试 由 样 本 x 1 ,x 2 , ,x n 求 出 的 极 大 似 然 估 计 和 矩 估 计 。
解 ： X U 0 ,,E X 2, 由 于 X 1 , ,X n 与 X 同 分 布
n
(2) L()p(xi;) n项连乘, 求导麻烦
i1
ln[L()]n项相加，求导简单 对数似然函数
从而，
求L 的 ()最大值点ln就 L([)转 的 ] 为 最求 大值
方法二：解方 dln d 程 L ([)]0, 得ˆ到
（2）连续型总体似然函数的求法
设X为连续型总体，其概率密度为：
f(x;) 其中 未知
例16:总体 X,EX,DX2存在 , 但未知
给 定 样(X本1, X2,, Xn),
试 证(1：)X1, X2,, Xn, X都 是的 无 偏 估 计 量 (2)S2是2的无偏估计量。
证明: (1)
E X i E X ,i 1 , 2 , , n
E (X )E (n 1i n 1X i)n 1i n 1E (X i)n 1n
点估计的问题就是根据样本X1,X2, ,Xn， 对每一个未知参数i i1,2, ,k，构造出一 个统计量ˆi i X1,X2, ,Xn，作为参数i的估计，
称为的估计量。
i
点 估 计 有 两 种 方 法 ： 矩 估 计 法 和 极 大 似 然 估 计 法
主要内容: 一. 矩估计法 二.极大似然估计 三.估计量的评选标准
则有：E X v v 1,2 , ,k v 1, 2, , k , 对于样本X X1, X 2 ,
其 v阶 样 本 矩 是 ： Av
1 n
n i 1
X
v i
v 1, 2,
,k
1
1,2 ,
,k A1
用样本矩作为总体矩的估计，即令：
2
1,2 ,
,k A2
k
1,2 ,
解 ： 先 求 总 体 矩 ：
1 E X ,2 E X 2 D X E 2 X 2 2
再求样本矩：
A 11 ni n1Xi X, A21 ni n1Xi2
令12A A12
ˆ X
ˆ21nin1(Xi X)2
例2：设总体X的密度为：
fx x1
0
0x1 0为未知参数，
i 1
是参数 的函数，称为似然函数，记做 L( ).
n
即 L()p(xi;) i1
结构：n 项连乘，总体分布 p(x,) 改 p(xi,)
i1 ,2 , ,n
P(A)L(),随变而 , A变 已经发生，由极大
似然原理， L() 达到最大，所以 的最合理 估计值ˆ 应满足：L(ˆ)为最大值
定义 对给定的样本值 x1,x2, ,xn，若
解 ： 因 1 X极 的 概 大 率 似 密 然 度 估 为 计 ： fx; 1 0x 0 其 它
故 参 数 的 似 然 函 数 为 ： L 1 n 0x1,x2, ,xn
由 于 d ln d n 0 ,不 能 用 微 分 0法 求 ˆ L 其 它
以 下 从 定 义 出 发 求 ˆL: 因 为 0 x i , 故 的 取 值 范 围 最 小 为 x n m a x x 1 , x 2 ,, x n 又 L 1 n 对 x n 的 是 减 函 数 ， 越 小 ， L 越 大 ， 故 ˆ L x n 时 ， L 最 大 ； 所 以 的 极 大 似 然 估 计 量 为 ˆ L X n m a x x 1 , x 2 ,, x n
设(X1,X2,…,Xn)是来自总体X的样本。
似然函数为：
n
n
L(p) P(Xi, p) pXi (1p)1Xi
i1
i1
n
n
Xi
n Xi
pi1 (1p) i1
n
n
ln L (p ) ( x i)ln p (n x i)ln 1 ( p )
i 1
i 1
d
1n
1
n
dlpn L (p)pi 1xi1p(ni 1xi)0
n
L(1, ,k) f(xi;1, ,k)
i1
解方程
ln1L 0
ln
L
0
k
得到 ˆ1 , , ˆk
例3: X~N (,2)其 , , 中 0 未,知
给定一组样本 (X 1,X 2, ,X n), 求 , 2
的极大似然估计量．
解
n
L(,2)
1 e(x2i 2)2
i1 2
n
(2) ( ) e 2
(2)E(S2)En1 1i n1
XiX2
1 n
n1Ei1
Xi X2
n1 1E i n1(Xi22XiXX2)
n1 1Ei n1Xi22nX2nX2
1 n
n1Ei1
Xi2nX2
n11i n1E(Xi2） nE (X2)
利 用E 公 (X 2)式 D (X ： )[E (X )2 ]
一. 矩估计法
矩思想: 利用样本矩作为相应总体矩的估计量
1 n
n i1
X
k i
估计
EXk (n)
矩估计法: 总 X ~ f 体 ( x ;1 , ,k ) ,1 , ,k 未 , 知
一 矩估计法：
设总体X的分布函数为F x;1,2 , ,k , 1,2 , ,k 是待
估计的未知参数，假定总体X的k阶原点矩E X k 存在，
英国统计学家费歇 .
Gauss
费歇在1922年重新发现了这一方法，
并首先研究了这种方法的一些性质 .
Fisher
极大似然原理：一个随机试验有若干个可能结
果A,B,C,…。若在一次试验中，结果A发生，
则一般认为试验条件对A最有利，即A发生的
概率 P(A/)最大
条件 如, 甲199黑 红, 乙199 红 黑,任取 1箱从中1球 任, 取 已知取到 , 问 红最 球有可能?从何箱取
i1
f(Xi; ) i n1 Xi1(0Xi
1)
n (X 1X 2 X n ) 1 1in
取对数
n
l n L()nl n (1)l nXi i1
求导并令其为0
dlnL() n n
d i1lnXi 0
从中解得
n
n lnXi , 即为θ的极大似然估计量。
i1
推广：X ~ f(x ;1 , ,k ),1 , ,k 未知
第七章 参数估计
﹜点估计 关键词： 矩估计法 极大似然估计法 ﹜区间估计 置信区间 置信度
问题的提出：
参数估计是统计推断的基本问题之一，实际工作中碰到的总体X , 它的分布类型往往是知道的，只是不知道其中的某些参数，
例如：产品的质量指标X服从正态分布，其概率密度为：
x 2
f x; , 2
1
解： 1 矩估计
EXxkpk 2 2 3 (1 3 2 )35 2
X 2.2
令 E(X)=X ˆ0.32
2极 大 似 然 估 计
L () (2 ) ( 1 3 2 ) (2 )( 1 3 2 )
1163(23)2
l n L () l n 1 6 3 l n 2 l n ( 2 3 )
独立
P ( X 1 x 1 ) P ( X 2 x 2 ) P ( X n x n )
Xi与X 同分布
P ( X x 1 ) P ( X x 2 ) P ( X x n )
p(x1,)p(x2,)p(xn,)
n
p(xi,)
i1
n
对给定的样本值(x1,x2,...x,n), p( xi , )
,k Ak
解此方程即得 1,2 , ,k 的一个矩估计量 1, 2 , ,ˆk
, Xn,
Baidu Nhomakorabea
例 1 ： 设 总 体 X 的 均 值 和 方 差 2 都 存 在 ， 且 2 0 ， ,2 均 未 知 ， X 1 ,X 2 , ,X n 是 取 自 X 的 一 个 样 本 ， 试 求 ,2 的 矩 估 计 。
(1) 写出L() (2) 取对数 lnL() (3) 解方程dlnL[()]0, 得到ˆ
d
例1 : 设总体X的分布律为：
X
0
1
pk
1-p
p
0<p<1, p未知 , 求参数p 的极大似然估计量. 解:总体X的分布律为：
P { X x } p x ( 1 p ) 1 x ,x 0 ,1 .
于是，样本 (X1,X2, ,Xn)落入点(x1,x2, ,xn)
n
邻域内的概率为 f (xi,)xi ，由极大似然原
i1
理，最合理的 的估计值 ˆ 应该是使
n
f (xi,)xi 达到最大，由于 xi 是不依赖于
i1
的增量，所以我们只需求使
n
似然函数 L()f(xi,) 达到最大 i1
求ˆ 的步骤：
e 2 2
x
2
但 参 数 , 2的 值 未 知 ， 要 求 估 计 , 2， 有 时 还 希 望 以 一 定 的 可 靠 性 来
估计值是在某个范围内或者不低于某个数。
参数估计问题就是要求通过样本估计总体分布所包含的未知参数的值。
参数估计的两种方法：点估计法和区间估计法
§1 参数的点估计
E ( X i2 ) D ( X i) [ E ( X i)2 ] 2 2
__
__
__
E(X)2D(X)[E(X)]2n2 2
__
(X~N(,n2))
E S 21[n 2 n 2 n (2 2) ]2
n 1
n
例 7 ： 检 验 例 4 的 矩 估 计 量 2 X 与 极 大 似 然 估 计 量 ˆ L X n 的 无 偏 性 。
ˆ(x1,x2, ,xn)满足
L(ˆ)maLx()
称:ˆ(x1,x2,,xn)为的极大似然估计值 ˆ(X1,X2,,Xn)为的极大似然估计量
如何求 ˆ ？即求 L( ) 的最大值点问题
方法一: 若 L( )为可导函数
解
方
程 dL() d
0,
得 到 ˆ ˆ(X1,X2,,Xn)
回忆：
(1) f(x)0,lnf([x)单]调性相同，从而最大值 点相同.
其他
X1,X2，,Xn为取自X的样本，求的矩估计。
解 ： EXxfxdx 1 x dx
0
1
令EXX X ˆ X 2
1
1X
二、 极大似然估计法 极大似然估计法是在总体的分布类型已知的
条件下所使用的一种参数估计方法. 它首先是由德国数学家
高斯在1821年提出的 . 然而，这个方法常归功于
解得p的极大似然估计量为：
pˆ
1 n
n i 1
Xi
说明：p的极大似然估计值为：
pˆ 1 n n i1
xi
例2: 设(X1,X2,…Xn )是来自总体X的一个样本,
X~f(x;) x 0 , 1,0其 x1 ,它 其 中 0 未, 知
求θ的极大似然估计量．
解： θ的似然函数为：
n
L()
三、 衡量估计量好坏的标准
的点估计量ˆ 一般是不唯一的, 如何选择好
的 ˆ ? 首先我们要对估计量提出衡量其好坏
的标准.
标准: 无偏性, 有效性, 一致性
1、无偏性
定 义 ：E[若 (X1,X2,,Xn)],
则 称 为的 无 偏估 计 量 。
即ˆ 取值在真值 附近来回摆动
P(红 球 /甲)0.99P(红 球 /乙)0.01
自然，认为从甲箱取更合理
又如，兔龟赛跑，得第一名的最有可能是谁？
极大似然估计法：
（1）X---离散型，已知 X的分布
P(Xx)p(x,),未知
样本 (X 1,X 2, ,X n)取到观测值(x1,x2, ,xn) 事件A
P ( A ) P ( X 1 x 1 , X 2 x 2 , , X n x n )
对来自总体的样本 (X1,X2, ,Xn)， 其观测值
为 (x1,x2, ,xn)，作为与总体X同分布且相互
独立的n维随机变量，样本的联合概率密度为:
f(x1,x2, ,xn) fX 1 (x 1 )fX 2 (x 2 ) fX n (x n )
n
f(x 1 ,) f(x 2 ,) f(x n ,) f (xi ,) i1
2 矩估计
由 EX0 1xdx2Xˆ2X
26
例 5 ： 设 总 体 X 的 概 率 分 布 率 为 ： 12 21 - 3 32 ,其 中 0 未 知 , 现 得 到 样 本 观 测 值 2 ， 3 ， 2 ， 1 ， 3 ， 求 的 矩 估 计 与 极 大 似 然 估 计 。
2
n 2
212i n1(xi)2
lL n (,2 ) n 2 ln 2 ) ( n 2 ln 2 ) ( 2 1 2 i n 1 ( x i ) 2
lnL
1
22
n
2
i1
(xi
)
0
ln2L2n2
1
24
n
(xi
i1
)2
0
解 得 ˆX , ˆ2n 1i n 1(X iX )2
例 4 ： 设 总 体 X 服 从 0 ,上 的 均 匀 分 布 ， 0 未 知 ， 试 由 样 本 x 1 ,x 2 , ,x n 求 出 的 极 大 似 然 估 计 和 矩 估 计 。
解 ： X U 0 ,,E X 2, 由 于 X 1 , ,X n 与 X 同 分 布
n
(2) L()p(xi;) n项连乘, 求导麻烦
i1
ln[L()]n项相加，求导简单 对数似然函数
从而，
求L 的 ()最大值点ln就 L([)转 的 ] 为 最求 大值
方法二：解方 dln d 程 L ([)]0, 得ˆ到
（2）连续型总体似然函数的求法
设X为连续型总体，其概率密度为：
f(x;) 其中 未知
例16:总体 X,EX,DX2存在 , 但未知
给 定 样(X本1, X2,, Xn),
试 证(1：)X1, X2,, Xn, X都 是的 无 偏 估 计 量 (2)S2是2的无偏估计量。
证明: (1)
E X i E X ,i 1 , 2 , , n
E (X )E (n 1i n 1X i)n 1i n 1E (X i)n 1n
点估计的问题就是根据样本X1,X2, ,Xn， 对每一个未知参数i i1,2, ,k，构造出一 个统计量ˆi i X1,X2, ,Xn，作为参数i的估计，
称为的估计量。
i
点 估 计 有 两 种 方 法 ： 矩 估 计 法 和 极 大 似 然 估 计 法
主要内容: 一. 矩估计法 二.极大似然估计 三.估计量的评选标准
则有：E X v v 1,2 , ,k v 1, 2, , k , 对于样本X X1, X 2 ,
其 v阶 样 本 矩 是 ： Av
1 n
n i 1
X
v i
v 1, 2,
,k
1
1,2 ,
,k A1
用样本矩作为总体矩的估计，即令：
2
1,2 ,
,k A2
k
1,2 ,
解 ： 先 求 总 体 矩 ：
1 E X ,2 E X 2 D X E 2 X 2 2
再求样本矩：
A 11 ni n1Xi X, A21 ni n1Xi2
令12A A12
ˆ X
ˆ21nin1(Xi X)2
例2：设总体X的密度为：
fx x1
0
0x1 0为未知参数，
i 1
是参数 的函数，称为似然函数，记做 L( ).
n
即 L()p(xi;) i1
结构：n 项连乘，总体分布 p(x,) 改 p(xi,)
i1 ,2 , ,n
P(A)L(),随变而 , A变 已经发生，由极大
似然原理， L() 达到最大，所以 的最合理 估计值ˆ 应满足：L(ˆ)为最大值
定义 对给定的样本值 x1,x2, ,xn，若
解 ： 因 1 X极 的 概 大 率 似 密 然 度 估 为 计 ： fx; 1 0x 0 其 它
故 参 数 的 似 然 函 数 为 ： L 1 n 0x1,x2, ,xn
由 于 d ln d n 0 ,不 能 用 微 分 0法 求 ˆ L 其 它
以 下 从 定 义 出 发 求 ˆL: 因 为 0 x i , 故 的 取 值 范 围 最 小 为 x n m a x x 1 , x 2 ,, x n 又 L 1 n 对 x n 的 是 减 函 数 ， 越 小 ， L 越 大 ， 故 ˆ L x n 时 ， L 最 大 ； 所 以 的 极 大 似 然 估 计 量 为 ˆ L X n m a x x 1 , x 2 ,, x n
设(X1,X2,…,Xn)是来自总体X的样本。
似然函数为：
n
n
L(p) P(Xi, p) pXi (1p)1Xi
i1
i1
n
n
Xi
n Xi
pi1 (1p) i1
n
n
ln L (p ) ( x i)ln p (n x i)ln 1 ( p )
i 1
i 1
d
1n
1
n
dlpn L (p)pi 1xi1p(ni 1xi)0
n
L(1, ,k) f(xi;1, ,k)
i1
解方程
ln1L 0
ln
L
0
k
得到 ˆ1 , , ˆk
例3: X~N (,2)其 , , 中 0 未,知
给定一组样本 (X 1,X 2, ,X n), 求 , 2
的极大似然估计量．
解
n
L(,2)
1 e(x2i 2)2
i1 2
n
(2) ( ) e 2
(2)E(S2)En1 1i n1
XiX2
1 n
n1Ei1
Xi X2
n1 1E i n1(Xi22XiXX2)
n1 1Ei n1Xi22nX2nX2
1 n
n1Ei1
Xi2nX2
n11i n1E(Xi2） nE (X2)
利 用E 公 (X 2)式 D (X ： )[E (X )2 ]
一. 矩估计法
矩思想: 利用样本矩作为相应总体矩的估计量
1 n
n i1
X
k i
估计
EXk (n)
矩估计法: 总 X ~ f 体 ( x ;1 , ,k ) ,1 , ,k 未 , 知
一 矩估计法：
设总体X的分布函数为F x;1,2 , ,k , 1,2 , ,k 是待
估计的未知参数，假定总体X的k阶原点矩E X k 存在，
英国统计学家费歇 .
Gauss
费歇在1922年重新发现了这一方法，
并首先研究了这种方法的一些性质 .
Fisher
极大似然原理：一个随机试验有若干个可能结
果A,B,C,…。若在一次试验中，结果A发生，
则一般认为试验条件对A最有利，即A发生的
概率 P(A/)最大
条件 如, 甲199黑 红, 乙199 红 黑,任取 1箱从中1球 任, 取 已知取到 , 问 红最 球有可能?从何箱取
i1
f(Xi; ) i n1 Xi1(0Xi
1)
n (X 1X 2 X n ) 1 1in
取对数
n
l n L()nl n (1)l nXi i1
求导并令其为0
dlnL() n n
d i1lnXi 0
从中解得
n
n lnXi , 即为θ的极大似然估计量。
i1
推广：X ~ f(x ;1 , ,k ),1 , ,k 未知
第七章 参数估计
﹜点估计 关键词： 矩估计法 极大似然估计法 ﹜区间估计 置信区间 置信度
问题的提出：
参数估计是统计推断的基本问题之一，实际工作中碰到的总体X , 它的分布类型往往是知道的，只是不知道其中的某些参数，
例如：产品的质量指标X服从正态分布，其概率密度为：
x 2
f x; , 2
1
解： 1 矩估计
EXxkpk 2 2 3 (1 3 2 )35 2
X 2.2
令 E(X)=X ˆ0.32
2极 大 似 然 估 计
L () (2 ) ( 1 3 2 ) (2 )( 1 3 2 )
1163(23)2
l n L () l n 1 6 3 l n 2 l n ( 2 3 )
独立
P ( X 1 x 1 ) P ( X 2 x 2 ) P ( X n x n )
Xi与X 同分布
P ( X x 1 ) P ( X x 2 ) P ( X x n )
p(x1,)p(x2,)p(xn,)
n
p(xi,)
i1
n
对给定的样本值(x1,x2,...x,n), p( xi , )
,k Ak
解此方程即得 1,2 , ,k 的一个矩估计量 1, 2 , ,ˆk
, Xn,
Baidu Nhomakorabea
例 1 ： 设 总 体 X 的 均 值 和 方 差 2 都 存 在 ， 且 2 0 ， ,2 均 未 知 ， X 1 ,X 2 , ,X n 是 取 自 X 的 一 个 样 本 ， 试 求 ,2 的 矩 估 计 。
(1) 写出L() (2) 取对数 lnL() (3) 解方程dlnL[()]0, 得到ˆ
d
例1 : 设总体X的分布律为：
X
0
1
pk
1-p
p
0<p<1, p未知 , 求参数p 的极大似然估计量. 解:总体X的分布律为：
P { X x } p x ( 1 p ) 1 x ,x 0 ,1 .
于是，样本 (X1,X2, ,Xn)落入点(x1,x2, ,xn)
n
邻域内的概率为 f (xi,)xi ，由极大似然原
i1
理，最合理的 的估计值 ˆ 应该是使
n
f (xi,)xi 达到最大，由于 xi 是不依赖于
i1
的增量，所以我们只需求使
n
似然函数 L()f(xi,) 达到最大 i1
求ˆ 的步骤：
e 2 2
x
2
但 参 数 , 2的 值 未 知 ， 要 求 估 计 , 2， 有 时 还 希 望 以 一 定 的 可 靠 性 来
估计值是在某个范围内或者不低于某个数。
参数估计问题就是要求通过样本估计总体分布所包含的未知参数的值。
参数估计的两种方法：点估计法和区间估计法
§1 参数的点估计
E ( X i2 ) D ( X i) [ E ( X i)2 ] 2 2
__
__
__
E(X)2D(X)[E(X)]2n2 2
__
(X~N(,n2))
E S 21[n 2 n 2 n (2 2) ]2
n 1
n
例 7 ： 检 验 例 4 的 矩 估 计 量 2 X 与 极 大 似 然 估 计 量 ˆ L X n 的 无 偏 性 。
ˆ(x1,x2, ,xn)满足
L(ˆ)maLx()
称:ˆ(x1,x2,,xn)为的极大似然估计值 ˆ(X1,X2,,Xn)为的极大似然估计量
如何求 ˆ ？即求 L( ) 的最大值点问题
方法一: 若 L( )为可导函数
解
方
程 dL() d
0,
得 到 ˆ ˆ(X1,X2,,Xn)
回忆：
(1) f(x)0,lnf([x)单]调性相同，从而最大值 点相同.
其他
X1,X2，,Xn为取自X的样本，求的矩估计。
解 ： EXxfxdx 1 x dx
0
1
令EXX X ˆ X 2
1
1X
二、 极大似然估计法 极大似然估计法是在总体的分布类型已知的
条件下所使用的一种参数估计方法. 它首先是由德国数学家
高斯在1821年提出的 . 然而，这个方法常归功于
解得p的极大似然估计量为：
pˆ
1 n
n i 1
Xi
说明：p的极大似然估计值为：
pˆ 1 n n i1
xi
例2: 设(X1,X2,…Xn )是来自总体X的一个样本,
X~f(x;) x 0 , 1,0其 x1 ,它 其 中 0 未, 知
求θ的极大似然估计量．
解： θ的似然函数为：
n
L()