- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
n
i 1
n
i 1
ˆ为 则 的最大似然估计值
θ n
ln x
i 1
n
i
例3
设总体X的概率密度为
0 x 1 其它
( 1 ) x , f (x) 0,
其中
α 1是未知参数
,
X1 , X2 , … , Xn 是取自 X 的样本,
求参数 ɑ 的矩估计和极大似然估计 。 1 1 α 矩估计解: x E ( X ) x ( α 1) x dx ( α 1) x α 1dx
可从中解出 1 , 2 , , k , 即是 1 1 X 1 , X 2 , , X n , ,
(3)用这个解 1 , 2 , , k 分别作出 1 , 2 , , k的估计量。 需要估计未知参数的函 数 g (1 , 2 , , k )时, 就以 g ( 1 , 2 , , k )作为 g (1 , 2 , , k )的矩估计。
矩估计法 点估计 参数估计 区间估计 最大似然估计法
1、矩估计法 矩估计法的思想:当样本容量很大时,可以用样本矩作为总 体矩的估计。当总体X的分布类型已知,但含有未知参数, 可以用矩估计法获得未知参数的估计。
, (1 , 2 , , k )为待估参数, 设X的分布函数为 F(x,) 设总体X的前k阶矩存在,并且它们均是 1 , 2 , , k 的 函数,求待估参数 i (i 1,2, , k ) 的矩估计的步骤 为: (1)建立待估参数与总体矩的关系式; (2)用矩估计法建立矩估计方程,解矩估计方程; (3)写出参数的矩估计量。
n
其中 0
求 的最大似然估计值. 解 似然函数为 L( ) xi 1 ( xi ) 1
n n
(0 xi 1)
1 i n
i 1
i 1
对数似然函数为 ln L( ) n ln ( 1) ln xi
n d ln L( ) n ln xi 0 n d i 1 ln xi
L( ) f ( xi , )
i 1
n
最大似然估计法就是用使 L ( ) 达到最大值的 ˆ 去估计 .
ˆ) max L( ) L(
称 ˆ为 的最大似然估计值 . 而相应的统计量
θ( X1 , , X n ) 称为 θ 的最大似然估计量 .
两点说明: 1.由X1,X2,···,Xn的独立同分布,似然函数 是一个乘积函数。 为了方便运算,取对数似然函数为 ln L( )
(1) 求出总体 X 的前 k 阶矩 E ( X ) l ( 1 , 2 , , k ),
l
l 1, 2 , , k .
( 2)令 l (1 , 2 , , k ) Al , l 1,2, , X n .
0,
j
j 1,2,..., r j 1,2,..., r
由这两个方程组之一可解得各个未知参数θj的最大 似然估计值和最大似然估计量
或 In L 0 j
最大似然估计的性质:
如果 ˆ是总体X的分布中未知参数θ的最大似然估计 量,则对于总体X的样本值x1,x2,···,xn的似然函数L(θ), 有 ˆ) L( ), . L( 设函数u=u(θ), 具有单值反函数θ=θ(u), ˆ) ,得 ˆ (u 由u ˆ u ( ˆ ) ,代入上式有
L() f (x1,x2,,)
d ln L( ) 0 d
可以得到 的驻点 . 2.用上述求导方法求参数的驻点有时行不通,例 如在直线上求最值,这时要用最大似然原则来求 .
例2 设X1,X2,…Xn是取自总体X的一个样本
x 1 , X ~ f ( x) 0, 0 x 1 其它
参数估计
引言 第六章介绍了总体、样本、简单随机 样本、统计量和抽样分布的概念,介绍了 统计中常用的三大分布,给出了几个重要 的抽样分布定理 . 它们是进一步学习统计 推断的基础 .
参数估计
现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来 估计总体的某些参数或者参数的某些函数. 估计新生儿的体重 估计废品率 估计湖中鱼数 在参数估计问题 中,假定总体分 估计降雨量 布形式已知,未 … 知的仅仅是一个 … 或几个参数.
最大似然估计解: 似然函数 L( ) ( 1) x ( 1) 取对数
ln L( ) n ln( 1) ln xi
i 1
i 1
n
i
n
n
x i
i 1
n
n d n ln L( ) ln xi 求驻点 d 1 i 1
n 1 i 1 i
ˆ X
• 例3
设总体X的均值μ和方差σ2都存在但未知,从总体X中抽取样 本X1,X2,···,Xn,求μ和σ2的矩估计量。
解 :因为 E ( X ) ,
E ( X 2 ) D( X ) [ E ( X )]2 2 2 ,
由方程组
2
1, 2 2 2,
ˆ ˆ(x , x ,..., x ) 1 2 n
例如我们要估计某队男生的平均身高. (假定身高服从正态分布 N ( ,0.12 ) ) 现从该总体选取容量为5的样本,我们的任务 是要根据选出的样本(5个数)求出总体均值μ的 估计. 而全部信息就由这5个数组成 . 设这5个数是: 1.65 1.67 1.68 1.78 1.69 估计 μ 为1.68, 这是点估计. 估计μ 在区间 [1.57, 1.84] 内,这是区间估计.
α1 2x 1 α2 1 x
0 0
2x 1 ˆ 故, 的矩估计值为 1 x
例3 设总体 X的概率密度为 ( 1) x ,0 x 1 f ( x) 0, 其他 其中 是未知参数,X 1 , X 2 , X n是样本,求参数 的最大似然估计。
• 例1
设总体X~B(m,p),其中p未知,从总体X中抽取样本X1,X2,···,Xn, 求p的矩估计量。
解: 由于E(X)=mp,由方程 μ1=mp, 1 1 n p 解得 m .用X X i 代替μ1,得到p的矩估计量为
n
i 1
1 1 n ˆ X p Xi m mn i 1
2 1
1 n 1 n 解得 1, 2 - , 用 A1 X n X i 和 A2 n X i2 分别代 i 1 i 1 2 替μ1和μ2,得到μ和σ 的矩估计量分别为
ˆ X, 1 n 2 1 n 2 ˆ X i X ( X i X )2 n i 1 n i 1
证 : 因为 E ( X ) k,
k i
1 n k 所以 E ( Ak ) E( X i ) k , n i 1
所以 Ak 是 k 一个无偏估计量
.
有效性
ˆ ˆ ( X , , X ) ˆ ( X , , X ) 和 设 ˆ1 2 2 1 n 1 1 n
ˆ( X , , X ) 设 1 n
是未知参数 的估计量,若
ˆ 为 的无偏估计 . 则称
E (ˆ )
例如:样本均值 x 是总体期望 E ( X )的无偏估计 , 样本方差 s 2 是总体方差 D ( X )的无偏估计。
例1 设总体 X的 k阶矩 k E ( X k )存在,( X 1, X 2, ..., X n ) 为来自总体 X的样本。 1 n 证明 : 样本 k阶矩 Ak X ik 是总体 k阶矩 k的无偏估计。 n i 1
Gauss
Fisher
费歇在1922年重新发现了这 一方法,并首先研究了这种方法 的一些性质 .
最大似然估计法是利用已知的总体的概 率密度(或概率分布)及样本,根据概率最大 的事件在一次试验中最可能出现的原理,求总 体的概率密度(或概率分布)中所含未知参数 的点估计的方法。
离散型随机变量
设总体X是离散型随机变量。概率分布为P{X=x}=p(x;θ), 其中θ是未知参数,假定x1,x2,···,xn是样本X1,X2,···,Xn的一 组观察值。则有 P X 1 x1 , X 2 x 2 , , X n x n P ( X 1 x1 ) P ( X 2 x 2 ) P ( X n x n ) p ( x1 , ) p ( x 2 , ) p ( x n , )
• 例2
设总体X服从指数分布,其概率密度为 1 x 0, e , f ( x; ) x 0, 0, 其中θ>0为未知参数,X1,X2,···,Xn为来自总体X的样本,求θ 的矩估计量。
x
解: 由于E(X)=θ,在方程θ=μ1中 1 A X X 代替μ1,得到θ的矩估计量为 用 n
i 1
n
p ( x i , ).
n i 1
定义样本的似然函数为:L ( )
p ( xi ; )
连续型随机变量
设总体X是连续型随机变量。已知其概率密度 f(x,θ),θ为待估参数,则样本(X1,X2,···,Xn)的 联合概率密度为
f (x1, x2 ,…, xn;θ)
似然函数为:
n
n n ln xi 0 1 i 1
ln x
i 1
n
1 (0 xi 1)
ˆ 则的最大似然估计值 n
i
ln x
i 1
n
1 (0 xi 1)
i
总体的分布中含有多个未知参数:
• 如果总体X的分布中含有r个未知参数θ1,θ2,...,θr,则 似然函数是这些未知参数的函数L=L(θ1,θ2,...,θr). 求出L或InL关于θj的偏导数并令它们等于0,得到 方程组 L