自考-概率论与数理统计 第七章 参数估计

似然函数：
L( ) f (x1,x2,…, xn; )
L( )看作参数 的函数，它可作为 将以多大可 能产生样本值 x1, x2,… ,xn 的一种度量 .
最大似然估计法就是用使 L( )达到最大值的 ˆ去估计 .
ˆ) max L( ) L(
ˆ 称 为 的最大似然估计值 . 而相应的统计量 ( X ,, X ) θ 1 n 称为 θ 的最大似然估计量 .
解 （3）由于 EX DX 所以参数的矩估计量为 n n 1 1 2 X 或 ( X X ) X i i n i 1 n i 1 一阶矩 二阶矩 可见：同一个参数的矩估计量可以不同。所以统计量 存在“优、劣”之分。
例5 设总体X服从[1， 2]上的均匀分布， 1<2，求 1， 2的矩估计量， X1，X2，…，Xn为X的一个样本。
设x1 , x2 ,, xn是来自服从区间(0, )上的均匀分布U (0, )的样本, ˆ. 0为未知参数.求的矩估计
解 总体X 的均值E ( X )
由矩法，应有
例 例1

2
.

x， 解得 =2 x . 2
ˆ的估计值 比如，若样本值为0.1,0.7,0.2,1,1.9,1.3,1.8, 则
点估计（point estimation) ：如果构造一个统计量
( X , X ,, X ) 来作为参数的估计量，则称为 1 2 n
参数的点估计。
区间估计（interval estimation） ：如果构造两个
( X , X ,, X ), 2 ( X , X ,, X ), 统计量 1 1 2 n 1 2 n
例如我们要估计某队男生的平均身高. （假定身高服从正态分布
N ( , 0.1 ) ）
2
现从该总体选取容量为5的样本，我们的任 务是要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 . 设这5个数是:
1.65 1.67 1.68 1.78 1.69
估计 为1.68， 这是点估计. 估计 在区间 [1.57, 1.84] 内，这是区间估计.
ˆ 2 (0.1 0.7 0.2题：如何选取样本来对总体的种种统计 特征作出判断。 参数估计问题：知道随机变量（总体）的分布类型， 但确切的形式不知道，根据样本来估计总体的参数，这 类问题称为参数估计（paramentric estimation）。 参数估计的类型——点估计、区间估计
例2 一批钢件的20个样品的屈服点（t/cm2）为
4.98 5.11
5.61 4.88 4.96 5.15
5.20
5.27 4.77
5.20
5.38 5.35
5.11
5.48 5.38
5.00 5.35
5.27 5.54 5.23
试估计该批钢件的平均屈服点及其方差。 解 由数字特征法，得屈服点及方差的估计值为
估计值为
例4 设X1，X2，…，Xn为总体X的样本，试求下列总体 分布参数的矩估计量。
(1) X ~ N , 2 (2) X ~ B N , p ( N已知）(3）X ~ P( )
解 （1）由于 EX DX 2 所以参数和2的矩估计量为
n 1 2 2 X ( X X ) i n i 1 （2）由于 EX Np
Np X n 1 1 1 得参数p的矩估计量为 p X Xi N N n i 1
所以
例4 设X1，X2，…，Xn为总体X的样本，试求下列总体 分布参数的矩估计量。
(1) X ~ N , 2 (2) X ~ B N , p ( N已知）(3）X ~ P( )
下面举例说明如何求最大似然估计
例7 设X1,X2,…Xn是取自总体 X~B(1, p) 的一个
样本，求参数p的最大似然估计量. 解：似然函数为:
L(p)= f (x1, x2,…, xn; p )
g ( ).
这类问题称为参数估计.
参数估计

2 n
点估计 区间估计
用样本均值x 估计总体均值E( X ),即E( X ) x ;
1 n 2 用样本二阶中心矩s ( xi x )2估计总体方差D( X ),即D( X ) sn ; n i 1
用事件A出现的频率估计事件A发生的概率.
结论：不管总体X服从何种分布，总体期望和方差 的矩估计量分别为样本均值、样本方差，即
n 1 X Xi n i 1 n 1 2 2 2 ( X X ) S i n n i 1 n 1 x xi n i 1 n 1 2 2 ( x x ) i n i 1
参数的矩法估计
矩法估计：用样本的矩作为总体矩的估计量，即
n 1 k Vk (1 ,2 ,,m ) X i n i 1
(k 1, 2,, m)
n 1 k ( , ,, ) 或 U ( X i X ) (k 1, 2,, m) k 1 2 m n i 1 , , , 即为参数 得m个方程构成方程组，解得的
矩估计量。
7.1.2 极大似然估计
它是在总体类型已知条件下使用的一种参数估 计方法 . 它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常归 功于英国统计学家费希尔 .
Gauss
费希尔在1922年重新发现了 这一方法，并首先研究了这种方 法的一些性质 .
Fisher
最大似然法的基本思想

两点说明：
1、求似然函数L( ) 的最大值点，可以应用 微积分中的技巧。由于ln(x)是 x 的增函数, lnL( ) 与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是 的一个可微函数。通过 求解方程：
d ln L( ) 0 d
可以得到 的MLE . 若 是向量，上述方程必须用方程组代替 . 2、用上述求导方法求参数的MLE有时行不 通，这时要用最大似然原则来求 .
若总体X的分布函数中含有m个参数1， 2， …， m，
总体的k阶矩Vk或Uk存在，则
n 1 k ( , ,, ) (k 1, 2,, m) V X k 1 2 m i n i 1 n 1 k ( , ,, ) 或 U (k 1, 2,, m) ( X X ) k 1 2 m i n i 1
1 n k 样本的 k 阶原点矩，记作 Ak X i n i 1 1 n 样本的 k 阶中心矩，记作 Bk ( X i X )k n i 1
参数的矩法估计
矩法估计：用样本的矩作为总体矩的估计量，即
n n 1 1 k k Vk Ak X i , U k Bk ( X i X ) n i 1 n i 1
估计湖中鱼数
在参数估计问题 中，假定总体分 估计降雨量 布形式已知，未 … 知的仅仅是一个 … 或几个参数.
参数估计问题的一般提法 设有一个统计总体 , 总体的分布函数为 F( x, ) ，其中 为未知参数 ( 可以是向量) . 现从该总体抽样，得样本 X1,X2,…,Xn 要依据该样本对参数 作出估计, 或估计 的某个已知函数
1
2
m
1 ,2 ,,m 的矩估计量，代入样本观测值，即得参数
的矩估计值。
例3 设某总体X的数学期望为EX=，方差DX=2，X1， X2，…，Xn为样本，试求和2的矩估计量。 解 总体的k阶原点矩为 V1
V2 E ( X ) DX EX 2 2
2 2
样本的k阶原点矩为 A1 X 由矩法估计，应有
X
1 n 2 A2 X i n i 1 1 n 2 2 2 Xi n i 1
X 所以
n n 1 1 2 2 2 2 X X ( X X ) i i n i 1 n i 1
先看一个简单例子： 某位同学与一位篮球运动员一起去打 篮球 .只听到咣当一声响，球投进了。 如果要你推测，是谁投中的呢？ 你会如何想呢? 你就会想，只投一次就投中, 运动员 投中的概率一般大于这位同学投中的 概率 . 看来这一球是运动员投中的 . 这个例子所作的推断已经体现了极大 似然法的基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f (x1,x2,… ,xn ; ) . 当给定样本X1,X2,…Xn时，定义似然函数为：
L( ) f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
参数的区间估计。
, ) 来作为参数可能取值范围的估计，称为 而用 ( 1 2
参数的点估计
点估计的方法：数字特征法、矩法、极大似然法。 样本的数字特征法：以样本的数字特征作为相应总体 数字特征的估计量。 以样本均值 X 作为总体均值 的点估计量，即
n n 1 1 X x X xi 点估计值 i n i 1 n i 1 以样本方差 S 2作为总体方差 2 的点估计量，即 n 1 2 S2 2 ( X X ) i n 1 i 1 n 1 2 S2 2 点估计值 ( x x ) i n 1 i 1
( 2 1 )2 解 由于 EX , DX 2 12 所以由矩法估计，得
X
解得
1 2
1 2
2
( 2 1 ) S 12
2 n
2
X 3S 1 n
X 3S 2 n
2 3S 区间长度的矩估计量为 2 1 n
第七章 参数估计
§ 7.1 点估计的几种方法
§ 7.2点估计的评价标准 § 7.3 参数的区间估计