第七章 参数估计(概率论与数理统计 盛骤)ppt课件

5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，

若p的可供选择的估计值有许多，仍应选择发生概率最大的 p
作为p的估计，这就是极大似然估计的思想。
极大似然估计的原理(教材p180-181)
设总体X的概率密度函数族为f(x； ) (或概率分布函数族为
P(X=x)=p(x ； ) )，。
设 (x1，x2， ，xn ) 为任一组样本观察值(一组抽象的数)，则
求的矩估计值和极大似然估计值。
说明：1. 本题中因 P(X= xi )无一般表达式，故不能先求极大
似然估计量，再将样本观察值代入求极大似然估计值。
2. 本题处理思想在解决实际问题时很有用。
极大似然估计的性质：若 为总体X中未知参数的极大似
然估计量，u=u( ) 有单值反函数 = (u)，则u( )是u( ) 的
k
k次着n火k天数 75 90 54 22
6
2
1 =
250
1) 试用矩估计法估计参数； 2) 试用极大似然估计法估计参数； 3) 试求P(X=0)的极大似然估计值。
例2(2002年数学三考研试题填空题)
设总体X的概率密度为 f (x；
)
e
， ( x ) 0，
若x 若x
， .
而 X1，X 2， ，X n 是来自总体X的简单随机样本，则未知
大似然估计值。
求L()的极大值 ：
通过
d
ln
L(
)
0，求出
。
d
说明：1. 因为L()是样本观察值的函数(此时样本观察值不变)，
故求出的 一般也是样本观察值的函数。
2. 由于 d ln L( ) 0 只是lnL()取极值的必要条件，从理论上
d
来说，还应验证lnL( ) lnL()， 对所有样本观察值都

n
L(1,2,,k ) L(x1, x2,, xk ;1,2,,k ) f (xi ;1,2,,k ) i 1
将其取对数,然后对1,2 ,,k 求偏导数,得
ln L(1, 2 ,, k ) 0 1
ln L(1, 2 ,, k ) 0 k
该 方 程 组 的 解 ˆi ˆi (x1, x2,, xn),i 1,2,,k ,即 为 i 的 极
§1 参数的点估计
设总体 X 的分布函数 F(x;) 形式已知，其中θ 是待估计的参数，点估计问题就是利用样本 (X1, X 2,, X n ) ，构造一个统计量ˆ ˆ(X1, X2,, Xn) 来估 计θ，我们称ˆ(X1, X2,, Xn )为θ的点估计量，它是 一个随机变量。将样本观测值 (x1, x2 ,, xn ) 代入估计 量 ˆ(X1, X2,, Xn ) ， 就 得 到 它 的 一 个 具 体 数 值 ˆ(x1, x2,, xn ) ，这个数值称为θ的点估计值.
如果样本中白球数为0,则应估计p=1/4,而不估计 p=3/4.因为具有X=0的样本来自p=1/4的总体的 可能性比来自p=3/4的总体的可能性要大.一般当 X=0,1时,应估计p=1/4;而当X=2,3时,应估计 p=3/4.
第10页/共71页
定义:设总体 X 的分布类型已知,但含有未知参数θ. (1)设离散型总体 X 的概率分布律为 p(x; ) ，则样本 (X1, X2,, Xn ) 的联合分布律
~~ 2n1nLeabharlann ini1n1x(i xix
x
)
2
由微积分知识易验证以上所求为μ与σ2的极大似然 估计.
第21页/共71页
• 例:设总体X具有均匀分布,其概率密度函数为
p(x;)

(1 n
n i 1
Xi )2
1 n
n i 1
(Xi
X )2
结论： 不论总体服从什么分布，总体均值 与方差的矩估计量的表达式是相同的
概率统计
(2). Q X ~ N ( , 2 )
X 1 (1502 1453 1367 1650) 1493
4
1
n
n i 1
(Xi
X )2
1 [(1502 1493)2 4
定义直接寻求能使 L( ) 达到最大值的解作为
极大似然估计量。 ▲ 极大似然估计法适用于多个未知参数的情形。
概率统计
例3. 设 X ~ N (, 2 ), , 2 为未知参数，
x1 , x2 L xn 是 X 的一个样本值.
求: , 2 的极大似然估计量.
解: Q X 的密度函数为：f ( x ; , 2 )
是相应于样本 X1, X 2 , X n 的一组样本值。
n
作似然函数：L f ( x k ,1,2 ,L l ) 或 k 1
概率统计
n
或 L P( x k ,1,2 ,L l ) k 1
使得似然函数 L 达到极大值的 ˆ1,ˆ2,L ˆl
称为参数 1,2 ,L l 的极大似然估计值，记为： ˆi ( x1, x2 ,L xn ) (它与样本值有关)，记统计量：
(1453 1493)2
(1367 1493)2 (1650 1493)2 ]
10551
某种灯泡寿命的均值与方差的 矩估计值分布为:
ˆ 1493, ˆ 2 10551
概率统计
例 2. 设 X1, X2, … Xn 是取自总体 X 的一个样本，
其概率密度为：