第7章 参数估计PPT课件

5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，

2021/7/23
3
§1.1 矩估计法
• 设(X1,X2,…,Xn)是来自总体X的一个样本,根据大 数定律,对任意ε>0,有
lim P {X |E(X)|}0
n
并且对于任何k,只要E(Xk)存在,同样有
ln i m P { |1 ni n 1X ik E (X k)|} 0 , k 1 ,2 ,...
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外出打 猎。一只野兔从前方窜过。 只听一声枪响，野兔应声倒下 。 如果要你推测，是谁打中的呢？
你会如何想呢?
2021/7/23
13
你就会想，只发一枪便打中，猎人命中的概率一 般大于这位同学命中的概率。看来这一枪是猎人 射中的。
这个例子所作的推断已经体现了最大似然法的基 本思想 ：一次试验就出现的事件有较大的概率。
6
例: 设总体 X 服从泊松分布 () ，参数λ未知， (X1, X2,, Xn) 是来自总体的一个样本，求参数λ的矩 估计量.
解 总体X的期望为 E(X)
从而得到方程
1 n
n i1
Xi
所以λ的矩估计量为
ˆ 1 n
n i1
Xi
X
2021/7/23
7
例: 设总体 X 服从参数为λ的指数分布，其中参
2021/7/23
11
§1.2最大似然法 它是在总体类型已知条件下使用的一种参数估 计方法 。
它首先是由德国数学家高斯在 1821年提出的。 然而, 这个方 法常归功于英国统计学家费歇。
Gauss
费歇在1922年重新发现了这一 方法，并首先研究了这种方法 的一些性质。
2021/7/23

L( ) max L( )
称^为
的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合概率分布 (或联合密度);
(2) 把样本联合概率分布(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );
(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;
1. 将待估参数表示为总体矩的连续函数 2. 用样本矩替代总体矩，从而得到待估参
数的估计量。
四. 最大似然估计（极大似然法）
在总体分布类型已知条件下使用的一种 参数估计方法 .
首先由德国数学家高斯在1821年提出。 英国统计学家费歇1922年重新发现此
方法，并首先研究了此方法的一些性质 .
例：某位同学与一位猎人一起外出打猎.一只 野兔从前方窜过 . 一声枪响，野兔应声倒下 .
p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027
应如何估计p?
若：只知0<p<1, 实测记录是 Y=k
(0 ≤ k≤ n), 如何估计p 呢?
注意到
P(Y k) Cnk pk (1 p)nk = f (p)
第七章 参数估计
参数估计是利用从总体抽样得到的信息 估计总体的某些参数或参数的某些函数.
仅估 计一 个或 几个 参数.
估计新生儿的体重
估计废品率
估计降雨量
估计湖中鱼数
…
…
参数估计问题的一般提法:
设总体的分布函数为 F(x, )，其中为未 知参数 (可以是向量).从该总体抽样，得样本

然而，这个方法常归功于 英国统 计学家费歇 . 费歇在1922年重新发现了 这一方 法，并首先研究了这 种方法的一些质 .
Gauss
Fisher
基本思想
甲.乙两人比较射击技术,分别射击目标一次,甲中而乙未中, 可以认为:甲射击技术优于乙射击技术. 事件A发生的概率为0.1或0.9,观察一次,事件A发生了, 可以认为:事件A发生的概率为0.9. 实际问题(医生看病、公安人员破案、技术人员进行质量 检验等)尽管千差万别,但他们具有一个共同的规律,即在 获得了观察资料之后,给参数选取一个数值,使得前面的观 察结果出现的可能性最大. 最大似然估计就是通过样本值 x1 , , x n 等数求得总体的 分布参数,使得 X1 ,, X n 取值为 x1 , , x n 的概率最大.
i
L( ) L( x1 , , x n ; ) f ( x i ; ),
i 1
n
的最大值，这里 ( )称为样本的似然函数 L .
ˆ 若 L( x 1 , , x n ; ) max L( x 1 , , x n ; )

ˆ 则称 ( x1 , , xn )为 的极大似然估计值 .
i
xi
在得到观测值 x1 ， x 2 ， ， x n 的前提下，自然 应当选取使得 n
f ( x ; )dx
i i 1
i
达到最大的 值作为未知参数 的估计值．
因为当未知参数 等于这个值时，出现给 定的那个 样本观测值的可能性最 大．
但 dxi 不随 而变，故只需考虑：
3.期望和方差的点估计 在实际中,常常以样本均值作为总体均值的 点估计,以样本方差作为总体方差的点估计. 期望的点估计: (1)无偏性 1 n 选择估计量 X X i n i 1 (2)样本容量越大,估计值 越有效 方差的点估计: