当前位置：文档之家 › 2-似然估计和无偏性

2-似然估计和无偏性

  • 格式：ppt
  • 大小：664.00 KB
  • 文档页数：31

下载文档原格式

  / 31

合集下载

概率论与数理统计、概率论03-第46讲 估计量的评价准则,无偏性_47

概率论与数理统计、概率论03-第46讲 估计量的评价准则,无偏性_47

例1：设总体X的一阶和二阶矩存在，
E X , DX 2.
(1)证明:样本均值X和样本方差S 2分别是
和 2的无偏估计； (2)判断:B2是否为 2的无偏估计?
是否为 2的渐近无偏估计?
7
(1)证:因X1, X2 ,, Xn与X同分布,故有:
E
X
E
1 n
n i 1
X
i
1 n
n i1
由ˆ X1 ,, X n 给出的估计的平均恰是，
从 而 无 偏 性 保 证 了 ˆ没 有 系 统 误 差 .
5
例如，工厂长期为商家提供某种商品， 假设生产过程相对稳定，产品合格率为 θ，虽然一批货的合格率可能会高于θ ， 或低于θ ，但无偏性能够保证在较长一 段时间内合格率接近θ，所以双方互不 吃亏。但作为顾客购买商品，只有二种 可能，即买到的是合格品或不合格品， 此时无偏性没有意义。
E
Xi
1 n
n
故X 是的无偏估计.
E S2 2 ——见第42讲例2
故 S 2是 2的 无 偏 估 计 .
8
(2) B2
n 1S2 n
E(B2)
n 1 n
E
S2
n
1 n
2
2
故B2不是 2的无偏估计.
故lnimBE2是(B2
) lim n 的 n渐 近
2
无n1偏
2
估计
2
.
9
例2:设总体X 服从均匀分布U (0, ),是
则称ˆ是的一个无偏估计量.
若E ˆ ,那么 E ˆ 称为估计量ˆ的偏差, 若 lim E ˆ ,则称ˆ是的渐近无偏估计量.
n
3
• 无偏性：E ˆ

电子科大概率论C7_2 估计量的优良性准则

电子科大概率论C7_2 估计量的优良性准则
1. X 2. X 1 3. X 1 X 2 4. 0.1 X 1 0.2 X 2 0.7 X 3
电子科技大学
估计量的优良性准则
19.2.10
可见，一个参数的无偏估计可以有很多.
无偏估计只能保证估计无系统误差：
ˆ ) 0 E (
θ
ˆ 的取值在θ及其附近越密集越好， 希望 θ
其方差应尽量小.
2)
3 2 D(Y ) E (Y ) E (Y ) , 80 3 2 2 2 D( Z ) E ( Z ) E ( Z ) , 80 4 D( Y ) D(4 Z ) 3
2 2
4 即 max X i 比 2 4 min X i 的方差小 . 3 1 i 3 1 i 3
19.2.10
证明 S2 是σ2 的无偏估计量
例1 设总体的方差 D(X)=σ2 >0，则样本方差S2
是σ2的无偏估计. 证
( n 1) S ( X i X ) X i nX 2
2 2 2 i 1 i 1 n n
( n 1) E ( S 2 ) E ( X i 2 ) nE ( X 2 )
估计量的优良性准则
19.2.10
§7.2 估计量的优良性准则 对于总体的一个参数，可用各种不同的方法去 估计它，因此一个参数的估计量不唯一. 如 X~U(0,θ) ,θ的矩法估计量为 2 X ， 极大似然估计量为 max{ X i }
1 i n
在众多的估计量中选哪一个更好？
选取的标准是什么？ 三个常用准则：无偏性、有效性、相合性.
1 n 2 D X i n 1 n 2 P X i 2 i 1 2 n i 1

计量经济学第三版课后习题答案第二章 经典单方程计量经济学模型：一元线性回归模型

计量经济学第三版课后习题答案第二章 经典单方程计量经济学模型：一元线性回归模型

第二章经典单方程计量经济学模型：一元线性回归模型一、内容提要本章介绍了回归分析的基本思想与基本方法。

首先，本章从总体回归模型与总体回归函数、样本回归模型与样本回归函数这两组概念开始，建立了回归分析的基本思想。

总体回归函数是对总体变量间关系的定量表述，由总体回归模型在若干基本假设下得到，但它只是建立在理论之上，在现实中只能先从总体中抽取一个样本，获得样本回归函数，并用它对总体回归函数做出统计推断。

本章的一个重点是如何获取线性的样本回归函数，主要涉及到普通最小二乘法（OLS）的学习与掌握。

同时，也介绍了极大似然估计法（ML）以及矩估计法（MM）。

本章的另一个重点是对样本回归函数能否代表总体回归函数进行统计推断，即进行所谓的统计检验。

统计检验包括两个方面，一是先检验样本回归函数与样本点的“拟合优度”，第二是检验样本回归函数与总体回归函数的“接近”程度。

后者又包括两个层次：第一，检验解释变量对被解释变量是否存在着显著的线性影响关系，通过变量的t检验完成；第二，检验回归函数与总体回归函数的“接近”程度，通过参数估计值的“区间检验”完成。

本章还有三方面的内容不容忽视。

其一，若干基本假设。

样本回归函数参数的估计以及对参数估计量的统计性质的分析以及所进行的统计推断都是建立在这些基本假设之上的。

其二，参数估计量统计性质的分析，包括小样本性质与大样本性质，尤其是无偏性、有效性与一致性构成了对样本估计量优劣的最主要的衡量准则。

Goss-markov定理表明OLS估计量是最佳线性无偏估计量。

其三，运用样本回归函数进行预测，包括被解释变量条件均值与个值的预测，以及预测置信区间的计算及其变化特征。

二、典型例题分析例1、令kids表示一名妇女生育孩子的数目，educ表示该妇女接受过教育的年数。

生育率对教育年数的简单回归模型为β+μβkids=educ+1（1）随机扰动项μ包含什么样的因素？它们可能与教育水平相关吗？（2）上述简单回归分析能够揭示教育对生育率在其他条件不变下的影响吗？请解释。

第四章 估计理论

第四章 估计理论
第四章 估计理论
估计理论通常是对以下三种情况而言： 估计理论通常是对以下三种情况而言： 一种情况是指根据观测样本直接对观测样本的 各类统计持性作出估计，如观测样本的均值， 各类统计持性作出估计，如观测样本的均值，均 方差，各阶矩，各阶累量，相关函数等作出的估 方差，各阶矩，各阶累量， 计，这类估计在随机信号分析和处理中是经常遇 到的一类估计。 到的一类估计。 第二种情况是根据观测的样本，对观测样本中的 第二种情况是根据观测的样本， 信号部分的未知特定参量作出估计 未知特定参量作出估计----参量估计 信号部分的未知特定参量作出估计 参量估计 第三种情况则是根据观测样本对随时间变化的 信号s(t) 作出其波形估计 过程（或波形）估计。 作出其波形估计 过程（或波形）估计。 波形估计---过程 信号
θˆ = ∫ θ f (θ \ Y ) dθ = E[θ \ Y ]
θ
θ 的条件均值
ˆ |≥ ∆ ˆ ) = 1, | θ − θ C (θ , θ 2 0, E lse
C (θˆ\Y ) = ∫ C (θ , θˆ ) f (θ \ Y ) d θ
θ
=
∫
θˆ −
∆ 2
−∞
ˆ ) f (θ \ Y ) dθ + ∞ ∆ (θ − θˆ ) f (θ \ Y ) d θ (θ − θ ∫ˆ
ˆ ˆ C(θ\Y) =∫ C(θ ,θ ) f (θ \ Y )dθ
θ
条件平均估计代价
ˆ 使平均估计代价最小等价于条件平均估计代价 C(θ\Y) 最小 .
ˆ) =| θ − θ |2 ˆ C (θ , θ
ˆ) = E （θ − θ ) 2 为估计的均方误差 。 ˆ 此时 C (θ ˆ 使 C (θ )最小的估计又称为最小均方误差 估计。

参数估计方法与实例例题和知识点总结

参数估计方法与实例例题和知识点总结

参数估计方法与实例例题和知识点总结一、参数估计的概念参数估计是指根据从总体中抽取的样本估计总体分布中包含的未知参数。

参数通常是描述总体分布的特征值，比如均值、方差、比例等。

二、参数估计的方法（一）点估计点估计就是用样本统计量来估计总体参数，给出一个具体的数值。

常见的点估计方法有矩估计法和最大似然估计法。

1、矩估计法矩估计法的基本思想是用样本矩来估计总体矩。

比如，用样本均值估计总体均值，用样本方差估计总体方差。

2、最大似然估计法最大似然估计法是求使得样本出现的概率最大的参数值。

它基于这样的想法：如果在一次抽样中得到了某个样本，那么这个样本出现概率最大的参数值就是总体参数的估计值。

（二）区间估计区间估计则是给出一个区间，认为总体参数以一定的概率落在这个区间内。

区间估计通常包含置信水平和置信区间两个概念。

置信水平表示区间包含总体参数的可靠程度，常见的置信水平有90%、95%和 99%。

置信区间则是根据样本数据计算得到的一个区间范围。

三、实例例题假设我们要研究某地区成年人的身高情况。

随机抽取了 100 名成年人，他们的身高数据如下（单位：厘米）：165, 170, 172, 168, 175, 180, 160, 178, 176, 169,（一）点估计1、用样本均值估计总体均值：计算这 100 个数据的均值，得到样本均值为 172 厘米。

因此，我们估计该地区成年人的平均身高约为 172 厘米。

2、用样本方差估计总体方差：计算样本方差，得到约为 25 平方厘米。

（二）区间估计假设我们要以 95%的置信水平估计总体均值的置信区间。

首先，根据样本数据计算样本标准差，然后查找标准正态分布表或使用相应的统计软件，得到置信系数。

最终计算出置信区间为（168，176）厘米。

这意味着我们有 95%的把握认为该地区成年人的平均身高在 168 厘米到 176 厘米之间。

四、知识点总结（一）点估计的评价标准1、无偏性：估计量的期望值等于被估计的参数。

估计量的评价标准

估计量的评价标准

计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }

2-似然估计和无偏性


1
ln
L(1 ,2
,,k
)
0
k
ln
L(1 ,2 ,,k
)
0
— —称为对数似然方程组
ln L( )称为对数似然函数
注：由最值的必要条件知最大似然估计一定是似然 方程组的解，但未必似然方程组的所有解都是最大 似然估计.严格的讲，解经过验证才能确定是否是最 大似然估计量.
例1 设总体 X ~ N (, 2), x1, x2,…, xn 是 X 的样本值, 求 , 2 的极大似然估计.
ˆ
1 n
n
( xi
x )2
i 1
lg 的极大似然估计值为
lg lg
1 n
n
( xi
x )2
i 1
矩方法与最大似然方法的比较
注：与矩方法相比，最大似然估计法比对分布 函数族要了解更多。矩方法只需要知道前几阶 矩关于参数的函数形式，而最大似然估计法必 须知道概率或分布密度的函数形式.
解 由上例可知, 当
aˆ
1 2
x(1)
x(n)
aˆ
1 2
时, L 取最大值 1, 即
x(n)
1 2
aˆ
x(1)
1 2
显然, a 的最大似然估计值可能不存在, 也 可能不惟一.
不仅如此, 任何一个统计量
g( X1, X 2 ,, X n )
若满足
x( n )
1 2
g ( x1 ,
x2
,,
xn
)
x(1)
1 2
都可以作为 a 的估计量.
最大似然估计的不变性
设 ˆ 是 的最大似然估计值, u( )
( )是 的函数, 若u是一一映射， 则 uˆ u(ˆ ) 是 u( ) 的最大似然估计值.

计量经济学名词解释和简答题

计量经济学第一部分：名词解释第一章1、模型：对现实的描述和模拟。

2、广义计量经济学：利用经济理论、统计学和数学定量研究经济现象的经济计量方法的统称，包括回归分析方法、投入产出分析方法、时间序列分析方法等。

3、狭义计量经济学：以揭示经济现象中的因果关系为目的，在数学上主要应用回归分析方法。

第二章1、总体回归函数：指在给定Xi 下Y 分布的总体均值与Xi 所形成的函数关系（或者说总体被解释变量的条件期望表示为解释变量的某种函数）。

2、样本回归函数：指从总体中抽出的关于Y ，X 的若干组值形成的样本所建立的回归函数。

3、随机的总体回归函数：含有随机干扰项的总体回归函数（是相对于条件期望形式而言的）。

4、线性回归模型：既指对变量是线性的，也指对参数β为线性的，即解释变量与参数β只以他们的1次方出现。

5、随机干扰项：即随机误差项，是一个随机变量，是针对总体回归函数而言的。

6、残差项：是一随机变量，是针对样本回归函数而言的。

7、条件期望：即条件均值，指X 取特定值Xi 时Y 的期望值。

8、回归系数：回归模型中βo ，β1等未知但却是固定的参数。

9、回归系数的估计量：指用¶µ01,ββ等表示的用已知样本提供的信息所估计出来总体未知参数的结果。

10、最小二乘法：又称最小平方法，指根据使估计的剩余平方和最小的原则确定样本回归函数的方法。

11、最大似然法：又称最大或然法，指用生产该样本概率最大的原则去确定样本回归函数的方法。

12、估计量的标准差：度量一个变量变化大小的测量值。

13、总离差平方和：用TSS 表示，用以度量被解释变量的总变动。

14、回归平方和：用ESS 表示：度量由解释变量变化引起的被解释变量的变化部分。

15、残差平方和：用RSS 表示：度量实际值与拟合值之间的差异，是由除解释变量以外的其他因素引起的被解释变量变化的部分。

16、协方差：用Cov （X ，Y ）表示，度量X,Y 两个变量关联程度的统计量。

计量经济学期末考试名词解释

1. 总体回归函数：在给定解释变量X i 条件下被解释变量Y i 的期望轨迹称为总体回归线，或更一般地称为总体回归曲线。

相应的函数：E(Y 〡X i )=f(X i )称为（双变量）总体回归函数（populationregressionfunction,PRF ）2. 样本回归函数：样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。

该线称为样本回归线。

记样本回归线的函数形式为：i i i X X f Y 10ˆˆ)(ˆββ+==称为样本回归函数（sampleregressionfunction ，SRF ）。

3. 随机的总体回归函数：函数 〡 或者在线性假设下， 式称为总体回归函数（方程）PRF 的随机设定形式。

表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。

由于方程中引入了随机项，成为计量经济学模型，因此也称为总体回归模型。

4. 线性回归模型：假设1、回归模型是正确设定的。

假设2、解释变量X 是确定性变量，不是随机变量，在重复抽样中取固定值。

假设3、解释变量X 在所抽取的样本中具有变异性，而且随着样本容量的无限增加，解释变量X 的样本方差趋于一个非零的有限常数，即假设4、随机误差项具有零均值、同方差和不序列相关性：E(i )=0i=1,2,…,nVar(i )=2i=1,2,…,nCov(i,j )=0i≠ji,j=1,2,…,n假设5、随机误差项与解释变量X 之间不相关：Cov(X i ,i )=0i=1,2,…,n假设6、服从零均值、同方差、零协方差的正态分布i ~N(0,2)i=1,2,…,n以上假设也称为线性回归模型的经典假设，满足该假设的线性回归模型，也称为经典线性回归模型5. 随机误差项（ ）和残差项（ ）：（1）i 为观察值Y i 围绕它的期望值E(Y |X i )的离差，是一个不可观测的随机变量，又称为随机干扰项或随机误差项。

第二章 参数估计


ˆ = q ( X , K , X ) , q k k 1 n
k = 1, 2, L , m
(2.2)
ˆ 为 q 的矩估计， g ( x 若 q ) 为连续函数，则也称 g (qˆ k k k ) 为 g (q k ) 的矩估计.
【例 2.1】 设总体 X 服从参数为 l 的泊松分布，X 1 , K , X n 为来自总体的样本， 求l 的 矩估计. 解： a1 = EX = l
i =1
定义 2.1：设总体 X 的概率函数为 f ( x;q ) ， x1 ,L , x n 是来自总体的样本，则称
n
L(q ) = Õ f ( xi ;q )
i =1
(2.4)
为总体 X 对应样本 x1 ,L , x n 的似然函数.
L(q ) 越大，越有利于样本 x1 ,K , x n 被观察到.
-l ì l x e ï f ( x 0,1, 2, L 其它
或简写为
f ( x) =
-l l x e
x !
x = 0,1, 2, L
§2.1 点估计
我们经常会遇到这样的问题： 总体 X 的分布函数 F ( x,q ) 的形式已知， 但其中的参数q 未知， 希望利用 X 的样本 x1 ,K , x 这类问题称为参数的点估计 （point n 对 q 的值进行估计， estimation）问题. 比如，已知某种电子元件的寿命 X ~ N ( m , s ) ，即 X 的分布密度
P( X = xi ) = p( xi ,q ), i = 1, 2,L ,
其中q 为未知参数，q Î Q . 设 X 1 , K , X n 是来自总体 X 的一组样本， 观察值为 x1 ,K , x n .我们把观察到的样本看成 结果，而需要判断的是未知参数q 的取值，根据最大似然原理，应该选取一个最有利于结 果的发生的q 值作为 qˆ .
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

1 n 1 n 2 2 2 证 前已证 ( X i X ) X i X n i 1 n i 1
E ( X i ) E ( X ) , Var( X i ) Var( X ) 2 2 E ( X ) E ( X ) , Var( X )
时, L 取最大值 1, 即
1 1 ˆ x( n ) a x(1) 2 2
显然, a 的最大似然估计值可能不存在, 也 可能不惟一.
不仅如此, 任何一个统计量
g ( X 1 , X 2 ,, X n )
若满足
1 1 x( n ) g ( x1 , x2 ,, xn ) x(1) 2 2
最大似然估计
问题：已知总体分布函 F ( x; )，密度函数 数 或分布列为f ( x; ), 其中 ( 1 , , k )是未知参数,
的参数空间，来自总体的样本为 X 1 , , X n )， ( 样本观察值( x1 , , x n ), 求的最大似然估计 .
1、若总体是离散型，样 ( X 1 , , X n )落入 本 ( x1 , , x n )的领域中之概率度量
n
因而
n 1 2 2 n 1 n 2 2 故 E (Xi X ) n 1 i 1
1 n 1 n 2 2 2 E ( X i X ) E( X i ) E( X ) n n i 1 i 1 2 2 2 2 ( ) ( ) n
1 n k 1 n E ( Ak ) E ( X i ) E ( X ik ) n i 1 n i 1
1 n k k n
特别地
(1) 样本均值 X是总体期望 E( X ) 的 无偏估计
(2) 样本二阶原点矩
二阶原点矩
1 n 2 A2 X i是总体 n i 1
例2 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量.
3、但对于许多估计问题 ，求最大似然估计或似 然方程 的解，往往无法得到明 显的表达式。这时若已 知样本观 察值( x1 , , xn ), 可用各种最优化算法求 得最大似然估计 量的值.
似然函数只有当 a < xi < b, i = 1,2,…, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大. ˆ ˆ 取 a x , b x
(1) ( n)
则对满足 a x(1) x( n ) b 的一切 a < b ,
1 1 都有 (b a )n ( x x )n ( n) (1)
P ( X 1 x1 , X 2 x2 , , X n xn ) f ( x1 ; ) f ( xn ; ) L( )
2、若总体是连续型，样 ( X 1 ,, X n )落入 本 ( x1 ,, xn )的领域中之概率度量
p( x1 , x2 ,, xn ) f ( x1 ; ) f ( xn ; ) L( )
证毕.
设总体为N ( , 2 ), X 1 , , X n 是样本，由上 例3 例知S n 是 的无偏估计，但 n不是的无偏估计. S 2 ( n 1) S n 证 已知Y ~ 2 ( n 1)，可知密度函数 2
2 2
n 1 2 2 n 1 y 1 1 EY 1 / 2 y 1 / 2 n- 1 y 2 e 2 dy 0 n 1 2 2 n 2 n n 2 2 n y 1 1 2 2 2 2 n 1 y e dy n 1 2 0 n 1 n 1 n 1 2 2 2 2 2 2 2
2
n

i 1
n
1 e 2
n

( xi ) 2
2
2

1 ( 2 ) ( )
n 2 n 2 2

e

i 1
( xi )2 2 2
( xi ) n n 2 ln L ln(2 ) ln( ) 2 i 1 2 2 2
2
似然 方程 组为
求的最大似然估计 .
一些特殊场合下似然估 计的求解，如离散参数 情形， 经常考虑参数取相邻值 时似然函数的比值或差 .
例3 要估计鱼池中有多少条 鱼，先在鱼池中捉住 条 500 鱼，做上记号再放入池 .待充分混合后，再捉住 中 1000条 鱼，发现其中 条鱼带记号.请估计池中有多少条鱼 100 ？

ˆ L( ) max L( ), 即L( )最大值点的求法

其中 (1 ,, k )
常见有一下三种情形 :
1、求导法
似然函数L( )为的连续函数，且关于 各分量的 偏导数存在.
L( 1 , 2 , , k ) 0 1 L( 1 , 2 , , k ) 0 k
2
ˆ
1 n 2 ( xi x ) n i 1
lg 的极大似然估计值为
1 n lg lg ( xi x ) 2 n i 1

矩方法与最大似然方法 的比较
注：与矩方法相比，最 大似然估计法比对分布 函数族要了解更多。矩 方法只需要知道前几阶 矩关于参数的函数形式 ，而最大似然估计法必 须知道概率或分布密度 的函数形式.
§6.2 点估计的评价标准
对于同一个未知参数,不同的方法得到的 估计量可能不同,如
例 设总体 X ~ U (a, b), a, b 未知
ˆ ˆ a矩 X 3 S b矩 X 3 S
ˆ ˆ aMLE X (1) , bMLE X ( n )
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
例2 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量. 解 X 的密度函数为
1 , a xb f ( x; a , b) b a 0, 其它
似然函数为
a x i b, 1 , n L( x1 , x2 , , xn ; a , b) (b a ) i 1,2, , n 0, 其它
1) 待估参数的最大似然估计是否一定存在? 2) 若存在, 是否惟一?
我们可以看下例：
例3 设 X ~ U ( a – ½, a + ½), x1, x2,…, xn 是 X的一个样本, 求 a 的最大似然估计值. 解 由上例可知, 当
1 1 ˆ ˆ a x(1) x( n ) a 2 2
2
2 E ( X ) 的无偏
估计
例2 设总体 X 的期望 与方差存在, X 的
样本为 ( X 1 , X 2 , , X n )(n > 1) . 证明 2 1 n * (1) S n ( X i X )2不是 Var( X )的无偏估计; n i 1
1 n 2 Sn ( X i X )2是 Var( X ) 的无偏估计. (2) n 1 i 1
称 L( ) 为样本的似然函数
利用最大似然法的思想
选择适当的 = ˆ ,使 L( )取最大值, 即
ˆ L( ) max L( )

ˆ 称这样得到的 g( x1 , x2 , , xn )
为参数 的最大似然估计值. 称统计量 g( X 1 , X 2 , , X n ) 为参数 的最大似然估计量. MLE(Maximu m Likelihood Estimator)
分析：将该问题一般化设池中鱼N条，其中r条鱼有记号 . 随机捉s条鱼发现有x条带有记号，要估计 . N 设X为捉住的s条鱼 中带有记号的鱼数 ,
N r r s x s 则P ( X x ) N s
问题
怎么制定标准？？
由于样本是随机变量， 估计量也随之取到各种 各样的估计值，因此衡 量一个估计量的好坏， 需要 综合考虑到估计量的所 有取值及其相应的可能 性， 换言之，要从估计量的 分布出发考虑它的优良 . 性
常用 标准
(1) 无偏性 (2) 有效性 (3) 相合性
1、无偏性
ˆ ( ቤተ መጻሕፍቲ ባይዱ 1 , X 2 ,, X n ) 是总体参数的估计量 ˆ E ( ) 存在, 且对于任意 都有
1 n ln L 2 ( xi ) 0 i 1 1 n n 2 ln L ( xi ) 0 2 2 2 2 2( ) ( ) 2( ) i1
1 n ˆ xi x n i 1
注：由最值的必要条件 知最大似然估计一定是 似然 方程组的解，但未必似 然方程组的所有解都是 最大 似然估计.严格的讲，解经过验证 才能确定是否是最 大似然估计量 .
例1 设总体 X ~ N (, 2), x1, x2,…, xn 是 X 的样本值, 求 , 2 的极大似然估计. 解 L( x1 , x2 , , xn ; , )
都可以作为 a 的估计量.
最大似然估计的不变性
ˆ 设 是 的最大似然估计值, u( )
( )是 的函数, 若u是一一映射，
ˆ ˆ 则 u u( ) 是 u( ) 的最大似然估计值.