当前位置：文档之家 › 概率论与数理统计-第6章-第2讲-最大似然估计法

概率论与数理统计-第6章-第2讲-最大似然估计法

  • 格式：pptx
  • 大小：630.31 KB
  • 文档页数：13

下载文档原格式

  / 13

合集下载

第六章-最大似然估计

第六章-最大似然估计

(6-3)
第 2 页 共 27 页
第六章 最大似然估计
与非线性回归的情况一样，在 ML 估计中也需要假定参数的可识别性，具体如下：
假定（可识别假定）：对参数空间 的任意
，有
其中， 为参数 的真值。
这里需要说明一下，与 LS 估计不同，在 ML 估计的框架中，用于保证估计量性质的约 束条件无法很清晰的划分为几类简单的假定。因此，更常用的做法是直接给出这些约束条件 （正则条件），而不是作为假定提出。我们之所以单独列出可识别假定，是因为它是整个极 值估计的核心假定，且在性质证明中能直接看出。
CRLB 是指任意无偏估计量的方差所能达到的最低水平，计算如下：
(6-8)
以下简单证明 CRLB 的性质。
证明： 已知密度函数
，满足
，其得分函数为 ，则有
。记
的估计量
其中，
注意到，对任意矩阵 得
所以有 当估计量为无偏估计时，即
，存在满秩矩阵 ，则有
，上式可化简为：
。 。
，使
其中，
为
。
证明完毕。
称为
的估计量的 CRLB。当
第六章 最大似然估计
，对应的检验统计量计算如下：
(6-23)
LR 检验统计量： LM 检验统计量：
(6-24)
(6-25)
其中， 和 分别表示无约束和有约束下的 ML 估计， 和 似然函数的估计。
在零假设下，上述的 Wald 检验、LR 检验和 LM 检验都收敛于
个数。
分别表示对应的 ，其中 J 为约束的
考虑线性约束
，Wald 检验统计量可计算如下：
(6-27)
其中，
，
；
残差。
又，有约束的对数似然函数可计算如下：
第6章-最大似然估计

第6章-最大似然估计

为参数空间，即参数 所有可能取值所构成的集合。
通过抽取随机样本 y1 , , yn 来估计 。 假 设 y1 , , yn 为 iid ， 则 样 本 数 据 的 联 合 密 度 函 数 为
f ( y1; ) f ( y2 ; ) f ( yn ; ) 。
在抽样前， y1 , , yn 为随机向量。 抽样后， y1 , , yn 有了特定的样本值，可将样本联合密度 函数视为在 y1 , , yn 给定情况下，未知参数 的函数。
0 0
最后一步用到了信息矩阵等式。
25
假设ˆ 是对真实参数 0 的任意无偏估计，则在一定的正则 条件(regularity conditions)下，ˆ 的方差不会小于[ I ( 0 )]1，即 ˆ) [ I ( )]1。 Var( 0 称[ I ( 0 )]1为 “克莱默-劳下限” (Cramer-Rao Lower Bound)。 无偏估计所能达到的最小方差与信息矩阵有关。曲率 I ( 0 ) 越大，则[ I ( 0 )]1越小，无偏估计可能达到的最小方差越小。 在古典线性回归模型中，可证明(参见附录)
5
一阶条件要求，对数似然函数的梯度向量(gradient，偏导 数、斜率) s( ; y ) 为 0 ，实际上是 K 个未知参数 (1 2 K ) ，K 个方程的方程组。 该 向 量 也 称 “ 得 分 函 数 ”(score function) 或 “ 得 分 向 量”(score vector)。 得分函数 s( ; y ) 是 y 的函数，也是随机向量。 在下面，记真实参数为 θ0 ，而 θ 为该参数的任何可能取值。
ln L( ; y1 , , yn ) i 1 ln f ( yi ; )
n
概率论与数理统计教材第六章习题

概率论与数理统计教材第六章习题


X σ0 n
~ N(0,1)
对于置信水平1- ，总体均值的置信区间为 对于置信水平 -α，总体均值 的置信区间为
X
σ0
n
uα < < X +
2
σ0
n
uα
2
(2)设总体 ～ N(,σ 2 ), 未知 ，求的置信区间。 设总体X～ 未知σ， 的置信区间。 设总体 的置信区间
σ 0 ，则样本函数 t = X ~ t(n 1) 用 S 代替 S n
i =1
n1
n1
F
1
α ∑ Yj 2
2 j =1
n2
(
)
2
n2
10
2 2 及 （1）设两个总体 ～ N(1,σ1 ) 及Y～ N(2 ,σ 2 ), 未知 1 2， ）设两个总体X～ ～
2 σ1 的置信区间。 求 2 的置信区间。 σ2
选取样本函数 选取样本函数
2 2 S1 σ1 F = 2 2 ~ F(n1 1, n2 1) S2 σ2
∑x
i =1
n
i =1
i
n = 0.
1 p
得 p 的极大似然估计值为 p =
n
∑x
i =1
n
1 = x
i
12
1 θ 2. 设总体 服从拉普拉斯分布：f ( x;θ ) = e ,∞< x < +∞, 设总体X 服从拉普拉斯分布： 2θ 求参数 θ 其中 > 0. 如果取得样本观测值为 x1 , x2 ,L, xn , 求参数θ
第六章 参数估计
(一)基本内容
一、参数估计的概念 1 定义：取样本的一个函数θ ( X 1 , X 2 ,L , X n ), 如果以它的观测 定义：
西北工业大学《概率论与数理统计》课件-第六章 参数估计

西北工业大学《概率论与数理统计》课件-第六章 参数估计

最大概率的思想就是最大似然法的基本思想 .
(2) 似然函数
定义6.1 设总体X的分布密度(或分布律)为 p(x; ), 其中 (1, 2, ,m )为未知参数. 又设
( x1, x2,, xn ) 为自总体X的样本(X1,X2,…,Xn) 的一 个观察值，则称样本的联合分布
n
L( ) p(x1, x2, … , xn; ) p( xi; )
2º似然估计方程组与最大似然估计之间没有必 然
从中解得 pˆ k n
参数 p的估计值
这时, 对一切 0< p <1, 均有
P{Y k; pˆ } P{Y k; p}
综上所述： 设某试验的可能结果为： A1, A2 , ···, Ai , ···
若在一次试验中，某结果 Ai 出现，则应选择参 数使Ai 出现的概率最大.
以上这种选择一个参数使得实验结果具有
(k 1,2,, m)
(4) 求最大似然估计(MLE)的步骤:
1 写出似然函数
(1, 2 , ,m )
n
L( ) L( x1, x2,, xn; ) p( xi; )
n
i 1
2 取对数 ln L( ) ln p( xi; )
i 1
3 解似然方程(组)
ln L

ln L
2
为来自总体X的简单随机样本. 矩估计法的具体步骤:
1 求出k E( X k ) (1,2,,m )， k 1,2,,m；
2 要求k Ak , k 1,2,, m
这是一个包含 m个未知参数1,2 ,,m的方程组.
3 解出其中1,2,,m , 用ˆ1,ˆ2,,ˆm表示.
4 用方程组的解ˆ1, ˆ2 , ,ˆm 分别作为 1,2 ,,m的估计量,这个估计量称为
概率论与数理统计第6章参数区间估计2,3节

概率论与数理统计第6章参数区间估计2,3节



n
E(X
k
)

E(X
k)
i1
i1
二、有效性
未知参数 的无偏估计量不是唯一的.
设 ^1 和 ^2 都是参数 的无偏估计量,
θˆ 1
θˆ 2
集中
分散
蓝色是采用估^ 计量 1 , 用 14 个样本值得到的 14 个估计值. 紫色是采用估^ 计量 2 , 用 14 个样本值得到的 14 个估计值.
若limD(ˆ)0， 则ˆ是的一致估 . 计量 n
回顾例子.设总体X的概率密度为
f(x)6x3 (x),0x;
0, 其他
X1, X2,…, Xn 是取自总体X 的简单随机样本, (1) 求的矩估计量 ˆ；
(2) 求ˆ的方差D(ˆ).
解：矩估计 ˆ量 2X. D(ˆ)4D(X)4D(X)2
若滚珠直径服从正态分布X ~ N( , 2), 并且已知 = 0.16(mm),求滚珠直径均值的置信水平为95%
的置信区间.
解：由上面求解的置信水平为1- 的置信区间
Xσn 0 uα/,2 Xσn 0 uα/2
已 n 知 1,0 0 0 .1,6 0 .0,5 x110i110xi 14.92,
若进行n次独立重复抽样，得到n个样本观测值,
每个样本观测 个值 随确 机(定 ˆ1区 ,ˆ2一 )间 .那么
每个区间的 可真 能 ， 或 值 包不 含包 的含 真 , 值
根据伯努利大数定理, 在这n个随机区间中,
包含 真值1 的 0(1 0 约 )% 占 ,不包含 10 的 % 0. 约
便得 k的 到 最大似 ˆk(X 1,然 X 2, ,估 X n).计
第二节 判别估计量好坏的标准
第6 章 最大似然估计法

第6 章 最大似然估计法


y
)
⎤⎥⎥⎥⎦⎫⎪⎪⎬⎪⎪⎭−1
。
第二种方法是，将期望算子忽略掉，即
18
An var(θˆ
ML
)
=
⎡⎢⎢⎢⎣−
∂
2
ln L(θˆ ML ∂θˆ ∂θˆ ′
;
y
)
⎤⎥⎥⎥⎦−1
。此方法被称为“观测信息矩阵”
（Observed Information Matrix，OIM）法。
第三种方法利用信息矩阵等式，用
7
最优 σ2 。
在 第 一 步 ， 选 择 β 使 得 ln L(β, σ2) 最 大 ， 这 等 价 于 让 (y − Xβ)′(y − Xβ) 最小。
βˆ ML = βˆ OLS = (X′X)−1 X′y (6.9)
在第二步，对 σ2 求导，
−
n 2
1 σ2
+
1 2σ 4
e′e
20
其中，K 为约束条件的个数（即为解释变量的个数）。 2．似然比检验（Likelihood Ratio Test，LR）：
H0 Θ
图 6.4、无约束与有约束的参数空间
21
如果 H0 正确，则 ln L(βˆU )−ln L(βˆ R ) 不应该很大。在此例中，
βˆ R = β0 。LR 统计量为，
19
6.7 三类渐近等价的统计检验
对于线性回归模型，检验原假设 H0 : β = β0 ，其中 βK×1 为未 知参数，β0 已知，共有 K 个约束。
1．沃尔德检验（Wald Test）：如果 H0 正确，则 (βˆU −β0) 的绝 对值不应该很大。沃尔德统计量为，
W ≡ (βˆU −β0 )′ ⎡⎢⎣Var(βˆU )⎤⎥⎦−1 (βˆU −β0 ) ⎯d⎯→ χ2 (K ) (6.18)
极大似然估计法的解题步骤

极大似然估计法的解题步骤

最大似然估计法是一种可以用来估计参数的数学方法，它是统计学中
最常用的估计方法之一。

本文将介绍最大似然估计法解题的步骤。

第一步：确定似然函数。

最大似然估计法是一种在给定数据条件下求
取参数和特征值的估计方法，它将一个参数模型的似然函数定义为样
本数据的概率密度。

要确定这个似然函数，我们必须首先确定模型的
数学表达式，这一步是重要的，它将决定似然函数的形式，因此决定
最大似然估计法的参数模型。

第二步：求取参数的似然估计值。

在确定了似然函数后，我们就可以
计算出参数的似然估计值了。

由于模型中参数之间可能存在相关性，
这时就可以使用最大似然估计法来求解参数估计值。

最大似然估计值
就是求出似然函数概率密度最大值点所代表的参数值。

第三步：解释解决结果。

在获得了参数的似然估计值后，可以对拟合
后的结果进行解释，说明为什么模型准确地估计了参数值。

最后，最大似然估计是一种有效的数学方法，本文介绍了最大似然估
计法解题的步骤，也就是确定似然函数，求取参数的似然估计值，以
及解释解决结果。

并且，本文还强调了最大似然估计法的重要性和有
用性，在实际应用中，最大似然估计法可以给出准确可靠的估计结果。

概率论与数理统计第6章

概率论与数理统计第6章

第六章6.4 在例6.2.3 中, 设每箱装n 瓶洗净剂. 若想要n 瓶灌装量的平均阻值与标定值相差不超 过0.3毫升的概率近似为95%, 请问n 至少应该等于多少？ 解：因为1)3.0(2)/3.0|/(|)3.0|(|-Φ≈<-=<-n nnX P X P σσμμ依题意有,95.01)3.0(2=-Φn ，即)96.1(975.0)3.0(Φ==Φn于是 96.13.0=n ，解之得 7.42=n 所以n 应至少等于43.6.5 假设某种类型的电阻器的阻值服从均值 μ=200 欧姆， 标准差σ=10 欧姆的分布, 在一个电子线路中使用了25个这样的电阻.（1) 求这25个电阻平均阻值落在199 到202 欧姆之间的概率; （2) 求这25个电阻总阻值不超过5100 欧姆的概率. 解:由抽样分布定理，知nX /σμ-近似服从标准正态分布N （0，1)，因此(1) )25/10200199()25/10200202()202199(-Φ--Φ≈≤≤X P)5.0(1)1()5.0()1(Φ+-Φ=-Φ-Φ=5328.06915.018413.0=+-= (2) )204()255100()5100(≤=≤=≤X P X P X n P 9772.0)2()25/10200204(=Φ=-Φ≈6。

8 设总体X ~N （150,252), 现在从中抽取样本大小为25的样本, {140147.5}P X ≤≤。

解： 已知150=μ，25=σ，25=n ，)25/25150140()25/251505.147()5.147140(-Φ--Φ≈≤≤X P)5.0()2()2()5.0(Φ-Φ=-Φ--Φ= 2857.09615.09772.0=-=第六章《样本与统计量》定理、公式、公理小结及补充：。

最大似然估计公式了解最大似然估计的计算公式

最大似然估计公式了解最大似然估计的计算公式

最大似然估计公式了解最大似然估计的计算公式最大似然估计（Maximum Likelihood Estimation, MLE）是概率统计学中常用的一种参数估计方法，旨在通过大量观测数据，根据最有可能（最大似然）导致观测结果发生的参数值，来估计未知参数的值。

在概率模型中，假设数据服从某一分布，而最大似然估计能够找出使得观测数据出现概率最大的参数值。

一、最大似然估计的基本概念最大似然估计的基本思想是通过选择合适的参数值，使得观测数据出现的概率最大化。

在给定观测数据和参数模型的前提下，我们可以通过最大化似然函数来获得最可信的参数估计。

似然函数（Likelihood Function）是指在给定某个参数值的条件下，观测数据出现的可能性。

似然函数的计算公式如下：L(θ|x) = f(x|θ)其中，L代表似然函数，θ代表参数值，x代表观测数据。

f(x|θ)表示基于参数θ的概率密度函数或概率质量函数。

似然函数的求解就是寻找使得给定观测数据出现概率最大的参数值。

二、最大似然估计的计算公式在进行最大似然估计时，我们通常需要计算似然函数的极大值点。

为了简化计算，我们常使用对数似然函数（Log-Likelihood Function）来替代似然函数。

对数似然函数的计算公式如下：ln L(θ|x) = Σ ln f(xi|θ)其中，ln表示自然对数，Σ表示求和运算。

ln L(θ|x)表示对数似然函数，xi表示第i个观测数据。

利用对数似然函数，最大似然估计的目标就是寻找使得对数似然函数最大的参数估计值。

为了找到使对数似然函数最大的参数值，我们需要采用数值优化的方法，例如梯度下降法或牛顿法等。

三、最大似然估计的应用最大似然估计广泛应用于各个领域的数据建模和参数估计中。

以下是最大似然估计在常见概率模型中的应用实例：1. 二项分布：最大似然估计可以用于估计二项分布的参数p，即成功的概率。

在伯努利试验或二项试验中，成功与失败的结果按独立的概率p和1-p发生。

最大似然估计法的步骤

最大似然估计法的步骤

最大似然估计法的步骤
最大似然估计法是一种常用的参数估计方法，它基于样本数据的观测结果，通过寻找最大化概率的参数值来估计真实参数值。

以下是最大似然估计法的步骤：
1. 理解问题：首先，我们需要明确要解决的问题是什么，以及需要估计的参数是什么。

这可以通过问题的背景和给定的数据来确定。

2. 建立模型：根据问题的特点和要求，我们需要选择合适的概率分布模型来描述数据的分布。

常见的模型包括正态分布、伯努利分布等。

3. 定义似然函数：根据所选的模型，我们可以定义似然函数。

似然函数描述了参数取值下观测到给定数据的概率。

4. 取对数：为了方便计算和优化，通常我们会取似然函数的对数，得到对数似然函数。

5. 构建似然方程：通过对对数似然函数求导，我们可以得到似然方程。

将似然方程设为零，求解参数的估计值。

6. 求解参数：根据似然方程，我们可以使用数值方法（如牛顿法、梯度下降法）或解析方法（如求导）来求解参数的估计值。

7. 检验结果：在求解参数后，我们需要对估计结果进行检验。

可以利用统计方法进行假设检验或计算置信区间来评估估计结果的可靠
性。

8. 解释结果：最后，我们需要解释参数估计的意义和结果。

这可以通过与问题的实际意义和背景相结合来完成。

最大似然估计法是一种常用且有效的参数估计方法，它在统计学和机器学习领域得到了广泛应用。

通过合理选择模型和构建似然函数，最大似然估计法可以帮助我们从有限的样本数据中推断出参数的最佳估计值，为问题的解决提供了有力的工具和方法。

吴赣昌编-概率论与数理统计-第6章(new)

吴赣昌编-概率论与数理统计-第6章(new)

ln L 0 1 ln L 0 2 ln L 0 m
ˆ , ˆ ,, ˆ 从中解出 1 2 m
在例6.4中，
n xi n xi n i 1 i 1 xi ln n xi ln(1 ) ln L( ) ln (1 ) i 1 i 1
1 n 解得矩法估计量为 ˆ Xi X n i 1
注：1
n n n 1 1 1 2 2 1 2 2 2 X 2 X X X i i (Xi X ) (Xi 2Xi X X ) n n n i 1 i 1 i 1 n i 1 n i 1 n n
i 1 n
xi !
e

e
n
x!
i 1 i
n
x
i
n
x
i 1
1
n
i 1
i
0
n 1 ˆ xi n i 1
d2 1 n n (ln L ( )) x 0 2 2 i d i 1 x ˆx
ˆx 所以
ˆ X L
二、极大似然估计法(R.A.Fisher费歇)
先看一个简单例子： 某位同学与一位猎人一起 外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测， 是谁打中的呢？ 你会如何想呢?
1、极大似然估计法的基本思想
由样本的具体取值，选择参数θ的估计量 ˆ 使得取该样本值发生的可能性最大。 一般说，事件A发生的概率与参数有关，取
n 2 i 2 i 1
n n n 1 ln L( , 2 ) ln 2 ln 2 ( xi 2 2 2 2 i 1 ln L( , 2 ) 1 n 2 ( xi ) 0 i 1 解得 2 n ln L ( , ) n 1 2 2 ( xi ) 0 2 4 2 2 i 1

概率论与数理统计：极大似然估计法

教学内容一、引入新课：矩估计法虽然简单，但是没有用到已知分布的信息。

而在极大似然估计法中，我们将改进这一点。

下面先通过一个例子来说明极大似然估计法的原理：例1 有两个外形相同的箱子，甲箱和乙箱，各有100个球，甲箱有90个黑球，10个白球，乙箱有10个黑球 ，90个白球。

很明显，两个箱中的优势球种完全不一样。

现在把甲乙两箱的标签撕掉，随机从一箱中，进行返回式抽取4次，其结果全为黑球，问所取的球来自哪一个箱子？我相信大家都会说是甲箱，因为它的可能性更大。

我们也可以进行如下计算来说明这个结果。

解：设i X 表示第i 次取球的结果)4,3,2,1(=i ，4321,,,X X X X 是相互独立的。

已知，443214321)1()1()1()1()1,1,1,1(p X P X P X P X P X X X X P ========== 若从甲箱中抽取，则9.0=p ，抽取4次全为黑球的概率为6561.0，若从乙箱中抽取，则1.0=p ，抽取4次全为黑球的概率为0001.0.0.0001是一个小概率，一般认为小概率事件在一次试验中是不可能发生的。

反过来也就说明一次试验中某事件发生了，这个事件的概率应该较大。

这就是极大似然估计法的基本思想。

二、讲授新课：1、极大似然法的基本原理：一个随机试验有若干可能结果， A ，B ，C 等等，然后进行了一次试验，如果结果A 出现了，我们认为试验的条件对A 的出现有利，也就是试验条件对A 的概率应该是最大。

把这样的原理用到参数估计上，就是总体X 服从分布中含有未知参数θ，在一次试验中出现了样本n x x ,,1 ，如何估计θ呢？极大似然估计的思想，试验的条件应该使这组样本观测值出现的概率最大。

所以，要计算参数θ就是寻找使样本观测值出现的概率达到最大值的θˆ。

这样找到的θˆ就是θ的极大似然估计值。

2、 极大似然法的步骤：(1)似然函数：);,,(1θn x x L );,,(11θn n x X x X P ===⎪⎪⎩⎪⎪⎨⎧==∏∏==似然函数是其密度函数是连续型随机变量时，当似然函数是其分布律是离散型随机变量时，当i n i i i ni i i X x f X x X P ,);(,)(11θ (2)取对数： );,,(ln 1θn x x L(3)求导：0);,,(ln 1=∂∂θθn x x L 似然方程 (4)求解似然方程，得参数的估计值。

最大似然估计算法

最大似然估计算法最大似然估计(Maximum Likelihood Estimation, MLE)是一种常用的参数估计方法，广泛应用于统计学和机器学习领域。

它基于概率论的理论基础，通过寻找使得观测数据出现的概率最大的参数值，来估计未知的参数。

1.定义似然函数：假设观测数据是从一个概率分布中生成的，我们需要定义一个参数化的概率分布，并将数据带入概率分布中。

这个概率分布通常是一个概率密度函数(对连续变量)或概率质量函数(对离散变量)。

2.建立似然函数：将观测数据的概率密度函数(或概率质量函数)表达式，带入参数化概率分布中，得到关于参数的函数。

这个函数称为似然函数。

3.计算似然函数的对数：为了方便计算和分析，通常会计算似然函数的对数，这样可以将乘积转化为求和，且便于计算导数。

4.极大化似然函数：通过求解似然函数的极值问题，找到使得似然函数取得最大值时的参数值，这个参数值称为最大似然估计量，通常用θ^表示。

5.参数估计：得到最大似然估计量后，我们就可以用它来估计未知参数的值。

最大似然估计的重要性在于它具有很好的统计性质，例如一致性和渐近正态性。

一致性指的是当样本量趋近于无穷时，最大似然估计量会以概率1收敛到真实参数值。

渐近正态性则是指当样本量足够大时，最大似然估计量的分布近似服从高斯分布。

这些性质使得最大似然估计成为了一种广泛使用的参数估计方法。

最大似然估计在实际应用中有很多应用，例如线性回归、逻辑回归和混合高斯模型等。

最大似然估计也可以通过解析解或者数值优化的方法来求解。

对于简单的问题，通常可以通过求导数等条件来解析求解，而对于复杂的问题，通常需要借助数值优化算法。

总结起来，最大似然估计是一种常用的参数估计方法，通过最大化观测数据出现的概率来估计未知参数。

它具有良好的统计性质并广泛应用于统计学和机器学习领域。

第六章《概率论与数理统计教程》课件


1

例5. 设X服从[0,λ]区间上的均匀分布,参数
λ>0,求λ的最大似然估计. 1 解:由题意得: X ~ f ( x; )
1 L( x1 , x 2 ,..., x n ; ) n 0
0 x
0 其它 0 x1 , x 2 ,..., x n
dL n n1 0 d
其它
无解.
应用最大似然估计基本思想: L越大,样本观察值越可能出现 取 max( x1 , x 2 ,..., x n ) 此时,L取值最大, 所以,所求最大似然估计为 max( x1 , x 2 ,..., x n )
考虑L的取值,要使L取值最大,λ应最小, 0 x1 , x 2 ,..., x n


例2 设总体 X ~ N ( , 2 ) ,其中 及 2 都是未知参数，如
果取得样本观测值为 x1 ,, x n , 求 及 2 的矩估计值。
解： 因为总体X的分布中有两个未知参数，所以应考虑一、二阶 原点矩，我们有 v1 ( X ) E ( X )
v 2 ( X ) E( X 2 ) D( X ) [ E( X )]2 2 2
e

e
1 2
2
2
( x )2 2 2
e
L( x1 , x 2 ,..., x n ; , )
2
i 1
1 2
2
( xi )2
(
2
1 2
2

1 2 2
) e
n

i 1
n
( xi )2

1 n 2 n 1 n 2 2 ) 2 ( x i ) ln 2 ln L n ln( ( xi ) 2 i 1 2 2 2 n 2 2 i 1 1 ln L 1 n Xi X 2 ( xi ) 0 n i 1 i 1 1 n 2 1 n n ln L n 1 ( xi )2 ( xi X )2 2 2 4 ( x i ) 0 n i 1 n i 1 2 2 2 i 1

概率论与数理统计(王明慈第二版)第6章参数区间估计2,3节


第三节 正态总体参数的区间估计
基本内容： 一、区间估计的概念 二、正态总体均值的区间估计 三、正态总体方差的区间估计
一、区间估计的概念
定义 设总体 X 的分布中含有未知参数，对于 给定的概率 1- (0 < < 1), 若存在两个统计量 ˆ1(X1, X2, , Xn )与ˆ2(X1, X2, , Xn ), 使得
即
P
i
n 1
tα/
2
(n
-
1),
x
s n
tα/
2(n
1)
得到的95%的置信区间为
(14.92-0.138, 14.92+0.138) 即(14.782, 15.058) (mm)
三、正态总体方差 2 的区间估计
1. 已知均值= 0的正态总体 X, 求未知参数 2 1- 的置信区间
解：设总体 X ~ N( , 2), 有
k 1,2,L ,m
第三步: 解含m个参数ˆ1，ˆ2，L的，mˆ个m 方程组, 得
ˆk ˆk X1, X2, , Xn k 1,2, ,m
以ˆk作为参数 的k 估计量.
第四步:将 θˆk中的X1 , X2 , , Xn换成x1 , x2 , , xn, 便得到θk的矩估计值θˆk ( x1 , x2 , , xn ).
例3. 设X1，X2，X3是来自总体X的样本, 且
总体均值E(X)= 未知, 则下列4个关于 的
统计量中哪个更有效？( C )
A. X1 X 2 3X 3 ; 55 5
C. X1 X 2 X3 ; 333
B. X1 X 2 X 3 ; 424
D. X1 X 2 X 3 . 362
分析：利用P181的7题结论，可选C.

极大似然估计方法介绍

极大似然估计方法介绍极大似然估计（Maximum Likelihood Estimation, MLE）是概率统计中常用的参数估计方法之一，也是统计学中估计方法的基础之一、它的核心思想是通过最大化样本的似然函数来估计未知参数值。

在介绍极大似然估计方法之前，首先需要了解一些概率统计的基础知识。

1.似然函数：似然函数是一个关于参数的函数，其定义为给定参数下观察到的样本的概率密度函数（概率质量函数）的乘积。

似然函数表示了参数取值的可能性在给定观察数据下的程度。

2.最大似然估计：最大似然估计是一种基于观察数据的统计推断方法，通过寻找使得似然函数取得最大值的参数值来估计未知的参数。

下面以一个例子来说明极大似然估计的思想和步骤。

假设我们有一组观察数据{x₁,x₂,...,xx}，并假设这些数据服从一些分布，例如正态分布。

我们希望通过这组数据来估计正态分布的均值和方差。

步骤一：似然函数的建立对于正态分布，概率密度函数为：x(x，xx,x²)=(1/√(2xx²))*x^(-(x−xx)²/(2x²))其中xx和x²是未知参数，我们要通过观察数据来估计这两个参数。

对于一个具体的观察值xᵢ，其在给定参数xx和x²下的概率为x(xᵢ，xx,x²)。

那么样本的似然函数为：x(xx,x²)=x(x₁，xx,x²)*x(x₂，xx,x²)*...*x(xx，xx,x²)=∏[x(xᵢ，xx,x²)]步骤二：对数似然函数的计算为了方便计算，通常会对似然函数取对数，即对数似然函数：xx(x(xx,x²))=∑xx[x(xᵢ，xx,x²)]步骤三：最大化对数似然函数通过求解xx(x(xx,x²))对参数xx和x²的偏导数，令偏导数等于0，可以得到最大似然估计的闭式解。

如果无法解析求解，可以通过数值优化等方法来求得最大似然估计。

概率论与数理统计-第6章-第2讲-最大似然估计法


解 X 的分布律为： P( X k) p(1 p)k1, k 1,2,
n
故似然函数为 L( p)
n
p(1
p) xi 1
pn (1
xi n p) i1 ,
i 1
n
令
d
ln L( p)
n
xi n
i 1
0.
dp
p 1 p
如何求EX 的
最大似然估计？
解得 p的最大似然估计
pˆ
n
n
xi
f
(xi )
( x1 x2
n
xn ) 1
,
xi 1
n
ln L( ) n ln ( 1)ln xi i 1
d
ln L( ) d
n
n i 1
ln
xi
0
解得
n
n
的最大似然估计 ˆ n n .
ln xi
ln X i
i 1
i 1
02 典型例题
例 设X ~ G( p), x1, , xn是来自X 的一个样本值， 试求参数p与EX 的最大似然估计.
我们先来看一个实例
2
第2讲 最大似然估计法
例 ——生活经验：
黑球白球9:1，不知哪种多？有放回抽三次，两次白球，一次黑球.
哪种多？
白ห้องสมุดไป่ตู้多！
原理： 一次试验就出现的事件有较大的概率
这种选择一个参数使得实验结果具有最大概率的思想就是最大似 然法的基本思想 .
方法
0.9? 0.1?
最大
L( ) P(X1 1, X2 0, X3 1)
大似然原则来求.
L( ) 无驻点
不可导
7
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

P(X1 1)P(X2 0)P(X3 1)
3
本讲内容
01 求最大似然估计的一般步骤 02 典型例题
01 求最大似然估计的一般步骤
(1) 构造似然函数 L(θ)
设X1, , X n是来自X 的样本, x1, , xn是其一组样本值，
若总体X 属离散型,其分布律 P( X x) p(x; ),
概率论与数理统计
第6章 参数估计
第2讲 最大似然估计法
主讲教师 |
第2讲 最大似然估计法
上一讲介绍了矩估计，这一讲介绍点估计的另外一种方法— —最大似然估计法，它是在总体类型已知条件下使用的一种参数 估计方法 .
它首先是由数学家高斯在1821年提出的，费歇在1922年重 新发现了这一方法，并研究了它的一些性质 ，从而得到广泛应 用.
即
L(
x1
,,
xn
;ˆ)
max
L(
x1,,
xn
;
)
ˆ(x1, , xn )称为参数的最大似然估计值.
ˆ( X1, , X n )称为参数的最大似然估计量.
一般， 可由下式求得：
dL( ) 0或 d ln L( ) 0.
d
d
似然方程
6
01 求最大似然估计的一般步骤
注1
未知参数可以不止一个, 如1,…, k
ln
L
n
i1
(xi )2 2 2
n 2
ln(2
)
n 2
ln(
2)
似然 方程 组为
ln
L
1
2
n
(xi
i1
)
0
(
2 ) ln
L
1
2( 2 )2
n
( xi
i1
)2
n
2(
2)
0
ˆ mle
1 n
n
xi
i1
x
2
mle
1 n
n
(xi
i1
x)2
12
概率论与数理统计
学海无涯，祝你成功！
主讲教师 |
1 x
i 1
10
02 典型例题
例 设X ~ G( p), x1, , xn是来自X 的一个样本值， 试求参数p与EX 的最大似然估计.
p的最大似然估计
pˆ
n
n
xi
1 x
i 1
如何求EX 的
最大似然估计？
因为EX 1 ，故EX 的最大似然估计为 EX 1 x
p
pˆ
最大似然估计不变性 若ˆ 是 的最大似然估计，
我们先来看一个实例
2
第2讲 最大似然估计法
例 ——生活经验：
黑球白球9:1，不知哪种多？有放回抽三次，两次白球，一次黑球.
哪种多？
白球多！
原理： 一次试验就出现的事件有较大的概率
这种选择一个参数使得实验结果具有最大概率的思想就是最大似 然法的基本思想 .
方法
0.9? 0.1?
最大
L( ) P(X1 1, X2 0, X3 1)
n
L( ) L(x1,, xn; ) p(xi ; ) i 1
似然函数
若总体X 属连续型, 其概率密度f (x; ),
n
L( ) L(x1,, xn; ) f (xi ; ) i 1
似然函数
5
01 求最大似然估计的一般步骤
(2) 求似然函数 L(θ) 的最大值点
挑选使L( )达到最大的参数ˆ，作为的估计，
大似然原则来求.
L( ) 无驻点
不可导
7
本讲内容
01 求最大似然估计的一般步骤 02 典型例题
02 典型例题
例
设总体
X
的概率密度为f
(x)
x
1
,
x
1,
1 是未知参数,
0, x 1.
X1, X 2, , X n 是总体 X 的一个简单样本,求 的最大似然估计.
解
似然函数
L( )
n i 1
设X 的密度(或分布律)为 f (x,1, ,k )
n
则似然函数为 L(x1, , xn;1, ,k ) f (xi ,1, ,k )
可令 L 0, 或 ln L 0,i 1, , k.
i
i
i 1
似然方程组
注2
解方程组求得1, ,k的最大似然估计.
用上述方法求参数的最大似然估计值有时行不通，这时要用最
解 X 的分布律为： P( X k) p(1 p)k1, k 1,2,
n
故似然函数为 L( p)
n
p(1
p) xi 1
pn (1
xi n p) i1 ,
i 1
n
令
d
ln L( p)
n
xi n
i 1
0.
dp
p 1 p
如何求EX 的
最大似然估计？
解得 p的最大似然估计
pˆ
n
nxiຫໍສະໝຸດ f(xi )( x1 x2
n
xn ) 1
,
xi 1
n
ln L( ) n ln ( 1)ln xi i 1
d
ln L( ) d
n
n i 1
ln
xi
0
解得
n
n
的最大似然估计 ˆ n n .
ln xi
ln X i
i 1
i 1
02 典型例题
例 设X ~ G( p), x1, , xn是来自X 的一个样本值， 试求参数p与EX 的最大似然估计.
则g(ˆ ) 也是 g( ) 的最大似然估计.
11
02 典型例题
例 设总体 X ~ N (, 2), x1, x2 , … , xn 是 X 的样本值, 求 , 2 的最大似然估计.
解
n
L(, 2 )
1 e
(
xi 2 2
)2
1
n
n i1
( xi )2 2 2
en
i1 2
(2 )2 ( 2 )2