当前位置：文档之家 › 概率论 参数的点估计

概率论 参数的点估计

  • 格式：ppt
  • 大小：2.73 MB
  • 文档页数：7

下载文档原格式

  / 7

合集下载

概率论第七章 第1节

概率论第七章 第1节

根据样本概率最大原则，m的估计值为3。
最大似然估计法原理
一般地，不仿设总体X是离散型分布X～p(x,θ)，如果 X1,X2,…,Xn是来自这个总体的一个随机样本，x1,x2,…,xn 是这个随机样本的样本值，则这个样本发生的概率为：
记这个概率为θ的函数：
16
最大似然估计法原理
如果在一次抽样中样本值x1,x2,…,xn出现了，我们就认为 它之所以出现是因为它发生的概率最大导致的。因此我们 就选择能使这个概率最大的那个θ作为θ的估计值，这就 是极大似然估计法。 “样本值概率最大原则”
矩估计法理论依据
命题2：设总体X的l=1,2,…,k阶矩存在即E(Xl)=μk,则l阶样 本矩A1,A2,…,Ak的连续函数g(A1,A2,…,Ak)也依概率收敛于总 体矩的连续函数即
根据这两个命题，我们使用如下方法来进行矩估计： (1)用样本矩A1,A2,…,Ak来估计总体矩； (2)用样本矩的连续函数g(A1,A2,…,Ak)来估计总体矩的连续 函数g(μ1,μ2,…,μk)。
砍掉充分小的dxi,记这 个概率为θ的函数：
30
连续型总体中参数 θ的似然函数!
最大似然估计值 最大似然估计量
怎样求最大值点？
基于此通常先取对数，再求最大值点。
化成求 对数似 然函数 的最大 值点!
如果对数似然函数二阶可导，并且概率 密度函数是单峰函数，则驻点就是最大 值点!通过求一阶导数能得驻点：
第七章 参数估计
1、什么是参数估计？ 当总体的分布类型已知，但其中仍有未知参数。比如总体 X服从参数μ,σ2的正态分布，但μ,σ2未知。但是我们 能根据来自总体X的一个简单随机样本X1,X2,…,Xn通过适 当的方法对这些未知参数进行估计，得到它的一个近似值 或近似区间。 2、参数估计有哪些形式？ (1)点估计：矩估计法、极大似然估计法。 (2)区间估计：正态总体下区间估计法。

概率论与数理统计复习7章

概率论与数理统计复习7章

( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n

概率论与数理统计第7章参数估计PPT课件

概率论与数理统计第7章参数估计PPT课件
5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，

海南大学《概率论与数理统计》课件 第九章 点估计

海南大学《概率论与数理统计》课件 第九章 点估计

令 X ,
则 ˆ x 1 (0 75 1 90 6 1) 1.22
250
二.极大似然估计法 特点：适用总体的分布类型已知的统计模型
极大似然估计法是求估计用的最多的方法， 它最早是由高斯在1821年提出，但一般将之归 功于费舍尔(R.A.Fisher)，因为费舍尔在1922 年再次提出了这种想法，并证明它的一些性质， 从而使得极大似然法得到了广泛的应用。
18
第二节 估计方法
矩估计法 极大似然估计法
19
一.矩估计法 定义：用样本矩来代替总体矩,从而得到总体 分布中参数的一种估计.这种估计方法称为 矩估计法.它的思想实质是用样本的经验分 布和样本矩去替换总体的分布和总体矩.也 称之为替换原则.
特点：不需要假定总体分布有明确的分布类型。
20
设总体X具有已知类型的概率函数 f(x;θ), θ=(θ1,…,θk) ∈Θ是k个未知参数.(X1,X2,…,Xn)是 来自总体X的一个样本.
2
参数估计的分类：
参 点估计 估计未知参数的值
数
估 计
估计未知参数的取值范围，
区间估计 并使此范围包含未知参数的
真值的概率为给定的值
3
这里所指的参数是指如下三类未知参数：
1.分布中所含的未知参数 .
如：两点分布B（1，p）中的概率p;
正态分布 N (, 2 )中的,． 2、分布中所含的未知参数的函数. 如：服从正态分布N (, 2 )的变量X不超过给定值a的
Xi＝１，反之记 Xi＝ ０ i 1,, n ．则
X1, X2 , , Xn 就是样本．总体分布为二点分
布 B1, ，参数空间 0,1 ，容易得到统计
模型
n
xi
i1

概率论与数理统计教材第六章习题

概率论与数理统计教材第六章习题

X σ0 n
~ N(0,1)
对于置信水平1- ，总体均值的置信区间为 对于置信水平 -α，总体均值 的置信区间为
X
σ0
n
uα < < X +
2
σ0
n
uα
2
(2)设总体 ～ N(,σ 2 ), 未知 ，求的置信区间。 设总体X～ 未知σ， 的置信区间。 设总体 的置信区间
σ 0 ，则样本函数 t = X ~ t(n 1) 用 S 代替 S n
i =1
n1
n1
F
1
α ∑ Yj 2
2 j =1
n2
(
)
2
n2
10
2 2 及 （1）设两个总体 ～ N(1,σ1 ) 及Y～ N(2 ,σ 2 ), 未知 1 2， ）设两个总体X～ ～
2 σ1 的置信区间。 求 2 的置信区间。 σ2
选取样本函数 选取样本函数
2 2 S1 σ1 F = 2 2 ~ F(n1 1, n2 1) S2 σ2
∑x
i =1
n
i =1
i
n = 0.
1 p
得 p 的极大似然估计值为 p =
n
∑x
i =1
n
1 = x
i
12
1 θ 2. 设总体 服从拉普拉斯分布：f ( x;θ ) = e ,∞< x < +∞, 设总体X 服从拉普拉斯分布： 2θ 求参数 θ 其中 > 0. 如果取得样本观测值为 x1 , x2 ,L, xn , 求参数θ
第六章 参数估计
(一)基本内容
一、参数估计的概念 1 定义：取样本的一个函数θ ( X 1 , X 2 ,L , X n ), 如果以它的观测 定义：

概率论 第七章 参数估计

概率论 第七章 参数估计

L( ) max L( )
称^为
的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合概率分布 (或联合密度);
(2) 把样本联合概率分布(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );
(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;
1. 将待估参数表示为总体矩的连续函数 2. 用样本矩替代总体矩，从而得到待估参
数的估计量。
四. 最大似然估计（极大似然法）
在总体分布类型已知条件下使用的一种 参数估计方法 .
首先由德国数学家高斯在1821年提出。 英国统计学家费歇1922年重新发现此
方法，并首先研究了此方法的一些性质 .
例：某位同学与一位猎人一起外出打猎.一只 野兔从前方窜过 . 一声枪响，野兔应声倒下 .
p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027
应如何估计p?
若：只知0<p<1, 实测记录是 Y=k
(0 ≤ k≤ n), 如何估计p 呢?
注意到
P(Y k) Cnk pk (1 p)nk = f (p)
第七章 参数估计
参数估计是利用从总体抽样得到的信息 估计总体的某些参数或参数的某些函数.
仅估 计一 个或 几个 参数.
估计新生儿的体重
估计废品率
估计降雨量
估计湖中鱼数
…
…
参数估计问题的一般提法:
设总体的分布函数为 F(x, )，其中为未 知参数 (可以是向量).从该总体抽样，得样本

《概率论与数理统计》学习笔记十一

《概率论与数理统计》学习笔记十一

σ 2 = S2 =
2 1 n Xi − X ) ( ∑ n i =1
n −1 2 ⎛ n −1 2 ⎞ n −1 S ⎟= E (S2 ) = 由于 E σ 2 = E S 2 = E ⎜ σ ， n n ⎝ n ⎠
n 3 ⎡ X 2 − nX 2 ⎤ ∑ i ⎥ n⎢ ⎣ i =1 ⎦
3 ( X − X )2 i n∑ i =1
n
在总体 X 为离散型随机变量情形， 求未知参数 θ 的矩估计量的方法和连续型 情形完全相同。 极大似然估计法 直观想法：概率最大的事件最可能出现。 设总体 X 为连续型随机变量，具有密度函数 f ( x;θ ) ，其中 θ 是待估未知参 数，又设 ( x1 ,L , xn ) 是样本 ( X 1 ,L , X n ) 的一个观测值，则样本 ( X 1 ,L , X n ) 落在观
n
（１）
ˆr ， 把上式中的 α r 都换成相应的样本矩 M r = 1 ∑ X ir ，便得到参数 θ r 的矩估计量 θ n i =1
概率论与数理统计—学习笔记十一
即
θˆr = hr ( M 1 ,L , M k ) , r = 1, 2,L , k .
（２）
这种求估计量的方法称为矩估计法（简称矩法） ，由矩估计法得出的估计量称为 矩估计量。 例１ 设总体 X 在 [ a, b ] 上服从均匀分布，a,b 未知， X 1 ,L , X n 是总体 X 的 一个样本，试求 a,b 矩估计量。 解 X 的概率密度为 1 , a≤ x≤b ⎧ ⎪ f ( x; a, b ) = ⎨ b − a ⎪ 其它 ⎩ 0,
上节介绍了总体参数的常用点估计方法，对同一参数用不同的估计方法可能 得到不同的估计量，哪个估计量更好些呢？下面给出几种评选估计量好坏的标 准。 无偏估计 估计量是样本的函数，是随机变量，对不同的样本观测值，它有不同的估计 值，我们希望估计量的取值在未知参数真值附近摆动，即希望估计量的数学期望 等于未知参数的真值，这就是无偏性的概念。 定义 设 θˆ ( X 1 ,L , X n ) 是未知参数 θ 的估计量，若

概率论与数理统计答案(华南理工)

概率论与数理统计答案(华南理工)

开讨论
例 对容量为n的样本，求下列密度函数中参数 a 的
2 2 (a x), (0 x a) f ( x) a 其它 0, a 2 a 解 由于 E [ X ] x 2 ( a x )dx 0 a 3 a 所以由矩法估计，得 X 3 3 n 解得 a 3 X X i n i 1 3 n 所以，参数 a 的矩估计量为 a X i n i 1
方差
1 50 ˆ X Xi 50 i 1 50 1 2 2 2 ˆ 2 S50 Xi ( X ) 50 i 1
此时，ˆ ,
ˆ
2
为两个统计量
根据大数定理，样本的矩和总体的矩应当非常接近 假若样本有观测值x1，x2，……x50,代入统计量中，有
用样本的统计量来估计分布的数字特征，进而得到参
数估计的办法也叫数字特征法，是矩法的特例。
思考一下，是否有其他求解的办法？ 考虑泊松分布的二阶中心矩 得到矩法估计量
Var[ X ]
1 n ( X i X )2 n i 1
可见：同一个参数的矩估计量可以不同。 使用哪个更好一些？ 矩法估计总能用低阶矩就不用高阶矩 之后会系统地介绍估计量优劣的评价，届时再展
解：设装袋的重量为随机变量X，即总体为X~N(μ, σ2)。
E[ X ] 2 2 2 Var [ X ] E [ X ] ( E [ X ])
此时，要估计参数，就转化为估计随机变量的矩 观测50次，即取X1，X2，……X50个样本，样本容量50 计算样本 的期望和
若总体的密度函数中有多个参数1，2，…，n，则将 ln L 第（3）步改为 0, (i 1, 2, , n) i 解方程组即可。

概率论与数理参数估计

概率论与数理参数估计

概率论与数理参数估计参数估计是概率论与数理统计中的一个重要问题，其目标是根据样本数据推断总体的未知参数。

参数估计分为点估计和区间估计两种方法。

点估计是通过样本计算得到总体未知参数的一个估计值。

常见的点估计方法有最大似然估计和矩估计。

最大似然估计是通过观察到的样本数据，选择使得观察到的样本数据出现的概率最大的未知参数值作为估计值。

矩估计是通过样本的矩（均值、方差等统计量），与总体矩进行对应，建立样本矩与总体矩之间的方程组，并求解未知参数。

这两种方法都可以给出参数的点估计值，但是其性质和效果不尽相同。

最大似然估计具有渐近正态性和不变性，但是可能存在偏差较大的问题；矩估计简单且易于计算，但是可能存在方程组无解的情况。

区间估计是给出参数估计结果的一个范围，表示对未知参数值的不确定性。

常见的区间估计方法有置信区间和预测区间。

置信区间是指给定的置信水平下，总体参数的真值落在一些区间内的概率。

置信区间的计算依赖于样本的分布和样本量。

预测区间是对一个新的观察值进行预测的区间，它比置信区间要宽一些，以充分考虑不确定性。

在参数估计过程中，需要注意样本的选取和样本量的确定。

样本是总体的一个子集，必须能够代表总体的特征才能得到准确的估计结果。

样本量的确定是通过统计方法和实际需求来确定的，要保证估计结果的可靠性。

参数估计在实际应用中有着广泛的应用。

例如，在医学领域中，通过对病人的样本数据进行统计分析，可以推断患者患其中一种疾病的概率，进而进行治疗和预防措施的制定。

在金融领域中，可以通过对股票的历史价格进行统计分析，推断未来股价的变动趋势，从而进行投资决策和风险评估。

在市场调研中，可以通过对消费者的问卷调查数据进行统计分析，推断消费者的偏好和需求，为企业的市场开发和产品设计提供依据。

综上所述，概率论与数理统计中的参数估计是一门重要的学科，通过对样本数据的统计分析，可以推断总体的未知参数，并对不确定性进行评估。

参数估计在实际应用中有着广泛的应用，对于科学研究和决策制定具有重要的意义。

《概率论与数理统计》7

《概率论与数理统计》7

未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2

西北工业大学《概率论与数理统计》课件-第六章 参数估计

西北工业大学《概率论与数理统计》课件-第六章 参数估计
最大概率的思想就是最大似然法的基本思想 .
(2) 似然函数
定义6.1 设总体X的分布密度(或分布律)为 p(x; ), 其中 (1, 2, ,m )为未知参数. 又设
( x1, x2,, xn ) 为自总体X的样本(X1,X2,…,Xn) 的一 个观察值，则称样本的联合分布
n
L( ) p(x1, x2, … , xn; ) p( xi; )
2º似然估计方程组与最大似然估计之间没有必 然
从中解得 pˆ k n
参数 p的估计值
这时, 对一切 0< p <1, 均有
P{Y k; pˆ } P{Y k; p}
综上所述： 设某试验的可能结果为： A1, A2 , ···, Ai , ···
若在一次试验中，某结果 Ai 出现，则应选择参 数使Ai 出现的概率最大.
以上这种选择一个参数使得实验结果具有
(k 1,2,, m)
(4) 求最大似然估计(MLE)的步骤:
1 写出似然函数
(1, 2 , ,m )
n
L( ) L( x1, x2,, xn; ) p( xi; )
n
i 1
2 取对数 ln L( ) ln p( xi; )
i 1
3 解似然方程(组)
ln L

ln L
2
为来自总体X的简单随机样本. 矩估计法的具体步骤:
1 求出k E( X k ) (1,2,,m )， k 1,2,,m；
2 要求k Ak , k 1,2,, m
这是一个包含 m个未知参数1,2 ,,m的方程组.
3 解出其中1,2,,m , 用ˆ1,ˆ2,,ˆm表示.
4 用方程组的解ˆ1, ˆ2 , ,ˆm 分别作为 1,2 ,,m的估计量,这个估计量称为

考研数学(三)考试大纲解析(概率论与数理统计 第7章 参数估计)【圣才出品】

考研数学(三)考试大纲解析(概率论与数理统计 第7章 参数估计)【圣才出品】

L(x1, x2,, xn; ) maxL(x1, x2,xn; )
这样得到的
与样本值
x1,
x2
,
,
xn
有关，常记为
( x1 ,
x2
,
,
xn
)
，称为参数
的最大似然
估计值，而相应的统计量 ( X1, X 2,, X n ) 称为参数 的最大似然估计量．
3．最大似然估计值的求法
（1）在很多情形下， p(x; ) 和
(
)
三、最大似然估计法
1．似然函数
（1）离散型
若总体 X 属离散型，其分布律 P{X x} p(x; ), 的形式为已知， 为待估参数， 是 可能取值的范围，设 X1, X2,, Xn 是来自 X 的样本，则 X1, X2,, Xn 的联合分布律为
n
p(xi; )
i 1
又设 x1, x2,, xn 是相应于样本 X1, X2,, Xn 的一个样本值，易知样本 X1, X2,, Xn 取到 观察值 x1, x2,, xn 的概率，亦即事件{X1 x1, X2 x2,, Xn xn} 发生的概率为
为
n
f (xi; )dxi
i 1
n
n
其值随 的取值而变化，取 的估计值 使概率
i 1
f (xi ; )dxi.
取到最大值，但因子
dxi
i 1
n
L( ) L(x1, x2,, xn; ) f (xi; )
不随 而变，故只需考虑函数
i1
的最大
值，这里 L( )称为样本的似然函数．若
L(x1, x2,, xn; ) maxL(x1, x2,, xn; )
xl

自考概率论课件_第七章_参数估计.ppt1

自考概率论课件_第七章_参数估计.ppt1

2 2 例3 设总体 X 的均值 及方差 都存在, 且有 0, 2 但 , 均为未知, 又设 X1 , X 2 ,, X n 是来自 X 的样 2 本, 试求 , 的矩估计量. 解 1 E ( X ) , 总体一阶原点矩 2 2 2 2 总体二阶 2 E ( X ) D( X ) [ E ( X )] ,
x ˆ 1 . x 1
为求的极大似然估计,先 易求得似然函数为
L( ) ( xi
i 1 n ( 1)
) xi i 1
n n
( 1)
,
ln L( ) n ln ( 1) xi ,
d ln L( ) n n xi 0. d i 1
以 A1 , A2 代替 1 , 2 , 得到 a , b 的矩估计量分别为
3 2 ˆ A1 3( A2 A ) X (Xi X ) , a n i 1
2 1
n
n 3 2 2 ˆ b A1 3( A2 A1 ) X (Xi X ) . n i 1
§7.1
参数的点估计
一、点估计的一般定义及步骤
设总体X～F(x,θ),θ是未知参数,(X1,X2,…,Xn)是 取自总体X的样本,适当选取一个统计量
ˆ 去估计参数θ, 称 ˆ为θ的估计量或把 ˆ 用 叫做 θ的点估计.
ˆ =ˆ(X1,X2,…,Xn)
二、获取点估计的两种方法
1.矩估计法 2.极大似然估计法
以 A1 , A2 代替 1 , 2 , 得到 a , b 的矩估计量分别为
3 2 ˆ A1 3( A2 A ) X (Xi X ) , a n i 1

吴赣昌编-概率论与数理统计-第6章(new)

吴赣昌编-概率论与数理统计-第6章(new)
ln L 0 1 ln L 0 2 ln L 0 m
ˆ , ˆ ,, ˆ 从中解出 1 2 m
在例6.4中，
n xi n xi n i 1 i 1 xi ln n xi ln(1 ) ln L( ) ln (1 ) i 1 i 1
1 n 解得矩法估计量为 ˆ Xi X n i 1
注：1
n n n 1 1 1 2 2 1 2 2 2 X 2 X X X i i (Xi X ) (Xi 2Xi X X ) n n n i 1 i 1 i 1 n i 1 n i 1 n n
i 1 n
xi !
e

e
n
x!
i 1 i
n
x
i
n
x
i 1
1
n
i 1
i
0
n 1 ˆ xi n i 1
d2 1 n n (ln L ( )) x 0 2 2 i d i 1 x ˆx
ˆx 所以
ˆ X L
二、极大似然估计法(R.A.Fisher费歇)
先看一个简单例子： 某位同学与一位猎人一起 外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测， 是谁打中的呢？ 你会如何想呢?
1、极大似然估计法的基本思想
由样本的具体取值，选择参数θ的估计量 ˆ 使得取该样本值发生的可能性最大。 一般说，事件A发生的概率与参数有关，取
n 2 i 2 i 1
n n n 1 ln L( , 2 ) ln 2 ln 2 ( xi 2 2 2 2 i 1 ln L( , 2 ) 1 n 2 ( xi ) 0 i 1 解得 2 n ln L ( , ) n 1 2 2 ( xi ) 0 2 4 2 2 i 1

第六章《概率论与数理统计教程》课件

第六章《概率论与数理统计教程》课件

1

例5. 设X服从[0,λ]区间上的均匀分布,参数
λ>0,求λ的最大似然估计. 1 解:由题意得: X ~ f ( x; )
1 L( x1 , x 2 ,..., x n ; ) n 0
0 x
0 其它 0 x1 , x 2 ,..., x n
dL n n1 0 d
其它
无解.
应用最大似然估计基本思想: L越大,样本观察值越可能出现 取 max( x1 , x 2 ,..., x n ) 此时,L取值最大, 所以,所求最大似然估计为 max( x1 , x 2 ,..., x n )
考虑L的取值,要使L取值最大,λ应最小, 0 x1 , x 2 ,..., x n


例2 设总体 X ~ N ( , 2 ) ,其中 及 2 都是未知参数，如
果取得样本观测值为 x1 ,, x n , 求 及 2 的矩估计值。
解： 因为总体X的分布中有两个未知参数，所以应考虑一、二阶 原点矩，我们有 v1 ( X ) E ( X )
v 2 ( X ) E( X 2 ) D( X ) [ E( X )]2 2 2
e

e
1 2
2
2
( x )2 2 2
e
L( x1 , x 2 ,..., x n ; , )
2
i 1
1 2
2
( xi )2
(
2
1 2
2

1 2 2
) e
n

i 1
n
( xi )2

1 n 2 n 1 n 2 2 ) 2 ( x i ) ln 2 ln L n ln( ( xi ) 2 i 1 2 2 2 n 2 2 i 1 1 ln L 1 n Xi X 2 ( xi ) 0 n i 1 i 1 1 n 2 1 n n ln L n 1 ( xi )2 ( xi X )2 2 2 4 ( x i ) 0 n i 1 n i 1 2 2 2 i 1

概率论与数理统计第7章参数估计习题及答案

概率论与数理统计第7章参数估计习题及答案

概率论与数理统计第7章参数估计习题及答案第7章参数估计 ----点估计⼀、填空题1、设总体X 服从⼆项分布),(p N B ，10<计量=pXN. 2、设总体)p ,1(B ~X，其中未知参数 01<则 p 的矩估计为_∑=n 1i i X n 1_，样本的似然函数为_ii X 1n1i X )p 1(p -=-∏__。

3、设 12,,,n X X X 是来⾃总体 ),(N ~X 2σµ的样本，则有关于 µ及σ2的似然函数212(,,;,)n L X X X µσ=_2i 2)X (21n1i e21µ-σ-=∏σπ__。

⼆、计算题1、设总体X 具有分布密度(;)(1),01f x x x ααα=+<<，其中1->α是未知参数，n X X X ,,21为⼀个样本，试求参数α的矩估计和极⼤似然估计.解：因?++=+=101α2α1α102++=++=+|a x 令2α1α++==??)(X X EXX --=∴112α为α的矩估计因似然函数1212(,,;)(1)()n n n L x x x x x x ααα=+∑=++=∴ni i X n L 1α1αln )ln(ln ，由∑==++=??ni i X nL 101ααln ln 得，α的极⼤似量估计量为)ln (?∑=+-=ni iXn11α2、设总体X 服从指数分布 ,0()0,x e x f x λλ-?>=??其他，n X X X ,,21是来⾃X 的样本，（1）求未知参数λ的矩估计；（2）求λ的极⼤似然估计.解：（1）由于1()E X λ=，令11X Xλλ=?=i x nn L x x x eλλ=-∑=111ln ln ln 0nii ni ni ii L n x d L n n x d xλλλλλ====-=-=?=∑∑∑故λ的极⼤似然估计仍为1X。

《概率论与数理统计》课件第七章 参数估计

《概率论与数理统计》课件第七章 参数估计
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题

概率论与数理统计第七章参数估计

概率论与数理统计第七章参数估计
则以hi (X1, X2,…, Xn)作为θi 的估计量 ，并 称hi(X1, X2,…, Xn)为θi 的矩法估计量，而 称hi(x1, x2,…, xn) 为θi 的矩法估计值。
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .

概率论第7章

概率论第7章
注： 估计量 θˆ 是一个随机变量,是样本的函数,即 是一个统计量,对不同的样本值, 的估计值 一般是 不同的.
X1, ... ,Xn是来自总体X的独立同分布样本,分布
律或概率密度函数是f(x,q),其中q∈Q是参数,Q已知, 是q的取值范围.f (x,q)的形式已知,则有统计模型
f ( x1,θ) f ( xn ,θ) θ Q
例1 某种型号的产品N个,其合格率q未知,从中随机
抽取n个(n<<N),设Xi 是第i次抽到的样品,正品Xi=1, 否则 Xi =0,则 X1,X2,…,Xn 就是样本.总体分布为两点
分布B(0,1),参数空间为q=(0,1),则可得统计模型
n
n
xi
n xi
θ i1 (1 θ) i1
用矩估计法估计λ的值。
解 设X为灯管寿命，则
1 n
x n i1 xi 130.55
μ1

E

X

=
1 λ
μ1 m1

μ1

E

X
=
1 λ

X
λˆ 1 0.0077 X
例2 设总体X的均值μ和方差σ2 >0都存在,μ,σ2未知.
X1,…,Xn是来自 X 的样本,试求μ, σ2的矩估计量 .
矩估计量的观察值称为矩估计值 .
总体k阶中心矩 样本k阶中心矩
Vk
Bk

E[ X 1n
n i1
E( X )]k; ( Xi X )k .
例1. 设有一批灯管,其寿命服从参数为λ的指数分 布,今随机从中抽取11只,测得其寿命数据如下：
110, 184, 145, 122, 165, 143, 78, 129, 62, 130, 168
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
则称 L 为似然函数，似然函数实质上是样本的
分布律或分布密度.
2. 最大似然估计法 最大似然原理的直观想法：在试验中概率
最大的事件最有可能出现 .一个试验如有若干个 可能结果 A，B， ,若在一次试验中，结果A出现, 则认为 A出现的概率最大.
例8 假定一个盒中黑球和白球两种球的数目之比 为 3:1，但不知哪种球多， p表示从盒中任取一球 是黑球的概率，那么 p 1/ 4或3 / 4 , 现在有放回地 从盒中抽3个球，试根据样本中的黑球数 X 来估计 参数 p .
由于 EX , 可得
解得
1 n
n i 1
Xi
X
ˆ X
例5 求总体 X 的均值 和方差 2的矩估计.
解 设 X1，X2， ，Xn是总体 X 的一个样本，
由于 E( X )
E(
X
2
)
D(
X
)
( EX
)
2
2
故令 解得
X
1
n
n i 1
X
2 i
2
2
ˆ X
ˆ 2
1 n
n
X
2 i
矩估计法是由英国统计学家
皮尔逊(K.Pearson)在1894年提出.
矩估计法的基本思想是用样本的 k 阶原点矩
Ak
1 n
n
X
k i
i 1
去估计总体 X 的 k阶原点矩E( X k );
用样本的
k
阶中心矩
Bk
1 n
n
X
i 1
X
k
去估计总体
的k阶中心矩 E[ X E( X )]k;
并由此得到未知参数的估计量 .
解 随机变量 X ~ B3，p ，即
PX x C3x px 1 p3x X 0，1，2，3
估计 p只需在 p 1/ 4和 p 3 / 4之间作出选择.
计算这两种情况下 X 的分布律：
X
0
1
2
3
p 1/ 4, P X x 27/64 27/64 9/64 1/64
p 3 / 4,P X x 1/64 9/64 27/64 27/64
设总体 X 的分布函数为F x；1，2， ，m , 1，2， ，m 是 m 个待估计的未知参数 . 设
m E( X m ) 存在，对任意 k , k 1，2， ，m
k E(X k )
xkdF
x；1，2，
，m
k
1，2，
，m
现用样本矩作为总体矩的估计，即令
Ak
1 n
n i 1
X
k i
k
解决上述参数 的点估计问题的思路是: 设法
构造一个合适的统计量ˆ ˆX1, X2,, Xn , 对
作出合理的估计 .
在数理统计中称统计量ˆ ˆ X1，X2， ，Xn
为 的估计量,ˆ 的观测值 ˆ ˆx1, x2,, xn 称为
的估计值 .
点估计常用方法：矩估计和最大似然估计法.
二、矩估计法
i 1
X2
Sn2
例6 设总体 X 服从区间上 [ 1,2]的均匀分布, 求参数 1, 2 的矩估计量.
解 设 X1，X2， ，Xn是总体 X 的一个样本，
容易求得
E X 1 2
2
E
X2
2
1 2
12
1
2
2
2
故令
X 1 2
2
1 n
n i 1
X
2 i
2
1 2
12
1
2
2
2
1 , 2 , ... m
k
1,2,
,m
这便得到含m 个参数1，2， ，m的m个方程组,
解该方程组并记所得的解为
ˆk ˆk X1, X2,, Xn k 1,2,,m
以ˆk作为参数k的估计量. 这种求出估计量的方法 称为矩估计法 .
例4 设总体 X服从泊松分布 P , 求参数 的
矩估计量 . 解 设 X1, X2,, Xn 是总体 X 的一个样本,
未知参数 ，这种问题称为参数估计问题.
例1 已知某电话局在单位时间内收到用户呼唤次
数这个总体 X 服从泊松分布 p , 即 X的分布律
PX k k e k 0，1，2，
k!
的形式已知 . 利用样本值 x1，x2， ，xn 估计
E X 的值.
例2 已知某种灯泡的寿命 X ~ N (, 2) ，即
解得1和 2 的矩估计量为
ˆ1 X 3Sn ˆ2 X 3Sn
例7 设总体 X的分布 密度为
x
p( x; )
1
e
2
x ， 0
X1，X2， ，Xn为总体 X 的一个样本，求参数
的矩估计量 .
解 由于 p( x; ) 只含有一个未知参数 ,一般
只需求出 E X 便能得到 的矩估计量，但是
Fisher
1. 似然函数
设总体 X的分布律为 P( X x) p( x; ) 或
分布密度为 p( x; ) ，其中 1,2,...,m 是未
知参数n ， X1，X2， ，Xn 的分布律(或分布密度)
为 p( xi; ) ,当给定样本值 x1，x2， ，xn 后，
i 1
它只是参数 的函数，记为 LΒιβλιοθήκη ，即 n L p( xi; ) i 1
即 的矩估计量为
ˆ
1 n
n i 1
Xi
该例表明参数的矩估计量不唯一.
三、最大似然估计
最大似然估计作为一种点估计方法最初是由 德国数学家高斯(Gauss)于1821年提出，英国统计 学家费歇尔(R.A.Fisher)在1922年作了进一步发展 使之成为数理统计中最重要应用最广泛的方法之一.
Gauss
第一节 参数的点估计
一、问题的提出
二、矩估计法 三、最大似然估计
回
停 下
一、点估计问题的提出
在实际中我们经常遇到这样的问题：总体 X 的
分布函数 F x; 的形式为已知， 是未知参
数. X1, X2,, Xn 是 X的一个样本, x1, x2 ,, xn 为相应的一个样本值. 我们希望用样本值去估计
x
E X
x
1
e dx 0
2
即E X 不含有 ,故不能由此得到 的矩估计量.
E( X 2)
x
x2
1
2
e
dx
1
x
2e
x
dx
2
2
0
于是解得 的矩估计量为
ˆ
1 2n
i
n 1
X
2 i
本例 的矩估计量也可以这样求得
E X
x
|x|
1
e
dx
1
xe
x
2
0
故令
1 n
n i1 Xi
X 的分布密度
p( x;, 2 )
1
e
(
x )2 2 2
2
x
的形式已知，但参数 ， 2未知 . 利用样本值
x1，x2， ，xn，估计 E X ， 2 D X .
例3 考虑某厂生产的一批电子元件的寿命这个 总体 X ；不知道 X 的分布形式 ，根据样本值
x1，x2， ，xn 估计元件的平均寿命和元件寿命 的差异程度,即估计总体 X 的均值E X 和方差D X .