当前位置：文档之家 › 7.1参数的点估计概念

7.1参数的点估计概念

  • 格式：ppt
  • 大小：1.55 MB
  • 文档页数：62

下载文档原格式

  / 62

合集下载

统计基础理论与相关知识：参数的点估计

统计基础理论与相关知识：参数的点估计

点估计⼜称定值估计，是⼀种对未知的总体参数进⾏估计的统计⽅法，其估计结果是⼀个具体数值。

点估计的优点在于它能够提供总体参数的具体估计值，其表达更直观、简练，并可以作为⾏动决策的数量依据。

但其不⾜之处也是很明显：点估计所提供的信息量⽐较少，尤其不能提供估计的误差和把握程度⽅⾯的信息，⽐如说，误差会有多⼤，有多⼤把握可以保证结果正确等，这些信息在决策中往往是⾮常重要的。

点估计的⽅法主要有矩估计法、似然法及贝叶斯法等。

1．矩估计法
矩估计法⾸先在1849年由英国统计学家⽪尔逊提出，它有简单易⾏的优点。

⽤样本的矩作为相应（同类、同阶）总体矩的估计⽅法称为矩估计法。

在统计学中，矩是指以期望值为基础⽽定义的数字特征。

矩分原点矩和中⼼矩两种。

2．似然估计法
似然估计法是费歇在1912年提出的。

从理论上看，它是参数点估计中最重要的⽅法，具有优良的数学性质，应⽤⼗分⼴泛。

似然估计法是建⽴在似然原理基础上的求估计量的⽅法。

（1）似然原理
似然原理的直观想法是：将在试验中概率的事件推断为最可能出现的事件。

（2）似然估计法简介（略）
3．估计量的评选标准
（1）⽆偏性：⽆偏估计的实际意义就是⽆系统误差
（2）有效性：在多次重复试验中，估计值更为集中在真值的附近，就是有效性的直观意义。

综合上述两⽅⾯可知，⼀个好的估计量不仅要求它能围绕待估参数的真值摆动，⽽且希望摆动幅度越⼩越好。

概率论与数理统计复习7章

概率论与数理统计复习7章

( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n

参数的点估计及区间估计

参数的点估计及区间估计

参数的点估计及区间估计点估计的基本思想是根据样本数据，通过统计量来估计总体参数的值。

常用的点估计方法有最大似然估计和矩估计。

最大似然估计是找到一个参数值，使得样本观察值的概率最大。

矩估计是根据样本矩的性质来估计总体参数的值。

例如，如果总体服从正态分布，那么样本均值和样本方差就是总体均值和总体方差的估计量。

区间估计的基本思想是给出一个区间，使得总体参数落在该区间内的概率达到一定的置信水平。

在区间估计中，置信水平通常是根据统计学的理论设定的，常见的有95%和99%置信水平。

区间估计的计算方法主要有正态分布法和t分布法。

正态分布法适用于大样本情况下，而t分布法适用于小样本情况下。

对于点估计，我们需要考虑估计量的偏倚和方差。

偏倚表示估计量的期望值与总体参数的真实值之间的差异。

如果估计量的期望值与总体参数的真实值之间没有差异，就称为无偏估计；否则，就称为有偏估计。

方差表示估计量的离散程度。

我们通常希望找到无偏估计，并且方差越小越好。

对于区间估计，我们需要考虑置信水平和置信区间的宽度。

置信区间的宽度越小，说明估计的精度越高。

但是，要得到一个狭窄的置信区间就需要使用更大的样本量，或者降低置信水平。

在进行区间估计时，需要根据具体需求平衡估计的精度和置信水平。

在实际应用中，点估计和区间估计通常是一起使用的。

点估计提供了一个具体的估计值，而区间估计提供了一个参数值可能的范围。

通过点估计和区间估计，我们可以对总体参数进行合理的估计，并且给出估计的精度和可靠性的度量。

总之，参数的点估计和区间估计是统计学中常用的两种估计方法。

点估计通过选择适当的统计量来估计总体参数的值，而区间估计通过给出参数值可能的范围来表示估计的不确定性。

点估计和区间估计是统计学中重要的概念，对于数据分析和决策制定具有重要的指导意义。

估计量设为总体X的未知参数

估计量设为总体X的未知参数

mk= E（Xk） ck= E[X-E(X)]k
显然 通常取
mk
$ ck
= =
1 n k Ak = ∑ X i n i =1 1 n Bk = ∑( Xi − X )k n i=1
m1 =
A1 = X ,
$ 2 = B2 = n − 1 s 2 c
n
$ 2 = s2 c
首页 上页 返回 下页
结束
֠
例1．设总体X~N(µ，σ2 )，试求µ，σ2的矩估计量。 解：由于 E(X)= µ, D(X)= σ2， 据矩估计法有 m1 = A1
首页 上页 返回 下页 结束 ֠
例4．X~P（λ），求λ极大似然估计。 解：设x1,…,xn为样本的一组观测值，于是似然函数为：
∑ xi
n
L(λ ) = L( x1 , L , xn ; λ ) =
λx
1
x1!
e L
n
−λ
λx
n
xn !
e =
n
−λ
λ
i =1
x1!L xn !
e
− nλ
两边取对数得， ln L = − nλ + ∑ xi ln λ − ∑ ln( xi !)
=∏
i =1
n
1 2π σ
e
− e
−
∑
i =1
( xi − µ ) 2 2σ 2
由
1 n ∂ ln L 得µ，σ2的极大似然估计值为： ∂µ = σ 2 ∑ ( xi − µ ) = 0 i =1 n 1 n 2 2 ∂ ln L = − n 1 + 1 ˆ ∑ ( xi − µ ) = 0 µ = X , σˆ = n ∑ ( xi − X ) 2 = B2 2 4 ∂σ 2 2σ 2σ i =1 i =1

第七章 参数估计

第七章 参数估计

第七章 参数估计
1、正态总体、方差已知或非正态总体，大样本 当总体服从正态分布且方差已知时，或者总体不是正态分布但是大样本时，样本 均值的抽样分布均为正态分布，其数学期望为总体均值u，方差为Ϭ2/n。而样本均 值经过标准化以后的随机变量则服从标准正态分布，即 Z=(x-u)/(Ϭ/n0.5)~N(0,1) 根据上式和正态分布的性质可以得出总体均值u在1-α置信水平下的置信区间为： xα+是(-)事Z(α先/2)所(Ϭ确/n定0.5的)。而其一中个，概x率+Z值(α/2，) (Ϭ也/n称0.为5)为风置险信值上，限是，总x体-Z均(α/2值) (Ϭ不/包n0.含5)为在置置信信下区限间，的 概是率估；计1总- 体α称均为值置时信的水估平计，误Z差(α/。2) 是标准正态分布右侧面积为α/2的z值；Z(α/2) (Ϭ/n0.5) 也即是说，总体均值的置信区间由两个部分构成：点估计值和描述估计量精度的 +(-)值，这个+(-)值称为估计误差。
第七章 参数估计
在区间估计中，由样本统计量所构造的总体参数的估计区间称为置信区间。
其中，区间的最小值称为置信下限，最大值称为置信上限。
由于统计学家在某种程度上确信这个区间会包含真正的总体参数，所以给它取名 为置信区间。原因是：如果抽取了许多不同的样本，比如说抽取100个样本，根据 每一个样本构造了一个置信区间，这样，由100个样本构造的总体参数的100个置 信区间中，有95%的区间包含了总体参数的真值，而5%则没有包含，则95%这个值 称为置信水平。一般，如果将构造置信区间的步骤重复多次，置信区间中包含总 体参数真值的次数所占的比例称为置信水平，也称为置信度或置信系数。
自然使用估计效果最好的那种估计量。什么样的估计量才算一个好的估计量呢？ 统计学家给出了评价估计量的一些标准，主要包括以下几个：

《概率论与数理统计》7

《概率论与数理统计》7

未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2

第六章 数理统计的基本概念 - 浙江大学邮件系统

第六章 数理统计的基本概念 - 浙江大学邮件系统

31
2 极大似然估计
注意到，L ,

1
n
e
1
n

i1
xi

n
是的增函数，
取到最大值时，L达到最大。

故 X1 min X1, X 2 , , X n ,
又lnL

nln

1

n i 1
Xi
ˆ
令 dlnL d
n
解：似然函数L f xi , i 1
n

xi
1n 2来自 n 1
xi
i 1
i1
lnL


n 2
ln

n
1 ln xi
i 1
令
dlnL
d


n 2

1


2
1

n
ln xi 0
i 1
lnL 称为对数似然函数.
利用lnL
i


0, i
1,
2,...,
k.解得ˆi，i
1,
2,...,
k.
3. 若L 关于某个i 是单调增减函数，此时i的极大似然
估计在其取值范围的边界取得；
4. 若ˆ是 的极大似然估计，则g 的极大似然估计为g ˆ 。
n i 1
(xi 1)2
2 2
d
d 2
ln
L(
2
)


n
2
2

1
2
4
n
( xi
i 1
1)2

7第7章--参数估计(点估计与区间估计)---复习思想

7第7章--参数估计(点估计与区间估计)---复习思想
(例题分析)
解：已知n=36, 1- = 90%，z/2=1.645。根据样本数 据计算得：x39.5，s7.77 总体均值在1- 置信水平下的置信区间为
x z 2
s 39.51.6457.77
n
36
39.5 2.13
37.37,41.63
投保人平均年龄的置信区间为37.37岁~41.63岁
2021/2/4
相应的 为0.01，0.05，0.10
2021/2/4
19
置信区间
(confidence interval)
1. 由样本统计量所构造的总体参数的估计区间称 为置信区间
2. 统计学家在某种程度上确信这个区间会包含真 正的总体参数，所以给它取名为置信区间
3. 用一个具体的样本所构造的区间是一个特定的 区间，我们无法知道这个样本所产生的区间是 否包含总体参数的真值
7第7章--参数估计(点估计与区间估计)--复习思想
学习目标
1. 估计量与估计值的概念 2. 点估计与区间估计的区别 3. 评价估计量优良性的标准 4. 一个总体参数的区间估计方法 5. 两个总体参数的区间估计方法 6. 样本容量的确定方法
2021/2/4
2
参数估计在统计方法中的地位
统计方法
描述统计
3. 2. 根据样本统计量的抽样分布能够对样本统计量与 总体参数的接近程度给出一个概率度量
比如，某班级平均分数在75～85之间，置信水平是95%
置信区间
样本统计量 (点估计)
2021/2/4
置信下限
置信上限
16
举例：总体均值的区间估计
(方差已知或大样本)
1. 假定条件
总体服从正态分布,且方差(２) 已知

概率论与数理统计 71 点估计与最大似然估计 优质课件

概率论与数理统计 71 点估计与最大似然估计 优质课件

10
解方程组即得
1 = 1 ( X1 , X2 ,

k = k ( X1 , X2 ,
, Xn), , Xn),
这就是1 ,2 , ,k 的矩估计量 .
11
例1： 设总体 X 在[a , b]上服从均匀分布, a , b 未知 . X1 , X2 , … , Xn 是来自 X 的样本, 求a , b的矩估计量.
5
一、点估计的概念:
1、定义7.1:
设总体 X 的分布函数为 F( x , θ ), 其中θ 为 未知参数 . 从总体 X 中抽取样本 X1 , X2 ,
… , Xn , 其观测值为 x1 , x2 , … , xn .
构造一个统计量 ( X1 , X2 , , Xn ), 用它的 观测值 ( x1 , x2 , , xn ) 来估计参数 , 称
设总体分布已知, 但含有k个未知数1,2 , ,k ,
若总体 X 的前 k 阶矩均存在 , 则可令
E( X rX
r i
,r =1,2,
,k ,
再利用总体 X 分布已知, 具体求出 E( X r ),
当然它是未知参数 1 ,2 , ,k 的函数, 这样
就得到含 k 个未知数和 k 个方程的方程组 ,
1 n
n i 1
Xi =A1称为一阶样本原点矩，
4
，1 n
n i 1
Xik =Ak称为k阶样本原点矩，
样本k阶中心矩：
Sn2 =
1 n
n
(Xi -X )2=B2称为样本二阶中心矩，
i 1
Snk =
1 n
n i 1
(Xi -X )k =
Bk 称为样本k阶中心矩，

7.1 点估计的基本概念及矩估计方法

7.1 点估计的基本概念及矩估计方法

点估计的基本概念及矩估计方法总体样本统计量描述作出推断随机抽样统计推断：参数估计和假设检验这类问题称为参数估计问题.参数估计问题的一般提法设有一个总体X ，其分布函数为F (x,θ)，其中θ为未知参数，现从该总体抽样，得样本X 1,X 2,…,X n .参数估计问题就是利用从总体抽样得到的样本来估计总体未知参数的问题.要依据该样本对参数θ作出估计，或估计参数θ的某个函数g (θ).点估计（Point Estimation）参数估计区间估计（Interval Estimation）点估计——估计未知参数的值区间估计——根据样本构造出适当的区间，使它以一定的概率包含未知参数.这是点估计.这是区间估计.估计μ在区间(1.59, 1.77)内，假如我们要估计某队男生的平均身高.（假定身高服从正态分布N (μ,0.12)），现从该总体抽取容量为5的样本，分别为1.65 1.67 1.681.71 1.69,求总体均值μ的估计.估计μ为1.68，全部信息就由这5个数组成.设总体X 的分布函数F (x ,θ)形式已知，θ是待估参数，X 1, X 2, …, X n 为抽自总体X 的样本，x 1, x 2,…, x n 是相应的一个样本值. 据此，应如何估计未知参数θ呢？点估计问题为估计θ，需要构造一个适当的统计量每当有了样本观测值x 1,x 2,…,x n ，就代入该统计量计算出一个值作为未知参数θ的近似值.12ˆ(,,,),n X X X θ12ˆ(,,,)n x x x θ称为参数θ的估计量（Estimator ）.称为参数θ的估计值（Estimate ）.在不引起混淆情况下统称为估计，记为12ˆ(,,,)n X X X θ12ˆ(,,,)n x x x θˆθ注意：被估计的参数θ是一个未知常数，而估计量是样本的函数，是一个随机变量，当样本值取定后，估计值是个已知的数值.对于不同的样本值，θ的估计值一般不同.问题：使用什么样的统计量去估计θ？矩估计法（Method of Moments）最大似然估计法（Method of Maximum Likelihood）矩估计法由英国统计学家卡尔•皮尔逊（Karl Pearson）在20世纪初提出.1.矩估计方法的基本思想用样本矩估计总体矩利用样本k阶原点矩作为总体k阶原点矩的估计.由此进一步估计未知参数θ，这就是矩估计法.1857-1936由大数定律总体k 阶原点矩为因此，可以用A k 估计μk 设X 1,X 2, …, X n 为来自总体X 的一个样本，()kk E X μ=样本k 阶原点矩为若g 为连续函数，则用g (A k )估计g (μk )又由于μk 一般可以表示为总体中未知参数的函数，从而可以估计出未知参数.11n kk i i A X n ==∑11nP kk i i A X n ==−−→∑k μ()Pk g A −−→()k g μ2.矩估计的步骤（1）根据未知参数的个数，求出总体的各阶矩.设总体X~F (x ,θ1,θ2, …,θk ), X 1,X 2, …, X n 为来自总体X 的样本.1(,,),1,2,,l l k l kμμθθ==X 为连续型X 为离散型+12()(;,,)lll k E X x f x ,dxμθθθ∞-∞==⎰12()(;,,)Xll l k x R E X x p x ,μθθθ∈==∑总体X 的密度函数总体X 的分布律（3）用样本矩估计相应的总体矩，即：用A l 替代相应的μl ，得到θl 的矩估计量（2）解方程（组），得12ˆ(,,,),1,2,,l l kA A A l k θθ==（4）g (θ1 ,⋯,θk )的矩估计量为12ˆˆˆ(,,,)kg θθθ1(,,),1,2,,l l k l kθθμμ==解：（1）10.求总体的1阶矩例1.设总体X 的概率密度为其中α>−1是未知参数，X 1,X 2,…,X n 是取自总体X 的样本，求（1）参数α的矩估计量；（2）g (α)=(α+1)/α的矩估计量.(1),01()0,x x f x αα⎧+<<=⎨⎩其它1()E X μ=111(1)=2x dx αααα++=++⎰+()xf x dx ∞-∞=⎰112EX αμα+==+20. 解方程11211μαμ-=-21ˆ1X Xα-=-10.30. 用代替μ1，得α的矩估计为111nii A X X n ===∑用代替α，得g (α)=(α+1)/α的矩估计为ˆα21ˆ1X Xα-=-ˆ1ˆ()ˆgααα+=21X X =-例1.设总体X 的概率密度为其中α>−1是未知参数，X 1,X 2,…,X n 是来自总体X 的样本，求（1）参数α的矩估计量；（2）g (α)=(α+1)/α的矩估计量.(1),01()0,x x f x αα⎧+<<=⎨⎩其它例2.设总体X 的均值μ和方差σ2都存在，且σ2>0，但μ和σ2均未知，设X 1,X 2,…,X n 是来自总体X 的样本，求μ,σ2的矩估计量.解：10.求总体的1阶矩和2阶矩122222()()()()E X E X D X EX μμμσμ==⎧⎪⎨==+=+⎪⎩20.解方程组12221μμσμμ=⎧⎪⎨=-⎪⎩30.分别以A 1, A 2代替μ1, μ2得到μ, σ2的矩估计量分别为1ˆA X μ==22222211111ˆ()n ni i i i A A X X X X n n σ===-=-=-∑∑例2.设总体X 的均值μ和方差σ2都存在，且σ2>0，但μ和σ2均未知，设X 1,X 2,…,X n 是来自总体X 样本，求μ,σ2的矩估计量.特别，若X~N (μ, σ2),μ, σ2未知，则μ, σ2的矩估计量分别为ˆX μ=2211ˆ()ni i X X n σ==-∑若总体X~U [a,b ],其中a<b 且均未知，X 1,X 2, …,X n 是来自总体X 的样本，则a ,b 的矩估计量分别为213ˆ()ni i a X X X n ==--∑213ˆ()ni i b X X X n ==+-∑优点：直观、简单缺点（1）不唯一，如例1例1.设总体X 的概率密度为其中α>−1是未知参数，X 1,X 2,…,X n 是来自总体X 的样本，求（1）参数α的矩估计；(1),01()0,x x f x αα⎧+<<=⎨⎩其它可以求总体的二阶矩μ2，用A 2代替μ2得到矩估计.规定：用尽量低阶的矩求相应的矩估计.缺点（2）损失信息，如例2例2.设总体X的均值μ和方差σ2都存在，且σ2>0，但μ和σ2均未知，设X1, X2,…,X n是来自总体X样本，求μ,σ2的矩估计量.若已知总体X的服从正态分布，则该分布形式已知的信息没有用到，从而造成信息的损失.。

7.1 点估计

7.1 点估计
取对数
1 xi
n n i 1
0 x i 1 的最大值
n
n ln L ln 2
1 ln xi
i 1
求导数
0 xi 1
令 d ln L n 1 d 2 2
n i 1
ln xi 0
解似然方程
ˆ 故θ的极大似然估计量为 极 大
而 ln L 与
6
4
2

L 在同一 处达到最大值，
取对数
求导数
即
ln L ln 4 6 ln 2 ln1 2 4 ln1
d ln L 6 2 8 令 0 d 1 1 2
7 13 解方程：6-28+24 ² =0 得 1,2 2 7 13 1 ˆ 参数 的极大似然估计值为 极大 12 2
6 28 24 2 0 1 1 2
极大似然估计法定义
定义
若似然函数 则称
L( x1 , x 2 ,, x n ; )
ˆ 取到最大值, 在
ˆ 为 的极大似然估计.
设总体X 的概率密度为:
x 1 , f ( x) 0,
其中 1
X1,X2,…,Xn是X 的一个样本，.
求θ的估计量.
X~B(n,p)
X~ P (λ),
X~E(θ), X~U(a,b)
2 X~N(μ,σ )
7.1 点估计 (point estimate)
点估计就是由样本x1,x2,…xn构造一个统计 量 ，用它来估计总体的未知参数 ，称为总体 参数的估计量。
样本一阶原点矩
2
用A1 代替1 得： 1

§7.1参数的点估计(上)

§7.1参数的点估计(上)

E(X)=, D(X)=2( 2>0)存在且未知，
则总体均值和总体方差2的矩估计量分别为
A1 X ,
2
B2
1 n
n i 1
Xi X
2
.
【评】总体均值和方差的矩估计不因不同的总体分布而异。
矩估计量的性质 若=g()是未知参数 的连续函数， 则也是未知参数。依矩估计法易证，的矩估计量为
=g( )，
， i1
D( X )
(E(X
))2
i 1
2
2，
解之得
1， 2 2
12，以样本m阶原点矩Am替换总体m阶
原点矩m(m=1, 2)，得, 2的矩估计量分别为
A1 X ,
2
A2
A12
1 n
n i 1
X
2 i
2
X
1 n
n i 1
Xi X
2
.
样本的二阶中心矩B2
由上例可知，无论总体X服从什么分布，只要
§7.1 参数的点估计
一 估计量 二 矩估计法
一 估计量
设某厂生产的电视其寿命X(单位：万小时)服从正态分
布N(, 4)，其平均寿命未知。于是厂家抽查了100台
该电视，测得这100台电视的样本均值为x=5.2万小时，
这5.2万小时就可以作为该厂电视平均寿命的一个估
计。这种方法叫做参数的点估计方法。
1 g1 A1, A2 , 2 g2 A1, A2 .
【提纲挈领】 10理解估计量和估计值的定义； 20理解和掌握矩估计法及其理论依据； 30理解和掌握矩估计量的性质。
,
,
k
，解之得
21
g1 1 , 2 ,, k g2 1 , 2 ,, k

D7-1参数的概念与点估计

D7-1参数的概念与点估计
为的区间估计. 1 , 2 1 , 2
第七章
第二节 点估计量的求法
一、矩估计 二、极大似然估计
一、矩估计法：（K.Pearson提出） 矩估计法是一种古老的估计方法. 大家知道，矩是描写随机变量的最简 单的数字特征.样本来自于总体，从 前面可以看到样本矩在一定程度上也 反映了总体矩的特征，因而自然想到 用样本矩作为总体矩的估计.
k 1, 2 的情形）

例 1 设总体 X 服从参数为 的指数分布，X1 , X 2 ,, X n 为来自总体的一个简单随机样本，求参数 的矩估计 计量。
例 2 设 X ~ U [ a, b]， X1 , X 2 ,, X n 为来自 X 的一个简单随
机样本，求参数 a 和b 的矩估计量。
七章
第一节 参数估计的概念
统计推断的目的，是由样本推断出总体的具 体分布.一般来说，要想得到总体的精确分布是十 分困难的.在上一章里，介绍了经验分布可以作为 总体的一个近似解，但是只有样本容量n 无限大 时经验分布故以概率１一致收敛于总体的分布函 数.而在实际问题中样本容量n不允许很大.
我们已经学习了中心极限定理，可以断定在某些 条件下的分布为正态分布；也可以根据样本观测值先 对总体分布类型作出检验和判断 （下一章介绍），这 种方法可以得到总体的分布类型，其中有一个或几个 参数.另外，有些统计推断问题，我们不关心其分布 类型，只关心其某些数学特征，如期望、方差等，通 常把这些数学特征了称为参数.这时抽样的目的就是 为了解出这些参数.
i 1 n
1 e 2
( x )2 i 2 2

( x )2 2 2
xR

1 2 2
所以似然函数为：

7.1 参数的点估计

7.1 参数的点估计

总体矩，样本矩回顾：
设 X 是总体，X1，X2，…，Xn是来自 X 的一个样本：
则总体 X 的 k 阶原点矩，记作 k E(X k )
总体 X 的 k 阶中心矩，记作 Vk E[X E(X )]k
样本的 k 阶原点矩，记作
Ak

1 n
n i 1
Xik
样本的 k 阶中心矩，记作
ˆ max{ xi }
小结
两种点估计方法:

矩估计法 最大似然估计法
用矩估计法估计参数通常比较方便，便于实 际应用，但所得估计的优良性有时比较差。
最大似然估计法使用时常常要进行比较复杂 的计算，然而得到的估计在许多情况下具有优良 性，它是目前仍然得到广泛使用的一种方法。
7.1.3 点估计标准
要了解这批灯泡的质量就要估计μ 和σ2的值。
例子：某电话交换台在1小时内接到的呼叫次数为Y Y~P(λ )，但 λ 未知. 某人想知道该电话交换台在1小时内呼叫10次 的概率，必须先估计λ 的值。
问题产生背景
在总体分布类型已知的情况下，如何从样本估 计总体分布中的未知参数就成为数理统计的基 本问题之一。
aˆ X 3B2 , bˆ X 3B2
例7.1.4 设总体X的均值μ 及方差σ 2都存在,且 有σ 2 >0，但μ ,σ 2 均未知. X1,X2,…,Xn 是来自总 体X的样本,求μ,σ2的矩估计量.
解 先求总体的一阶和二阶原点矩：
1 E(X ) ,
2 E(X 2 ) D(X ) E(X )2 2 ,
无偏性表示 ˆ 围绕被估参数 而摆动，以 致平均误差为零，即用ˆ 估计 没有系统
性误差。
例7.1.10 若X ~ U [0 , θ], 证明：

7.1参数的点估计详解

7.1参数的点估计详解

1
1 . 2
由矩法，令
样本矩
1 X 2
2 X 1 ˆ 1 X
总体矩
解得
为α 的矩估计。
注意：要在参数上边加上“^”， 表示参数的估计。它是统计量。
例2：设 X1,X2,„Xn 是取自总体 X 的简单样本, X 有概率密度函数
1 ( x ) e , x , f ( x) 其他 . 0, 其中 , 为未知参数， 0 。求 , 的矩估计。
得
a b 2 X, (b a ) 2 2 ˆ . 12
解上述方程组，得到 a,b 的矩估计:
ˆ X 3 ˆ X 3 ˆ, b ˆ. a
1 n 2 ˆ 其中 （X i X ) . n i 1
矩估计的优点是：简单易行, 不需要事 先知道总体是什么分布。 缺点是：当总体的分布类型已知时，未 充分利用分布所提供的信息.此外，一般情形 下，矩估计不具有唯一性. 比如X~p()， 的矩估计不唯一。
则样本 X1 , X 2 ,, X n 取到观察值x1 , x2 ,, xn 的概率,
即事件{ X1 x1 , X 2 x2 ,, X n xn }发生的概率为，
P{ X 1 x1 , X 2 x2 , , X n xn } p( xi ; ),
令
n
L( ) L( x1 , x2 , , xn ; ) p( xi ; ),
7.1.2 极大似然估计
1.极大似然估计的基本思想
引例：袋中有4只球，只有白颜色和黑颜色两 种．现用放回方式取球3次，每次任取1只球，记取 得的3只球中白颜色球数为X．显然X~B(3， /4）， 其中 为袋中的白球数，显然 的取值范围为={1， 2，3}，如果试验结果是取到了2只白球，应如何估 计参数 ？（课本P109例7.6)

参数的点估计及区间估计

参数的点估计及区间估计

参数的点估计及区间估计1.点估计点估计是通过样本数据得出一个单一的数值作为参数的估计值。

常见的点估计方法有最大似然估计、矩估计等。

最大似然估计是通过寻找参数值，使得给定样本出现的可能性最大化，从而估计参数的值。

矩估计则是通过样本矩的估计值来估计参数的值。

点估计的优点是简单直观，计算方便，但它只给出了一个数值，无法反映参数估计的准确程度。

2.区间估计区间估计是通过样本数据得出一个区间，该区间内的值有一定概率包含着未知参数的真实值。

常见的区间估计方法有置信区间、预测区间等。

置信区间是通过样本数据得出一个区间，该区间内的值有一定程度的置信度来包含着未知参数的真实值。

预测区间是通过样本数据得出一个区间，该区间内的值有一定程度的置信度来包含着新的观测值。

区间估计的优点是可以反映参数估计的不确定性，给出了一个范围，但计算复杂，要求样本量较大。

对于点估计和区间估计，我们需要考虑一些概念和原则：1.无偏性：一个点估计量如果在大样本下的期望等于被估计参数的真实值，则称其为无偏估计量。

无偏估计量估计的是总体参数的中心值。

2.有效性：如果两个估计量都是无偏估计量，但一个估计量的方差较小，则称这个估计量为有效估计量。

3.一致性：一个估计量如果在样本量趋向于无穷大时，以概率1收敛于被估计参数的真实值，则称该估计量为一致估计量。

4.置信水平：置信区间是估计参数范围的一种方法，置信水平是指在重复抽样条件下，这个估计参数范围包含真实参数的概率。

总结起来，点估计提供了一个单一的参数估计值，简单直观，但没有反映参数估计的准确程度；区间估计提供了一个范围，可以反映参数估计的不确定性，但计算较复杂。

在实际应用中，可以根据问题的具体要求选择适当的估计方法，或者同时使用点估计和区间估计方法来对参数进行估计。

点 估 计

点 估 计

ˆ
X
，ˆ 2
A2
ˆ 2
A2
x2
8 9
S2
.
所以，该班数学成绩的平均分数的矩估计值 ˆ x 75 ，
标准差的矩估计值 ˆ 8 s2 12.14 。
9
作矩法估计时无需知道总体的概率分布，只要知道总体矩
即可。但矩法估计量有时不唯一，如总体 X 服从参数为 λ 的泊
松分布时，X 和 B2 都是参数 λ 的矩法估计。
P{X k} C3k Pk (1 p)3k ，k = 0 , 1 , 2 , 3.
问题是 p =1/4 还是 p =3/4 ? 现根据样本中黑球数，对未知参 数 p 进行估计。抽样后，共有4种可能结果，其概率如表7-1所示。
7-1
假如某次抽样中，只出现一个黑球，即 X =1，p =1/4时，P {X =1}=27/64；p =3/4时，P {X =1}= 9/64，这时我们就会选择 p =1/4，即黑球数比白球数为1∶3。因为在一次试验中，事件“1 个黑球”发生了。我们认为它应有较大的概率27/64(27/64>9/64)， 而27/64对应着参数 p =1/4(即取使概率 P {X=1}达到最大的P =1/4 作为对 P 的估计)，同样可以考虑 X=0, 2, 3 的情形，最后可得
一、矩法
矩法估计的一般原则是：用样本矩作为总体矩的估计，若不 够良好，再作适当调整。矩法的一般作法：设总体 X ~ F( x ; θ1 , θ2 ,…, θl ) 其中 θ1 , θ2 ,…, θl 为未知参数。
( 1 )如果总体 X 的 k 阶矩 k E(X k ) (1 k 1) 均存在，则
试验中事件 A 发生的频率。由此可见频率是概率的矩估计。
例7.2

《概率论与数理统计》课件第七章 参数估计

《概率论与数理统计》课件第七章 参数估计
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题

7.1 点估计7.2 估计量的评选标准

7.1 点估计7.2 估计量的评选标准

样本矩
mk= E(Xk) ck= E[X-E(X)]k
显然
mk
= =
ck
1 n k Ak X i n i 1 1 n Bk ( X i X )k n i 1
m1 A1 X ,

通常取
首页
c2 S
2
n 1 2 S c2 B2 n
返回 下页 结束
上页
第9页 第1 7 章设总体X ~ N ( § 7.1-7.2 例 ． ， 2 )，试求， 2的矩估计量。

的点
2(n)
为2(n)的上
上页

(n)
分位点.
0
返回 下页 结束

(n)
2
2 (n)
x
首页

第7章
§7.1-7.2
第3页
正态总体下的抽样定理
若 X~N（μ，σ2）， 则 X 与 S2 相互独立。
X ~ N ( ,
2Hale Waihona Puke n)(n 1) S 2 2 ~ (n 1) 2
t (3)
Y1 ~ N ( , ),Y2 ~ N ( , ),Y1 Y2 ~ N (0, ) 6 3 2 4 2 2 4 2 2 X i Y2 ~ N (0, ), 2 S / ~ (3) 首页 上页 返回 结束 3 3 下页

第7章
§7.1-7.2
第5页
第7章
1 2 n
参数的点估计(方法)：指用样本统计量的值估计未知 参数的值。 本节介绍 ：1）矩估计法；2）极大似然估计法。
首页 上页 返回 下页 结束
第7章
§7.1-7.2
第8页

参数的区间估计和点估计

参数的区间估计和点估计

参数的区间估计和点估计在统计学中，参数是描述总体的量，如总体均值、总体方差等。

当我们研究总体时，除了掌握总体参数的点估计外，我们还需要对总体参数进行区间估计。

本文就对参数的区间估计和点估计进行详细的介绍。

一、参数点估计参数点估计是指用样本数据推断出总体参数的一个近似值。

比如，从总体中抽取一些样本，计算出它们的平均值，把这个平均值作为总体均值的近似值。

常用的参数点估计方法有：1.极大似然估计极大似然估计法是指假设参数值已知，用样本数据来确定这个参数估计值，即找到一个参数估计值，使得这个参数值下，样本的似然函数取得最大值。

例如，抛硬币实验中，随机变量X表示正面出现的次数。

当硬币的正面概率p未知时，用样本求出p的极大似然估计，即：P（X=k|p） = Cnkp^k(1-p)^(n-k)为了找到样本数据下的极大似然估计值，将似然函数求导，令导数等于0，求得估计值。

在实际中，极大似然估计可以被广泛应用于估计均值、方差、参数等。

2.矩估计矩估计是利用样本的矩来推断总体参数的方法。

常见的矩估计方法有：（1）样本均值估计总体均值。

用矩估计法时，对于同一参数，不同样本可能得到不同的结果，但随着样本数的增加，结果会更加接近。

1.基于正态分布的参数区间估计如果总体服从正态分布，且总体方差未知，我们通常采用t分布来进行参数区间估计。

我们假设一个区间，称之为置信区间，该区间可以以某个概率（置信度）包含总体参数，置信度通常取0.9或0.95或0.99等常用值。

置信区间估计是指在某个置信度下，估计出总体参数的一个区间，称这个区间为置信区间。

置信区间可以通过以下步骤计算。

（1）计算样本平均数和标准差，以此估计总体均值和总体标准差，分别记为X和S。

（2）确定置信度和自由度n-1，从t分布表中查找t分布值tα/2。

（3）计算置信区间：X - ts/√n ≤ $\mu$ ≤ X + ts/√n，其中t为样本t统计量，s为标准差，n为样本量，α/2为置信水平。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
55
今抽到 5 个球中有 1 个红球的概率是
PX
1
5
1
p 1
p4
5 p 1
p 4 ．
若 p 1 ，则PX 1 5 1 (1 1)4 256 ．
5
5 5 625
若 p 4 ，则P{X 1} 5 4 (1 4)4 4 ．
5
5 5 625
这就是说，袋中是红球少时抽取 5 个球出现 1 个
三、极大似然法
是在总体类型已知条件下使用的一种 参数估计方法 .
它首先是由德国数学家 高斯在1821年提出的 , 然而，这个方法常归功于 英国统计学家费歇 .
Gauss
费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
极大似然法的基本思想 先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 .
第七章 参数估计
总体是由总体分布来刻画的.
总体分布类型的判断──在实际问题中, 我们根据问题本身的专业知识或以往的经验 或适当的统计方法,有时可以判断总体分布 的类型.
总体分布的未知参数的估计──总体分 布的参数往往是未知的,需要通过样本来估 计.通过样本来估计总体的参数,称为参数估 计,它是统计推断的一种重要形式.
一般地,am (m=1,2, ,k)是总体分布中 的参数 1,2,,k的函数. 故应该把am
(m= 1,2, ,k)记之为:
am (1,2,,k) (m=1,2, ,k)
步骤二、 算出m阶样本原点矩:
Am
1 n
n
X
m i
i 1
m 1,2, , k
步骤三、令 am (1,2,,k) = Am
如果要你推测， 是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中,猎人命中的 概率一般大于这位同学命中的概率. 看来这 一枪是猎人射中的 .
这个例子所作的推断已经体现了极大似 然法的基本思想 .
下面我们再看一个例子,进一步体会极 大似然法的基本思想 .
例 7.5 设一袋子中装有许多红球和白球，且知两 种球的数目之比为 1：4，但不知哪种球多．现从袋 中有放回地抽取 5 个球，发现这 5 个球中只有 1 个 红球，问袋中是红球多还是白球多？
（7.3）
显然上式（7.3）是未知参数1,2,L ,l 的函数，称
之为似然函数．
根据最大似然原理，既然已取得样本值
x1, x2,L , xn ，就可认为当时确定总体成分的未知
参数1,2,L ,l 的取值，应使样本值 x1, x2,L , xn出
现的概率 L 为最大．
于是，可选择1,2,L ,l 的适当值ˆ1,ˆ2,L ,ˆl ，
n
使
max L p(xi;ˆ1,L ,ˆl )．
（7.4）
由（7.4）式所确i1定的ˆ1,ˆ2,L ,ˆl 叫做未知参数
1,2,L ,l 的最大似然估计值．
最大似然估计值ˆ1,ˆ2,L ,ˆl 与样本值 x1, x2,L , xn 有 关 ， 常 记 为ˆk (x1, x2,L , xn ) ， k 1,2,L ,l．
例如 (1) 为了研究人们的市场消费行为,
我们要先搞清楚人们的收入状况. 假设某城市人均年收入X∼N( , 2).
但参数和2的具体值并不知道,需要通过样 本来估计.
(2) 假定某城市在单位时间(譬如一个 月)内交通事故发生次数 X ∼ P().
参数未知,需要从样本来估计.
本章讨论:
参数估计的常用方法. 估计的优良性准则. 若干重要总体的参数估计问题.
用样本矩估计 总体矩
解得 ˆ X
1 n
n i1
(Xi
X )2
ˆ
1 n
n i1
(Xi
X )2
ˆ,ˆ 即为参数 , 的矩估计.
矩法的优点是简单易行,并不需要 事先知道总体是什么分布 .
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时， 选取那些总体矩用相应样本矩代替带 有一定的随意性 .
其它
其中 1
是未知参数,
X1,X2,…,Xn是取自X的样本,求参数 的矩估计.
解: E(X ) 1 x( 1)x dx
数学期望
是一阶
(
1)
0
1 x 1dx
1
原点矩由矩估计法,
X
0
1
2
总体矩
样本矩
2
从中解得 ˆ 2X 1, 即为 的矩估计.
1 X
例2 均值,方差2的矩估计
设总体的均值为,方差为2 ,于是
参数估计问题的一般提法
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 ( 可以是
向量) . 现从该总体抽样，得样本 X1,X2,…,Xn
要依据该样本对参数 作出估计，或估计 的某个已知函数 g( ) .
这类问题称为参数估计.
点估计
参数估计
区间估计
第七章第一节 参数的点估计概念
当给定样本X1,X2,…Xn时，定义似 然函数为：
L( ) f (X1,X2,…Xn; )
似然函数：
L( ) f (X1,X2,…Xn; )
L( )看作参数 的函数，它可作为 将以多
大可能产生样本值X1,X2,…Xn的一种度量 .
极大似然估计法就是用使 L( )达到最 大值的 ˆ去估计 .
L(ˆ) max L( )
相 应 的 统 计 量 ˆk ( X1, X 2,L , X n ) ， k 1,2,L ,l 称为最大似然估计量．
根据上述定义，求未知参数1,2,L ,l 的最
大似然估计值，可归结为求似然函数 L 的最大值
点ˆ1,ˆ2,L ,ˆl． 在很多情况下，L是1,2,L ,l 的可微函数，
按照微分学中求函数最大值的方法
由此，当对未知参数 p可供作为估计值的选择有
多个时，自然应选择使结果 A 出现的概率为最大的那
一个 pˆ 作为 p的估计值，这就是最大似然估计法选择 未知参数估计值的基,X2,…Xn是取自总体X的一个样本， 样本的联合密度(连续型）或联合概率函数
(离散型)为 f (X1,X2,…Xn; ) .
n
n
xi
n xi
L( p) p i1 (1 p) i1
对数似然函数为：
n
n
ln L( p) xi ln( p) (n xi ) ln(1 p)
L的最大值点ˆ1,ˆ2,L ,ˆl 可从方程组
L 0，k 1,2,L ,l ．
k
（7.5）
解出．方程组（7.5）称为似然方程组．
由于L与ln L有相同的最大值点，1,2,L ,l
的最大似然估计值ˆ1,ˆ2,L ,ˆl 也可从方程组
ln L 0，k 1,2,L ,l ．
k
（7.6）
求得。
而且方程组（7.6）的求解往往比方程组（7.5）
1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 …… 这里我们主要介绍前面两种方法 .
矩是基于一种简单的“替换” 思想建立起来的一种估计方法 .
是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 . 理论依据: 大数定律
记总体k阶矩为 k E( X k )
估计 在区间[1.57, 1.84]内，这是区间估计.
一、点估计概念及讨论的问题
例1 已知某地区新生婴儿的体重X~ N (, 2 ),
, 2未知,
…
随机抽查100个婴儿
得100个体重数据
9, 7, 6, 6.5, 5, 5.2, … 而全部信息就由这100个数组成.
据此,我们应如何估计 和 呢?
样本k阶矩为
Ak
1 n
n i 1
X
k i
记总体k阶中心矩为 k E[ X E( X )]k
样本k阶中心矩为
Bk
1 n
n
(Xi X )k
i 1
用相应的样本矩去估计总体矩的估计方法 就称为矩估计法.
方法
设总体X的分布函数中含有k个未知参数
1, ,k
步骤一、 我们把总体X的m阶原点矩E(Xm) 记为 am , m=1,2, ,k
X
~
f
(
x)
1
e (
x
)
,
x
, 为未知参数
0,
其它
其中 >0,求 , 的矩估计.
解:由密度函数知
X 具有均值为 的指数分布
故 E(X- )= 即 E(X)=
Var(X- )= 2
Var(X)= 2
即 E(X)= Var(X)= 2
令 X
2
1 n
n i 1
(Xi
X )2
E(X ) u
E(X 2 ) Var(X ) [E(X )]2 2 2
由此列出方程组:
E E
( (
X X
)
2
A1 ) A2
即
u X
2 2
1 n
n i 1
X
2 l
求解得
uˆ
ˆ
2
X 1
n
n i1
X
2 l
X
2
1 n
n
（X i
i1
X )2
∴均值,方差2的矩估计是:
uˆ
ˆ
2
称ˆ为 的极大似然估计（MLE）.
1．离散型总体情形
设离散型总体 X 的分布律为
PX x p x；1,L ,l ， x x(1) , x(2) ,L L ．
其中1,2,L ,l 是未知参数．