当前位置：文档之家 › 第3章 参数估计理论

第3章 参数估计理论

  • 格式：doc
  • 大小：1.75 MB
  • 文档页数：30

下载文档原格式

  / 30

合集下载

3 第三章 参数估计与非参数估计

3 第三章 参数估计与非参数估计
• Bayes决策需要已知两种知识：
– 各类的先验概率P(ωi)
– 各类的条件概率密度函数p(x|ωi)

P(i | x)
p(x | i ) P(i ) p(x | j ) P( j )
j
知识的来源：对问题的一般性认识或一些训练数据 基于样本两步Bayes分类器设计
利用样本集估计p(ωi)和p(x|ωi)
θ N
argmax ln p( x k | θ)
θ k 1
16
• 最大似然估计计算方法
使似然函数梯度为0
θ H (θ) |ˆ θ ln p( xk | θ) |ˆ 0
ML
N
k 1
ML
θ 1
...
s
T
17
一．类概率密度最大似然估计
7
§3-1 参数估计与监督学习（续2）
下图表示对一幅道路图像按路面与非路面分类可用两种不同做法，其中左图 是在图像中路面区与非路面中各找一个窗口，将其中每个象素分别作为这两 类的训练样本集，用这两个样本集在特征空间的分布参数进行设计。 而无监督学习方法则不同，它不预先选择样本类别的样本集，而是将整幅图 的像素都作为待分类样本集，通过它们在特征空间中表现出来的聚类现象， 把不同类别划分开。 图中有监督学习，样本集分布呈现交迭情况，而无监督学习方法由于没有类 别样本指导，无法确定它们的交迭情况，只能按分布的聚类情况进行划分。
N 1 估计值： 1 Xk N k 1
1 N 2 Xk N k 1

Xk

T
结论：①μ的估计即为学习样本的算术平均
②估计的协方差矩阵是矩阵

参数估计PPT课件

参数估计PPT课件
如何根据数据选择合适的模型，以及如何进行有效的假设检验是 参数估计面临的重要挑战。
高维数据问题
随着数据维度的增加，参数估计的准确性和稳定性面临更大的挑战 。
异方差性和非线性问题
在实际应用中，数据往往存在异方差性和非线性关系，这增加了参 数估计的难度。
参数估计的发展趋势与未来研究方向
1 2 3
贝叶斯推断
区间估计是一种统计推断方法， 它利用样本信息来估计未知参数 的可能取值范围。
区间估计的性质
区间估计给出的是未知参数的一 个可能取值范围，而不是一个具 体的点估计值。
区间估计的优缺点
优点
区间估计能够给出未知参数的一个可能取值范围，从而为决 策者提供更多的信息，有助于理解参数的不确定性。
缺点
由于区间估计给出的范围较宽，可能会引入较大的误差。此 外，对于某些复杂模型，构造有效的区间估计可能比较困难 。
在贝叶斯估计中，先验分布代表了我们对未知参数的先验知识或信念，而后验分布 则是结合先验信息和样本数据后对未知参数的更新信念。
贝叶斯估计的核心思想是将参数看作随机变量，并利用概率论来描述我们对参数的 认知不确定性。
贝叶斯估计的优缺点
优点
贝叶斯估计能够综合考虑先验信息和样本数据，给出参数的后验分布，从而为决 策提供更全面的信息。此外，贝叶斯估计方法灵活，可以适用于不同类型的数据 和问题。
点估计的优缺点
总结词
点估计的优缺点
详细描述
点估计的优点在于它提供了一个简洁的表示未知参数的方法，并且可以利用各种统计方法进行推断和分析。然而 ，点估计也存在一些缺点，如它可能会受到样本误差的影响，导致估计结果不够准确；另外，当样本容量较小时 ，点估计的效果可能会较差。
点估计的常见方法：矩估计、最小二乘法等

第3章抽样误差与假设检验2

第3章抽样误差与假设检验2

（2）t 分布 法
公式——x ? t? s /2, ? x
应用条件 ——
样本量
较小，
已知或可计算出
x
及
s x
例题
意义
例：某医生测得 25名动脉粥样硬化患者血浆纤 维蛋白原含量的均数为 3.32 g/L，标准差为 0.57 g/L，试计算该种病人血浆纤维蛋白原含量总体 均数的95%可信区间。
下限： 上限：
第三章 抽样误差与假设检验
三、 参数估计
（一）参数估计的概念
? 参数估计： 是指用样本指标（统计量）估计总体指标（参 数）。
? 包括： 点估计（近似值） 区间估计（近似范围）
点估计：
? 用样本统计量直接作为总体参数的点估计值， ? 点估计的方法简单，但没有考虑抽样误差，无法评估估
计值与真值之间的差距。
产生100个随机样本，分别计算其 95%的可信区间， 结果用图示的方法表示。从图可以看出：绝大多数 可信区间包含总体参数 ? ? 4.75 ，只有6个可信区间 没有包含总体参数（用星号标记）。
*
*
μ
*
**
*
图4-2 模拟抽样成年男子红细胞数100次的95%可信区间示意图 ( ? ? 4.75， ? ? 0 .39， n ? 140 )
f (t) v ? ? 标准正态分布 v? 5 v?1
图4-2 不同自由度的 t 分布图
可信区间的计算 : 计算可信区间的原理与前完全相同，仅仅是两
侧概率的界值有些差别。即
P (－ t? / 2 (? )
?
X－ ?
S/ n
?
t? / 2 (? ) )＝1－ ?
可信区间：
(
X－t?
/

3参数估计

3参数估计
65% 9.35%
55.65%,74.35%
故该城市下岗职工中女性比例的置信区间为55.65%～74.35%
24
3.3.5区间估计的SPSS应用
正态分布的区间估计
Analyze→Descriptive Statistics→Explore→Statistics
输出均数、中位数、众数、标准误、方差等
0
有，lim n
P(|
ˆn
| )
0
5
有效性
设 ˆ1 ˆ1(X1,..., X n )和 ˆ2 ˆ2 (X1,..., X n ) 都是参数的无偏估计
量，若对任意 ，D(ˆ1) D(ˆ2 ) ，且至少对于某个
上式中的不等号成立，则称 ˆ1 较 ˆ2 有效
注意：
无偏性、有效性、一致性之间并没有必然的联系。如无偏的未必 有效
某城市想要估计下岗职工中女性所占的比例，随机抽取了100个 下岗职工，其中65人为女性职工。试以95%的置信水平估计该城 市下岗职工中女性比例的置信区间。
解：已知n=100，p＝65%，1- =95%， 2 =1.96
p z 2
p(1 p) n
65% 1.96 65%(1 65%) 100
可靠度与精度是一对矛盾，一般是在保证可靠度的条件 下尽可能提高精度
15
3.3.2总体方差σ2已知时，总体均值μ的估计
X ~ N , 2 ，x1, x2,, xn为来自总体的样本
样本均值 x 服从数学期望为μ、方差为 2/n的正态分布，
x ~ N , 2 n
当 2已知时
U x ~ N 0,1
最大似然的思想
选择适当的 ˆ，使 L( ) 取得最大值，即
L(x1, x2, , xn,ˆ) max{f(x1,)f(x2,) f(xn,)}

《统计学》第3章 参数估计

《统计学》第3章 参数估计

【例3.5】假定在一个箱子里放着黑、白两 种球共4只，且知道这两种球的数目之比为 1∶3，但不知道究竟哪一种颜色的球多。
设黑球所占的比例为P，由上述假定推知P仅 可能取1/4和3/4这两个值，现在采用有放 回抽样的方法，从箱子中随机地抽取三个 球，观察到球的颜色为黑、白、黑，你会 对箱子中的黑球数作出什么推断呢？即你 认为P的值是1/4，还是3/4？
或 为似然方程组。
ln L(1 , 2 ,, n ) 0 j
解得。上面方程组称
[注意] 上面的讨论中，我们没有提到似函 数 L( ) 取极大值的充分条件，对于具体的 函数可作验证。
【例3.6】设总体X服从参数为 的泊松分 布，求参数 的极大似然估计量。
解 设 X1，X2，X3，……，Xn 是来自 X 的样 本，
【例5.2】设X1，X2，……，Xn是取自总 体X的样本，已知X的概率密度为：
X 1 , 0 X 1 f ( X , ) 其他 0,
( 1)
试用矩估计法估计总体参数 。 解: 由于 E ( X ) xf ( X , )dx 1 样本均值为 X ，令E（X）= X ，得: X ,
又 ∵
1 1 n n ，即 ( 2 1 ) ( x( n) x(1) )
L(1,2 ) L( x(1) , x(n) )
∴ 1 , 2 的极大似然估计量分别为 x(1) , x(n) 。
三、估计量的优良标准
在对总体参数做出估计时并非所有的估计量 都是优良的，从而产生了评价估计量是否 优良的标准。对于点估计量来说，一个好 的估计量有如下三个标准：
(x
i 1 n
n
i
) 0 )

第三章 参数估计 《统计学》PPT课件

第三章 参数估计 《统计学》PPT课件
解：因为1 E X p ，令 p x 可得 p 的矩估计 pˆ x 。
注意到这里的样本均值 x 就是样本比例，而 p 是总体比例， 所以总体比例的矩估计是样本比例。
几个例子
【例 3.3】设总体服从参数为 的指数分布 E() ，
即 X p(x;) ex, x 0 ； (x1, , xn ) 是来自总体的样本，
解： 因为 X 的概率密度为
f (x; ) 1 , 0 x 0, x [0, ]
所以，样本 (x1, , xn ) 的联合概率密度为
n
f
(xi ;
)
1
n
,
i 1
0 ,
0 x1, ,xn x j [0, ] , 1 j n
于是 的似然函数为
L(
)
1
n
,
0 ,
mx1a x (xn , , ) max(x1, ,xn )
x 2 sn2 可得 (, 2) 的矩估计为 ˆ x ,ˆ 2 sn2 。
注意
矩估计法可能不惟一，比如例3.3中参数λ 的矩估计；
矩估计法得到的估计在有些情况下可能不 符合逻辑，比如例3.1中当样本的最大值大 于两倍样本均值，那么采用两倍样本均值 作为区间上限的估计显然不是一个合理的 估计，因为区间上限θ至少与x(n)一样大。
3.2 点估计的评价标准
对于总体参数，采用不同的估计方法可能 得到不同的估计量，一个自然而然的问题 就是：
同一个参数的多个不同估计量哪一个最好？ 三种常用的评价标准：无偏性，一致性和
有效性。
3.2.1 无偏性
定义 3.1 设ˆ 是 的一个估计量， 的参数空间为 ， 如果对任意 ， 有
E(ˆ)
Var(*) Var(ˆ) 则称ˆ 是 的一致最小方差无偏估计量(uniformly minimum

线性模型的参数估计理论和方法

线性模型的参数估计理论和方法
在实际应用中,经常我们可以根据实际经验或先验信息知道口?≠一、例如在微波领域,量具往往是静静止的所以横纵坐标的误差显然也就不会干H同,衄
一11l
第3章基于协方差阵独立估计的两步估计
圈3一l均方误差图
MSE
Figure3-1The figure of
通过模拟我们看到,适当选择协变量的得到的协方差改进两步估汁鲰的精度的确会提高.从均方误差图看到,在一般情况下,协方差改进两步估计甄的均方误差更小并且与最佳线性无偏估计矿的较接近,这和先验信息量m没有直接的线性关系.从图3—1中我们还清楚地看到,即使m值不大的情况下,协方差改进两步估计也有很好的性质。
Ilml
图4-1机械标准件图
Figure4—l the figure o数圆图
Figure4—2Figure of reflection coefiicients
如Thom等【”0。”“研究在英国奥克尼郡州发现的一个神秘的Brogar巨型石头圈,关了二它的神秘假设传奇有兴趣可以参看[103I,这里略去。关于这个巨型圆是由37块巨石石头围成,除了第7、8两块石头不太规则有些特殊外,其它石头都很均匀的分布在‘个圆周围,参见第93页图4—3。
3.4本章小结
本章主要讨论了当基于历史数据可以获得模型误差协方差阵的独市估计时的两步估计及此时的协变量选择问题。应用协方差改进法获得了基于全部和部分协变量的两步估计的协方差阵精确表达式,导出了两步估计优于最小二乘估计的充要条件并提出了相应的大样本检验.在把基于部分协变量的两步估计表为加
一89—
北京工业大学理学博士学位论文
我们知道一。个圆可由它的圆心和半径所唯一确定,但在实际机械制造牛广:过程中,由于量具位置的不确定性,量具的磨损或测量位置的波动,导致圆心位置的飘移,进而引起半径及其它影响。在工程技术领域,目前普遍采用CMM获取数据,在其他领域也有专门的工具获得很多类似分布在近似圆形周围的数据。假设我们得到了一些圆形附近的离散测量点数据集合,接r来的任务就是去估计它们的几何参数。如果我们用(戥,玑)表示第t个测量点的坐标、

参数估计的基本理论

参数估计的基本理论

第3章 参数估计的基本理论信号检测：通过准则来判断信号有无；参数估计：由观测量来估计出信号的参数；解决1）用什么方法求取参数，2）如何评价估计质量或者效果严格来讲，这一章研究的是参数的统计估计方法，它是数理统计的一个分支。

推荐两本参考书高等教育出版社《数理统计导论》，《Nonlinear Parameter Estimation 》。

我们首先从一个估计问题入手，来了解参数估计的基本概念。

3.1 估计的基本概念3.1.1 估计问题对于观察值x 是信号s 和噪声n 叠加的情况：()x s n θ=+其中θ是信号s 的参数，或θ就是信号本身。

若能找到一个函数()f x ，利用()12,,N f x x x 可以得到参数θ的估计值 θ，相对估计值 θ，θ称为参数的真值。

则称()12,,N f x x x 为参数θ的一个估计量。

记作 ()12,,Nf x x x θ= 。

在上面的方程中，去掉n 实际上是一个多元方程求解问题。

这时，如果把n 看作是一种干扰或摄动，那么就可以用解确定性方程的方法来得出()f x 。

但是我们要研究的是参数的统计估计方法，所以上面的描述并不适合我们的讨论。

下面给出估计的统计问题描述。

（点估计）设随机变量x 具有某一已知函数形式的概率密度函数，但是该函数依赖于未知参数θ，Ω∈θ ，Ω称为参数空间。

因此可以把x 的概率密度函数表示为一个函数族);(θx p 。

N x x x ,,,21 表示随机样本，其分布取自函数族);(θx p 的某一成员，问题是求统计量 ()12,,Nf x x x θ= ，作为参数θ的一个估计量。

以上就是用统计的语言给出的参数估计问题的描述。

数。

统计量的两个特征：1，随机变量的函数，因此也是随机变量；2，不依赖于未知参数，因此当我们得到随机变量的一组抽样，就可以计算得到统计量的值。

例3-1：考虑由(1,2,,)i ix s n i N =+= ，给定的观测样本。

参数估计理论与应用(第三章 )

参数估计理论与应用(第三章 )
N N
1 xk xk ] N k 1
N k 1
N
E[x
k 1 k
k
xk ] Rx ( )
1 xk xk ] N k 1
E[x
xk ] (1

N
) Rx ( )
式中，Rx(τ)=E[xk+τ xk] 是随机数据{xk}的相关函数。 ˆ (τ) 是无偏的，而 R ˆ 2(τ)则是 以上二式表明，估计量 R 1 ˆ (τ)是渐进无偏的，即 R 有偏的。但是， 2
2015/11/3 第三章 参数估计理论与应用
N
ˆ ( ) R ( ) lim E[R 2 x
ˆ 2(τ)是半正定的，而无偏估计量 R ˆ 1(τ)却 渐进无偏估计量 R ˆ 2(τ)的使用场合较多。 不一定是半正定的，故 R （2）有效性 如果ˆ 1 和ˆ 2 是两个根据N个独立观测样 本得到的无偏估计量，无疑地，对θ 的平均偏差较小是选择 的标准之一。例如，如果
N
3.1.2
Fisher信息和Cramer-Rao不等式
通常希望获得有效的参数估计量。但是，由于不存在导 致最小方差无偏估计量的最佳算法，所以通常采用参数无偏 估计的Cramer-Rao下限(或CR下界), 作为评价参数估计性能 的测度。为了简洁叙述这一的评价测度，先定义一个重要的 概念。 Fisher 信息 Fisher 信息用J（θ）表示，定义为
MMSE MMSE
当总体的分布密度函数p(X|θ)已知时，利用X={ x1,…,xN } 进行参数估计，通常是采用代价函数的期望值
ˆ, ) E[C( ˆ, )] R(
作为评价参数估计量效果的测度，并称之为风险函数。使风 险函数最小的参数估计叫做 Bayes 估计；基于二次型风险函 数最小的估计称为最小均方误差（minimum mean square error, MMSE）估计。二次型风险函数定义为

统计学：3-参数估计

统计学：3-参数估计
8. 置信水平只是告诉我们在多次估计得到的区间中大概 有多少个区间包含了参数的真值，而不是针对所抽取 的这个样本所构建的区间而言的
5 - 14
2008年8月
3.统1 计参学数估计的基本原理
三ST、(A第T三I区S版TI间C) S估计——置信区间的表述 (confidence interval)
点估计值
10. 实际应用中，过宽的区间往往没有实际意义
比如，天气预报说“在一年内会下一场雨”，虽然这很 有把握，但有什么意义呢？另一方面，要求过于准确(过 窄)的区间同样不一定有意义，因为过窄的区间虽然看上 去很准确，但把握性就会降低，除非无限制增加样本量， 而现实中样本量总是有限的
5 - 16
2008年8月
总体分布 样本量
2已知 2未知
正态分布 大样本 n≧30
正态分布 小样本
n˂30 非正态分布 大样本
n≧30
x Z
2
n
x Z
2
n
x Z
2
n
x Z
2
s n
x t (n 1)
2
s n
x Z
2
s n
5 - 19
2008年8月
3.统2 计一学个总体参数的区间估计
STATISTICS (第三版)
3.2 一个总体参数的区间估计
一、 总体均值的区间估计 二、 总体比例的区间估计 三、 总体方差的区间估计
3.统2 计一学个总体参数的区间估计
STATISTICS (第三版)
总体参数 均值 比例 方差
5 - 18
符号表示
2
样本统计量
x p s2
2008年8月
统计学 一个总体均值的区间估计

第三章 参数估计

第三章 参数估计
其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估计的 好坏判断标准。
3.1.1 矩估计法
矩估计的思路：样本������阶原点矩������������ 作为总体������阶原点矩������������ 的估计量，而以样本矩的连续函数作为相应的总体矩的连 续函数的估计量。 矩估计的依据：样本������阶原点矩������������ 依概率收敛于相应的总 体������阶原点矩������������ 。样本矩的连续函数依概率收敛于相应的 总体矩的连续函数。
3.1.2 最大似然估计法
例3.6 考察以下例子：
假设在一个罐中放着许多白球和黑球，并假定已经知道两 种球的数目之比是1：3，但不知道哪种颜色的球多。如果 用返回抽样方法从罐中任取3个球，则其中黑色的个数为������ 的概率为：
3 ������ ������ ������, ������ = ������ ������ ������
3.1.2 最大似然估计法
从上表看到：
������ = 0, ������ 0,
1 4 27 64 3 4 1 , 取������ 64 1 4
=
> ������ 0,
=
= 更合理；
������ = 1类似；
������ = 2, ������ 2,
1 4
=
9 64
< ������ 2,
3 4
=
27 , 64
有：
������ + ������ = 2������1 , ������ − ������ = 12(������2 − ������1 2 )
解方程组，得到：
3.1.1 矩估计法

第三章 参数估计

第三章 参数估计

第三章 参数估计重点：1.总体参数与统计量2.样本均值与样本比例及其标准误差难点：1.区间估计2.样本量的确定知识点一：总体分布与总体参数统计分析数据的方法包括：描述统计和推断统计（第一章）推断统计是研究如何利用样本数据来推 断总体特征的统计学方法，包括参数估计和假设检验两大类。

总体分布是总体中所有观测值所形成的分布。

总体参数是对总体特征的某个概括性的度量。

通常有总体平均数（ μ）总体方差（σ2 ）总体比例（ π）知识点二：统计量和抽样分布总体参数是未知的，但可以利用样本信息来推断。

统计量是根据样本数据计算的用于推断总体的某些量，是对样本特征的某个概括性度量。

统计量是样本的函数，如样本均值（）、样本方差（ s2）、样本比例（p）等。

构成统计量的函数中不能包括未知因素。

由于样本是从总体中随机抽取的，样本具有随机性，由样本数据计算出的统计量也就是随机的。

统计量的取值是依据样本而变化的，不同的样本可以计算出不同的统计量值。

[例题·单选题]以下为总体参数的是( )a．样本均值b．样本方差c．样本比例d．总体均值答案：d解析：总体参数是对总体特征的某个概括性的度量。

通常有总体平均数、总体方差、总体比例题·判断题：统计量是样本的函数。

答案：正确解析：统计量是样本的函数，如样本均值（）、样本方差（）、样本比例（p）等。

构成统计量的函数中不能包括未知因素。

[例题·判断题]在抽样推断中，作为推断对象的总体和作为观察对象的样本都是确定的、唯一的。

答案：错误解析：作为推断对象的总体是唯一的，但作为观察对象的样本不是唯一的，不同的样本可以计算出不同的统计量值。

（一）样本均值的抽样分布设总体共有n个元素，从中随机抽取一个容量为n的样本，在重置抽样时，共有n n种抽法，即可以组成n n不同的样本，在不重复抽样时，共有个可能的样本。

每一个样本都可以计算出一个均值，这些所有可能的抽样均值形成的分布就是样本均值的分布。

概率论与数理统计课件：参数估计

概率论与数理统计课件：参数估计

n
n
p( X xi; ) p(xi; ).
i 1
i 1
事实上，它们仅是参数 的函数，称为似然函数，记
为L( ) ，即 L( ) L(x1, x2,
或
n
, xn; ) f (xi; ), i 1
n
L( ) L( X x1, X x2, , X xn; ) p(xi; ). i 1
一个随机变量，其服从 0的泊松分布，即X ~ P()，
其中， 为未知参数. 已知在某小时进入该商场的人数的
样本值见表7.1，试求参数 的点估计值.
表7.1 在某小时进入某商场人数的统计情况
每分钟平均一秒钟进 入该商场的人数 0
1
2
3
4
5
6
7 8
分钟数
6 18 17 9 5 2 2 1 0
参数估计
解：因为X E( 1) ，所以 E( X ) .
由于仅有一个未知参数 ，故仅列一个方程
即可.
1( ) A1
因为1( ) E(X ) 和 A1 X ，所以ˆ X .
参数估计
首页 返回 退出
例7.1.3 设随机变量X在区间[a, b]中均匀取值，即 X U (a,b) ，其中，a 与 b均为未知参数，试求 a与 b的
i 1
i 1
参数估计
首页 返回 退出
(3) 似然函数 L( ) 与经自然对数变换后的函数 ln L( ) 等价，即求L( )的最大值点等价于求 ln L( )的最大值 点. 函数ln L( ) 对未知参数 求导数，并令其为0，即
d ln L( ) 0.
d
(4) 求解上述方程，得到参数 的最大似然估计值 ˆ(x1, x2 , , xn ),

参数估计PPT课件

参数估计PPT课件
参数估计
目录
• 参数估计简介 • 最小二乘法 • 最大似然估计法 • 贝叶斯估计法 • 参数估计的评估与选择
01 参数估计简介
参数估计的基本概念
参数估计是一种统计学方法，用于估计未知参数的值。通过使用样本数据和适当的统计模型，我们可 以估计出未知参数的合理范围或具体值。
参数估计的基本概念包括总体参数、样本参数、点估计和区间估计等。总体参数描述了总体特征，而 样本参数则描述了样本特征。点估计是使用单一数值来表示未知参数的估计值，而区间估计则是给出 未知参数的可能范围。
到样本数据的可能性。
最大似然估计法的原理是寻找 使似然函数最大的参数值，该 值即为所求的参数估计值。
最大似然估计法的计算过程
确定似然函数的表达式
根据数据分布和模型假设，写出似然函数的表达式。
对似然函数求导
对似然函数关于参数求导，得到导数表达式。
解导数方程
求解导数方程，找到使似然函数最大的参数值。
确定参数估计值
04
似然函数描述了样本数据与参数之间的关系，即给定参数值下观察到 样本数据的概率。
贝叶斯估计法的计算过程
首先，根据先验信息确定参数的先验分布。 然后，利用样本信息和似然函数计算参数的后验分布。 最后，根据后验分布进行参数估计，常见的估计方法包括最大后验估计（MAP）和贝叶斯线性回归等。
贝叶斯估计法的优缺点
参数估计的常见方法
最小二乘法
最小二乘法是一种常用的线性回归分析方法，通过最小化误差的平方和来估计未知参数。这种方法适用于线性回归模 型，并能够给出参数的点估计和区间估计。
极大似然法
极大似然法是一种基于概率模型的参数估计方法，通过最大化样本数据的似然函数来估计未知参数。这种方法适用于 各种概率模型，并能够给出参数的点估计和区间估计。

参数估计理论

参数估计理论
系统传递函数 H (f)h(t)ej2ftdt
系统输出的自协方差函数
C y y ( ) C x x ( u 1 u 2 ) h ( u 1 ) h * ( u 2 ) d u 1 d u 2
系统输出的功率谱密度
P y y(f)P x x(f)|H (f)|2
即线性系统输出信号的功率谱密度等于输入信号的
➢ x=sin(2*pi*10*t)+0.6*randn(1,length(t)); %原始信号
➢ [c, lags] = xcorr (x, Lag, 'unbiased'); %对原始信号进行无偏 自相关估计
➢ subplot(2,2,1),plot(t,x);
%绘原始信号x
➢ xlabel('时间/s');ylabel('x(t)');title('带噪声周期信号');grid on;
时间而变化。
随机信号x(t)的均方值表达式为：
x 2 E { x2(t)} T li m T 10 Tx2(t)d t
均方值 表示了信号的强度或功率。
5
随机信号的数字特征
随机信号x(t)的均方根值表示为：
xE [x2(t)]T li m T 10 Tx2(t)dt
也是信号能量或强度的一种描述。
随机信号x(t)的方差表达式为：
x 2 E [ ( x x ) 2 ] T li m T 1 0 T [ x ( t) x ] 2 d t
方差是信号幅值相对于均值分散程度的一种表示， 也是信号纯波动（交流）分量大小的反映。
6
离散随机信号的数字特征
若x(n)是离散的各态历经的平稳随机信号序列。类似 连续随机信号，其数字特征可由下面式子来表示：
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第3章 参数估计理论参数估计的基本方法：点估计，区间估计点估计：以样本的某一函数值作为总体中未知参数的估计值。

区间估计：把总体中的参数确定在某一区间内。

第1节 点估计点估计就是以样本的某一函数值作为总体中未知参数的估计值。

设θ是总体X 的待估参数，用样本12,,,n X X X 构造一个合适的统计量12(,,,)n T X X X 来估计参数θ，通常记为ˆθ，即12ˆ=(,,,)nT X X X θ ，称为参数θ的估计量。

对样本的一组观测值12(,,,)n x x x ，统计量T 的值12ˆ=(,,,)n T x x x θ 称为参数θ的估计值。

点估计的问题就是要找一个作为待估参数θ的估计量12(,,,)n T X X X 的问题。

点估计的方法：数字特征法（矩估计法）、极大似然估计法、Bayes 估计法、最小二乘法等等。

第2节 矩估计法矩估计法由英国统计学家K.Person 在20世纪初提出，基本思想就是用样本矩去估计相应的总体矩。

理论依据是大数定律。

例1 设总体X 服从参数为θ的指数分布，即11,0(,)0,0x e x f x x θθθ-⎧>⎪=⎨⎪≤⎩12,,,n X X X 为取自总体X 的样本，求参数θ的矩估计量。

例2 设总体2~(,)X N μσ，12,,,n X X X 为取自总体X 的样本，求参数2,μσ的矩估计量。

例3 设总体2~(0,)X N σ，12,,,n X X X 为取自总体X 的样本，求参数2σ的矩估计量。

例4 设总体~(,)X U a b ，12,,,n X X X 为取自总体X 的样本，求参数,a b 的矩估计量。

ˆˆ=a X b X =+ 例5 设总体~()X P λ，12,,,n X X X 为取自总体X 的样本，求参数λ的矩估计量。

第3节 极大似然估计法极大似然估计法最初由德国数学家C.F.Gauss 于1821年提出，英国统计学家R.A.Fisher 于1922年再次提出极大似然的思想，并探讨了它的性质。

假设总体~(4,)X B p ，其中参数p 未知，现抽取容量为3的样本123,,X X X ，如果样本观察值为1、2、1，我们来估计参数p 。

极大似然估计法的步骤：● 对一组样本12,,,n X X X ，写出似然函数12(,,,)n L x x x ； ● 将似然函数12(,,,)n L x x x 取对数12ln (,,,)n L x x x ； ● 令ln =0L θ∂∂，求出ˆθ，即为θ的极大似然估计。

例1 设总体~()X P λ，12,,,n X X X 为取自总体X 的样本，求参数λ的极大似然估计量。

例2设总体~(,)X B m p ，12,,,n X X X 为取自总体X 的样本，求参数p 的极大似然估计量。

例3 设总体2~(,)X N μσ，12,,,n X X X 为取自总体X 的样本，求参数2,μσ的极大似然估计量。

例4 设总体~(,)X U a b ，12,,,n X X X 为取自总体X 的样本，求参数,a b 的极大似然估计量。

定理 1 设ˆθ是参数θ的极大似然估计，若()g τθ=存在唯一的反函数，则ˆˆ()g τθ=是()g τθ=的极大似然估计。

例5 设总体2~(,)X N μσ，2,μσ未知，12,,,n X X X 为取自总体X 的样本，求{1}P X >的极大似然估计。

第4节 Bayes 估计Bayes 公式1()()(|)(|)()()(|)i i i i ni i i P A B P A P B A P A B P B P A P B A ===∑例 对以往数据分析结果表明，当机器调整良好时，产品的合格品率为90%，而当机器发生故障时产品的合格品率为30%。

每天早上机器开动时机器调整得良好的概率为75%。

试求已知某日早上第一件产品是合格品时机器调整得良好的概率是多大？解：设事件A 为“产品为合格品”，事件B 为“机器调整得良好”。

则()0.75,()0.25,(|)0.9,(|)0.3P B P B P A B P A B ====|0.750.9(|)0.90||0.750.90.250.3P B P A B P B A P B P A B P B P A B ⨯===+⨯+⨯（）（）（）（）（）（）一、决策理论的基本概念统计决策理论是著名统计学家A.Wald （1902-1950)在20世纪40年代建立起来的（Wald.A. Statistical decision function. New York ：John Wileysons , 1950.中译本：王福宝译，统计决策函数，上海教育出版社，1963）。

统计决策理论与经典统计学的差别在于是否涉及后果。

经典统计学重在推断上，而不考虑用在何处以及效果如何，统计决策理论引入损失函数，用来度量效益的大小，评价统计推断结果的优劣。

Bayes 分析是英国学者T.Bayes （1702-1761）首先提出，在20世纪后半叶迅速发展，它与经典统计学的差别在于是否使用先验信息。

1、决策问题与决策空间例 1 设甲乙两人进行一种游戏，甲手中有三张牌，分别标有123θθθ、、，乙手中也有三张牌，分别标有123a a a 、、。

游戏规则是双方各自独立地出牌，按下表记甲的得分与乙的失分：描述这类决策问题有三要素：● 状态集={}θΘ：状态集表示自然界或社会所有可能状态的全体。

也称为参数集或参数空间。

如本例的123={}θθθΘ、、。

● 行动集{}A a =：行动集表示决策者可能采取的行动的全体。

也称为决策集或决策空间。

如本例的123{}A a a a =、、● 收益函数(,)Q a θ：收益函数表示自然界或社会处于状态θ时，决策者采取行动a 所获的收益。

如本例的得分。

当Θ和A 都是有限集时，(,)Q a θ成为收益矩阵。

（1）先验信息：人们在过去对自然界或社会的各种状态所获得的信息。

（2）样本的信息：从与自然界或社会的状态θ有关的环境中抽样，从获得的样本中了解当今状态θ的最新信息。

如果在一个决策问题中只利用样本的信息，这种问题称为统计决策问题；如果在一个决策问题中不仅利用样本的信息，还利用先验信息，这样的问题称为Bayes 决策问题。

例2 某工厂生产的产品每100件装成一箱运交顾客，在向顾客交货前面临如下两个行动：a 1:一箱中逐一检查； a 2：一箱中都不检查若工厂选择行动a 1，则可保证交货时每件产品都是合格品。

但因每件产品检查费为0.8元，为此工厂要支付检查费80元/箱；若工厂选择行动a 2，工厂可免付每箱检查费80元，但顾客发现不合格品时，按合同不仅允许更换，而且每件还要支付12.5元的赔偿金。

2、损失函数(,)()(||)L a g a θλθθ=-()0λθ>且有限，它反映决策中由于θ的不同，即使同一个偏差||a θ-造成的危害性常不一样，而()g t 是t 的非降函数。

最常见的形式是(,)()||kL a a θλθθ=-，k 取非负整数。

常用的损失函数：（1）平方损失函数：2(,)()L a a θθ=- 或加权平方损失函数：2(,)()()L a a θλθθ=-（2）线性损失函数：01(),(,)(),k a a L a k a a θθθθθ-≤⎧=⎨->⎩其中，0 k 和1k 是两个大于0的常数，它们的选择常反映行动a 低于状态θ和高于状态θ的相对重要性。

当01k k =时，得绝对损失函数(,)||L a a θθ=- 若0 k 和1k 是θ的函数，则称为加权线性损失函数01()(),(,)()(),k a a L a k a a θθθθθθθ-≤⎧=⎨->⎩（3）0-1损失函数：0,||(,)1,||a L a a θεθθε-≤⎧=⎨->⎩这里的ε是正数。

这种损失函数常在两行动决策问题中使用，这里的0和1并不是损失的大小，是有无损失之意。

类似的有0,||(,),||a L a k a θεθθε-≤⎧=⎨->⎩或0,||(,)(),||a L a k a θεθθθε-≤⎧=⎨->⎩（4）多元二次损失函数：当θ和a 是多维向量时(,)()()T L a a A a θθθ=--其中，1212(,,,),(,,,),T Tn n a a a a A θθθθ== 为n n ⨯阶正定矩阵。

在实际问题中，我们的愿望是选择一个估计量a ，使损失函数(,)L a θ达到最小。

3、决策函数4、风险函数 (,)[(,)]R T E L a θθ= 二、Bayes 估计量1、先验分布例3 英国统计学家Savage.L.J.曾考虑如下两个问题：（1）一位常饮牛奶和茶的妇女声称，她能辨别先倒进杯子里的是茶还是牛奶，对此作了十次试验，全都成功；（2）一位音乐家声称，他能从一页乐谱辨别出是海顿(Haydn )的还是莫扎特(Mozart )的作品，在十次试验中全部成功。

2、后验分布（1）在经典统计中总体X 的分布依赖于参数θ和X 的取值 x ，即总体X 的分布为()f x θ，，而Bayes 学派认为函数()f x θ，是在随机变量θ给定某个值时X 的条件分布，所以应该记为(|)f x θ （2）根据参数θ的先验信息确定θ的先验分布()πθ（3）从总体X 中抽取样本12,,,n X X X ，则样本的联合分布为121(,,,|)(|)(|)nn i i f x x x f x f x θθθ∆===∏这个联合分布综合了样本的信息，又称为似然函数。

（4）考虑参数θ的先验信息，即把参数θ的先验信息()πθ与样本的信息12(,,,|)n f x x x θ 综合到一起，得到样本与参数的联合分布1(,)()()(|)()ni i h x f x f x θθπθθπθ===∏|（5）将样本的信息分离出来。

如果用(|)x πθ表示θ的后验分布，()g x表示样本12(,,,)n X X X X =的分布，它是样本的分布，与θ无关，即()g x不含θ的任何信息，亦即分解(,)h x θ ，分解成 1212(,)(|,,,)(,,,)(|)()n n h x x x x g x x x x g x θπθπθ==其中，()(,)d ()()d g x h x f x θθθπθθΘΘ==⎰⎰| （连续型） 或 ()()()g x f x θπθΘ=∑|（离散型）从而得到后验分布()()(|)=()f x xg x θπθπθ|(|)x πθ是离散性还是连续型，取决于θ的先验分布是离散性还是连续型。

从上述5个过程不难看出，当从总体获得样本后，公式把人们对θ的认识从()πθ调整到(|)x πθ，这个调整过程可以形象地表示为 先验信息⊕样本信息=后验信息即 ()()=(|)f x x πθθπθ⊕|例4 设总体~(1,)X B p ，其中参数p 未知，且设p 在区间（0，1）上服从均匀分布，12,,,n X X X 是来自总体X 的样本，试求p 的后验分布。