信号检测与估计 第三章 贝叶斯估计ppt课件

•
参数作为随机变量
• 条件分布： p(x1,x2,..xn | )
精选完整ppt课件
几个学派（3）
• 信念学派：
• 带头人：Fisher
• 观点：概率是频率
•
主观不是概率，而是信念度
•
参数不是随机变量，仅是普通变量
• 似然函数： L( | x1,x2,..xn)
精选完整ppt课件
批评1：置信区间
后验风险：
• Bayesian风险与后验风险
(L(,)p(x|) ()d)dx
• 后验分析最小＝>Bayesian风险最小
精选完整ppt课件
两种常用损失函数：
• 平方损失：
L(,)()2
– 最小Bayesian风险估计：后验期望
• 点损失：
L(a,
)
0,|
a
|
1,|
a
|
– 最大后验密度估计
精选完整ppt课件
• 3、联合分布密度－>条件分布密度
• p(x1,x2,..xn | )， 是随机变量
• 4、确定的先验分布() • 5、利用Bayesian公式求后验分布密度 • 6、使用后验分布做推断（参数估计、假设检验）
精选完整ppt课件
例1：两点分布b(1,p)的
• 1. 联合分布：p(x|)nxx(1)nx
• 使得 h ( |r ) p (x |)* ( )与先验分布同类型
• 若p(x|)服从正态分布，选正态分布 • 若p(x|)服从两点分布，选Beta分布 • 若p(x|)服从指数分布，选逆Gamma分布
精选完整ppt课件
Bayes统计推断问题
• 参数估计：
– 点估计 – 区间估计

is unbiase ˆdm2 l if E[
] = σ 2. That is,
E [K 1k K 1 (y k m )2 ] K 1E [K m 2 k K 1 Y k 2 2 m k K 1y k]2
Hence,
ˆ
2 m
l
is unbiased.
可编辑课件PPT
21
6.4 贝叶斯估计
(a) Assuming the constant m is not known, obtain the ML estmiˆ mm late
of
the mean.
(b) Suppose now that the mean m is known, but the variance σ 2 is unknown.
等式两边同取对数得 利用式6.1.2 解似然方程得到似然估计得
得到 the ML estimator is
。 Thus,
可编辑课件PPT
6
6.1 最大似然估计
(b) 最大似然估计式为
方程两边取对数得
其中对lnL(σ 2)最大化等价于对σ 2最小化
由似然函数的不变性得
可编辑课件PPT
7
6.1 最大似然估计
可编辑课件PPT
24
6.4 贝叶斯估计
Figure 6.3.1 Density function of the unbiased estimator θˆ .
可编辑课件PPT
19
6.3 优良估计评价标准
无偏最小方差： ˆ 是θ的最小方差和无偏估计，对所有的参数θ'都有E(θ')=θ,则对所有 ˆ
var( )≤var(θ')
也就是说，对于所有θ无偏估计， 具有最小的方差。

4 二元信号判决概率
P H | H pH x | d, x ， i j 0 , 1 i j j
R i
P H | H pH x | j d, x ， i j 0 , 1 i j
R i
5 M元信号检测模型
信源
概率转移机构
信源的输出称为假设 将信源的输出(假设)以一定的 概率关系映射到整个观察空间中 接收端所有可能观测量的集合 将观察空间进行合理划分,使每个观测量 对应一个假设判断的方法
H H
1 1
4 二元信号判决概率
判决 假设
H0
H1
H0 H P 0H 0
H P 1H 0
H P 1H 1
H1 H P 0H 1
3 二元信号判决结果
判决 假设
H0
H1
H0 H0 H0
H H
1 0
H1 H0 H1
H H
1 1
四种检测状态 ① 目标不存在，干扰信号没有超过门限，检测没有发生 ② 目标存在，合成的信号（目标和干扰）超过门限，检测发生 ③ 目标不存在，干扰信号超过了门限，虚假的检测产生 ④ 目标存在，合成的信号（目标和干扰）没有超过门限，检测没有发生
2 二元信号检测判决域 二元信号的检测问题，可归结为对观察空间的划分问题，即按照 一定的准则，将观察空间R分别划分为R0和R1两个子空间。
H 0 成立
R0
H 1 成立
R0
R1
2 二元信号检测判决域
3 二元信号判决结果
判决 假设
H0
H1
H0 H0 H0
H H
1 0
H1 H0 H1
观测量落入观测空间后,就可以用来推断哪一个

其中
B(
,
)
( )( ) ( )
，确定的随机变量
X
的分布称为贝塔分
布，记为beta(, )
贝塔分布beta(, ) 的均值 E( X )
，
方差Var( X
)
(
)2 (
1)
当 1时，贝塔分布退化整为理[p0p,1t ] 区间上的均匀分布。
19
信息验前分布
例 设事件 A 的概率为 ，为了估计 而作 n 次独立观察，其中事件 A 出现的次数为 X ，显然， X 服从二项分布 b(n, ) ，即
科全书》（数学卷）
整理ppt
3
第一章先验分布与后验分布
统计学有两个主要学派:频率学派与贝叶斯学派. 它们之间有异同,贝叶斯统计是在与经典统计的争 论中发展起来,主要的争论有: 1.未知参数可否作为随机变量? 2.事件的概率是否一定的频率解释? 3.概率是否可用经验来确定?
……….
§1.1 先介绍三种信息的概念
如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯
公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶
斯估计量、贝叶斯方法、贝叶斯统计等等.
整理ppt
2
贝叶斯方法(Bayesian approach )
• 贝叶斯方法是基于贝叶斯定理而发展起来用于系 统地阐述和解决统计问题的方法(Samuel Kotz和 吴喜之,2000)。
第二步是从总体分布 p(x | ' ) 产生一个样本 x (x1, xn ) ，
这个样本是具体的，人们能看得到的，此样本 x 发生的概) p(xi | ') i 1
这个联合密度函数是综合了总体信息和样本信息，常称
为似然函数，记为 L( ') 。

前面的分析总结如下：人们根据先验信息对参数θ
已有一个认识，这个认识就是先验分布π (θ )。通
过试验，获得样本。从而对θ 的先验分布进行调整，
调整的方法就是使用上面的贝叶斯公式，调整的结
果就是后验分布 ( x1,。, xn后) 验分布是三种信息 的综合。获得后验分布使人们对θ 的认识又前进一
1)
,
x

0,1, n
( x)
(n 2)
x (1 )nx ,0 1
(x 1)(n x 1)
即
X ~ Be(x 1, n x 1)
9
贝叶斯统计学首先要想方设法先去寻求θ的先验分布。 先验分布的确定大致可分以下几步： 第一步，选一个适应面较广的分布族作先验分布族， 使它在数学处理上方便一些，这里我们选用β分布族
步，可看出，获得样本的的效果是把我们对θ的认识
由π(θ)调整到 应建立在后验分布
( 。x1,所,以xn)对θ的统计推断就 ( 的x1,基础, xn上) 。
7
例1 设事件A(产品为废品)的概率为 ，即P(A) 。 为了估计 而作n次独立观察，其中事件A出现次数
为X，则有X服从二项分布 b(n, )
第三章 贝叶斯估计
§3.1贝叶斯推断方法 一 、统计推断中可用的三种信息
美籍波兰统计学家耐(E.L.Lehmann1894~1981) 高度概括了在统计推断中可用的三种信息：
1．总体信息，即总体分布或所属分布族给我们 的信息。譬如“总体是指数分布”或“总体是正 态分布”在统计推断中都发挥重要作用，只要有 总体信息，就要想方设法在统计推断中使用。
假设Ⅱ 当给定θ后，从总体p(x|θ)中随机抽取一个样 本X1，…，Xn，该样本中含有θ的有关信息。这种信 息就是样本信息。

1 2
N k 1
s12k s02k
2
H0
H1
则
xT
(s1

s0 )


2
ln l0

1 2
(s1T
s1

s0T s0 )
H0
代入得
H1
T
0 x(t)s1(t)dt
T 0
x(t)s0 (t)dt

l0*

1 2
N0
ln
l0

1 2
(E1

E0 )
H0
3.3.3 二元通信系统的检测性能
第三章 信号的检测
主要内容
引言
二元假设检验和判决准则 二元已知信号的检测 随机参量信号的检测 多元信号的检测 序贯检测 非白正态噪声中的信号检测
§3.3 二元已知信号的检测
• 已知信号：信号出现后，所有的参数（幅度、
频率、相位、到达时间等）都已知。
• 二元已知信号在高斯白噪声中的检测：
假设H1： xt s1t nt
1
S1k
xk
t

2 N0
T
0 s1
t
xt
dt
lim N S0k xk 2
N
t 0
k 1
2
N0
T
0 s0
t
xt
dt
同理
N
lim
S12k
1
2 N
t 0
k 1
2
N0
s T 2
01
t dt E1 N0
N
lim
p xN H0 p xN H1

B(1,)的一个样本，试寻求的共轭先验分布？
解 其似然函数为
n
n
n
q(x| )
xi(1)1xi i 1xii(1)n i 1xi
i 1
n x( 1 ) n n x g n ( t|) g 1 ,
其 中 g n ( t |) t( 1 ) n t , 选 取 f () 1 ， 则
注 1、贝叶斯估计是使贝叶斯风险达到最小的决策 函数.
2、不同的先验分布，对应不同的贝叶斯估计
2、贝叶斯点估计的计算 平方损失下的贝叶斯估计
定理3.2 设 的先验分布为 ( )和损失函数为
L(,d)(d)2
则 的贝叶斯估计
为
d * (x ) E (|X x ) h (|x )d
其 中 h (|x ) 为 参 数 的 后 验 分 布 .
π (1 ) 0 .4 π (2 ) 0 .6
这两个概率是经理的主观判断（也就是先验概率）， 为了得到更准确的信息，经理决定进行小规模的试验， 实验结果如下：
A：试制5个产品，全是正品，
由此可以得到条件分布：
p ( A |1 ) ( 0 . 9 ) 5 0 . 5 9 0 p ( A |2 ) （ 0 . 7 ） 5 0 . 1 6 8
t (1)n t
D f{1t (1)n td :n1 ,2,L,t0,1 ,2,L} 0
显然此共轭分布族为 分布的子族，因而，两点
分布的共轭先验分布族为 分布. 常见共轭先验分布
总体分布
参数
共轭先验分布
二项分布
成功概率p
分布 ( , )
泊松分布
均值
分布 ( )
指数分布
均值的倒数
分布 ( )
正态分布 （方差已知）

可采用 “谱因式分解”求得 维纳滤波为IIR时不变的
定长FIR维纳滤波
数据：
FIR平滑器
为便于解释，考虑N=1的情况：
IIR平滑器
基于数据 估计
维纳-霍夫方程为：
1步预测的结果：对于AR（3）
贝叶斯估计理论——内容安排
主要内容 引言
线性贝叶斯估计量（LMMSE）
估计量总结
估计方法

在经典方法 中，数据信息总结在概率密度函数p(x;θ)中， 其中PDF是θ的函数。 在贝叶斯方法 中，由于先验PDFp(θ)描述了有关θ的知识 而增加了数据的信息。数据信息总结在联合PDF p(x,θ)中。
应用正交原理
假定
可逆
矢量LMMSE估计
待估参数 线性估计量 目标：对每个元素，使 最小 的标量
可将矩阵A的第i行和矢量a第i个元素，看成 LMMSE估计量的形式 已知每个待估参数的标量LMMSE形式 • 得出相应的解 • 组合为矢量形式
矢量LMMSE的解
矢量LMMSE估计
若 相似地，可得 矩阵
定理4.2
若 则
一般线性模型的MVUE 定理11.1
贝叶斯线性模型下MMSE估计
序贯LMMSE估计
与序贯LS方法相同 固定参数个数（在此为随机的），增加数据样本数目
数据模型
目标： 给定基于 的估计 到达时，更新估计到
，当新的数据样本
求序贯LMMSE

在此，我们利用矢量空间得到“白噪声中的直流电平”的解，再推广 到一般情况

CRLB
CRLB
BLUE
BLUE
MLE
MLE
LSE
LSE
ME
ME
MMSE

C P c 1 P c P P c c P P 1 P c c 1 P P
1
10
1
11 1
1 01
11 M 1
1
10
00
F1
c c c P P P c c c c P P c c P P
00
10
00 F 1
1
11
00
01
11
M
1
10
00 F 1
把使被积函数取负值的观察值x划分给R0区域，而把其余的观察值x划 分给R1，即可保证平均代价最小。
px H1 px H0 px H1 px H0
判决H0假设成立 判决H1假设成立
奈曼-皮尔逊准则
➢判决表达式
(x) p x H1
H 1
p x H0 H0
其中,判决门限由下式确定
PH1 H0 px H0 dx
把使被积函数取负值的观测值 x划分给R0区域，而把其余的 观测值x划分给R1，即可保证平均代价最小。
PH1px H1 PH0 px H0 PH1px H1 PH0 px H0
判决H0假设成立 判决H1假设成立
3.4.1 最小平均错误概率准则
最小平均错误概率准则
p x H1 H1 P H0 p x H0 H0 P H1
p x H1 H1 P H0 p x H0 H0 P H1
3.4.2 最大后验概率准则
p x H1 H1 P H0 p x H0 H0 P H1
H1
p x H1 P H1 P H0 p x H0
H0
根据贝叶斯公式有
PH1
x
X
x
dx
Px
X
Px

➢ 把元信号与“假设”联系起来，根据观测数据和判决准则 对各假设进行统计检验，判决哪个假设成立。信号检测 就成为假设检验问题
§3.2 二元信号的假设检验和判决准则
➢ 二元信号基本概念 ➢ 贝叶斯准则 ➢ 最小总错误概率准则 ➢ 奈曼---皮尔逊准则 ➢ 极大极小准则
二元假设检验的模型
信源 P(H1)，P(H0)
X1 p(x | H0 )dx
X0 p(x | H1)dx
1
X1
[
p(x
|
H1)
(C10 (C01
C00 )q C11) p
p(x | H0 )]dx
贝叶斯准则
判决规则 ：
H1
l(x)
l0
(C10 (C01
C00 )q C11) p
H0
3.2.3 最小总错误概率准则
所谓最小总错误概率准则，就是已知信号的
（4） H1 为真，判决 H 0 成立；
虚警概率
第三种判决通常称为第一类错误，用雷 达术语来说是虚警错误，即在没有信号 的条件下判决为有信号。其错误概率为
X1 p(x | H0 )dx
漏报概率
第四种判决通常称为第二类错误，用雷 达术语来说是漏报错误。即在有信号的 条件下判决为无信号。其错误概率密度 为：
p[(C11 C00 ) (C01 C11) (C01 C00 ) ]
极大极小准则
由于 R ~ p的关系是一条直线 ，我们用 R( p) 来表示
R( p) C00(1 ) C10
p[(C11 C00 ) (C01 C11) ( p1) (C10 C00 ) ( p1)]
R
R(P) Rmin ( p)
0 P1
P
Rmin ( p) P

x)
x
2
2
x
6
2
例3 随机变量 X 的分布函数为
0 x0
F
(
x)
x
2
0 x 1
1 x 1
(1)求 P(0.3 X 0.7)
(2)X得密度函数
解
(1) P(0.3 X 0.7) F (0.7) F (0.3) 0.72 0.32 0.4
(2)密度函数为
f
(x)
F ( x)
,简bx记 为
。
b
3 条件平均代价
利用概率论中得贝叶斯公式
p ,x p | xpx
26
平均代价C 可表示为
C
p
x
c
p
|
x
d
dx
式中, p | 就x 是后验概率密度函数。
由于 px与内积分都就是非负得,所以,使 C最小,等
价为使条件平均代价
C
|
x
c
p
|
x
d
最小,左边表示条件平均代价。
取 p | x 得自然对数,等价得估计量构造公式为
35
ln p | x
| 0
map
5.2.18
称为最大后验方程。利用 p | x px | p px,则有估
计量构造公式
ln p x | ln p
| 0
map
5.2.19
以上三个构造公式就是等价得,但(5、2、19)就是最方 便得。
为
mse
x
def
mse
。
为求得使 C | x 最小得估计量
mse
,令
28
Байду номын сангаас

1 2
根据通信原理的结果，若信源两个假设等概发送，最佳判决门限 为 A/2，即若接收信号大于A/2，判决信源发送A；若接收信号小于 A/2，则判决信源发送0。
国家重点实验室
3.2 .2 统计检测的结果和判决概率
四种判决概率的计算：
根据通信原理的结果，若信源两个假设等概发送，最佳判决门限为 A/2，即若接 收信号大于A/2，判决信源发送A；若接收信号小于A/2，则判决信源发送0 。
A 2 R 0
P H H P H H 1 0 1 1 1
国家重点实验室
3.3 Bayes Criterion(贝叶斯准则)
基本要求： 充分理解平均代价(Average Risk)的概念 贝叶斯准则的判决表达式 判决性能分析
贝叶斯准则的基本原理：在划分观察空间时，使平均风险最小
A 2 R 1
P H H x H dx p x H dx 1 1 1 1 p
A 2 R 1
P H x H iH j jdx p
R i



P H H P H H 1 0 0 1 0
P H H x H dx p x H dx 0 1 1 1 p
RM
M元信号检测 判决域
Байду номын сангаас家重点实验室
3.2 .2 统计检测的结果和判决概率
二元信号判决结果
判决 假设
H
0
H1
H H
1 0
H0 H 0H 0
H H
1 1
H1 H 0H 1
二元信号判决概率
判决 假设
H
0
H0 H P 0H 0

需要数据的n维pdf与有关gxgxxxxn看作确定参数看作随机参数经典估计不提供的全部先验信息贝叶斯估计要利用的先验pdfppt学习交流最小方差准则均方误差准则meansquareerrormse一个很自然的准则10ppt学习交流11ppt学习交流12ppt学习交流13ppt学习交流14ppt学习交流15ppt学习交流16ppt学习交流对应于均匀代价函数17ppt学习交流18ppt学习交流经典估计理论小结主要估计方法lse
例
• 作业4-2

E(ˆ)
2

Var(ˆ) b2 ( )
条件中位数估计
最大后验概率估计
对应于均匀代价函数
关于估计的准则
经典估计理论——小结
主要估计方法
LSE：不需要统计信息 MLE：需要先验概率密度函数 矩估计：相应的矩信息 MVUE和BLUE：一阶、二阶矩信息（均值、方差）
θ看作确定参数 θ看作随机参数
经典估计，不提供θ的全部先验信息 贝叶斯估计，要利用θ的先验pdf
最小均方估计
最小方差准则
均方误差准则（mean square error，MSE）——一个很自然的准则
mse(ˆ)

E

ˆ


2

E

Байду номын сангаас
ˆ

E(ˆ)
§ 贝叶斯估计
误差平方代价函数
误差绝对值代价函数
均匀代价函数
几种贝叶斯估计
估计的数学问题
已知观测数据 X x[0] x[1] L x[N 1]
未知参量
1 2 L p
如何得到估计问题的统计信息？
需要数据的N维pdf，与θ有关

山东财政学院
贝叶斯估计量
Oct-10
后者综合了经理的主观概率和实验结果而 获得，要比主观概率更具有吸引力， 获得，要比主观概率更具有吸引力，更贴近 当前实际 当然经过实验A后经理对投资改进质量 当然经过实验 后经理对投资改进质量 的兴趣更大了， 的兴趣更大了，但如果为了进一步保险起 见可以把这次得到的后验分布列再一次作 为先验分布在做实验验证， 为先验分布在做实验验证，结果将更贴近 实际
要么正面朝上要么反面朝上概率各占12这个概率分布是根据我们以前的知识和经验得出来的一般被称做先验分布山东财政学院贝叶斯估计量oct12先验分布先验分布但还是有不同的主要区别在与概率分布得到的途径上根据先验信息所给出的随机变量的分布这里的先验信息是指在抽样之前有关统计问题的一些信息先验分布与经典统计学里面的其他分布并没有什么区别同样有先验离散分布和先验连续分布山东财政学院贝叶斯估计量oct12经典统计学里要得到概率分布必须大量重复实验由大数定律中心极限定理这些基本定理来保证在大量重复实验中频率与概率具有一致从而的到随机变量的概率分布经典统计学的概率分布包含所有样本点即所有可能的实验结果都要被考虑进去贝叶斯统计学的先验概率分布考虑的只是已出现的样本来自于过去的经验山东财政学院贝叶斯估计量oct12可以由经验得来不必做大量的重复实验
f (x p ) = p x (1 p ) (1 x ) x = 0,1 0 < p < 1
山东财政学院
贝叶斯估计量
Oct-10
X 于是， 于是，= ( X , X
1
2
, , X n )
n
的联合条件概率函数为
(1 x i )
n x = p i=1 (1 p ) ∑ i i =1
q (x p ) = Π p xi (1 p )