当前位置：文档之家 › 3.2 经典线性模型的贝叶斯估计

3.2 经典线性模型的贝叶斯估计

  • 格式：ppt
  • 大小：214.00 KB
  • 文档页数：22

下载文档原格式

  / 22

合集下载

贝叶斯估计方法

贝叶斯估计方法
3
4.3 Bayes推理的推理公式
Bayes推理的基本原理是：给定一个前面的似然估计后，若又 增加一个证据（测量），则可以对前面的似然估计加以更新。 也就是说，随着测量值的到来，可以将给定假设的先验密度 更新为后验密度。 假设A1，A2，...，An表示n个互不相容的穷举假设，B为一个 事件（或事实，观测等），Bayes公式的形式为：
)P(我
/
Aj
)
P(敌
/
Bk 1,2
)

P( Aj
/
Bk 1,2
)P(敌
/
Aj
)
P(中/
Bk 1,2
)

P( Aj
/
Bk 1,2
)P(中/
Aj
)
可以类似用来计算某些机型（大轰炸机、战斗机、小轰炸机、
民用机型）的后验概率，如
M
P(战斗机
/
Bk 1, 2
)

P( Aj
/
Bk 1, 2
)P(战斗机
/
Aj
)
j 1
12
4.7 Bayes推理的缺点
直接使用概率计算公式有两个困难：
(1) 一个证据 A 的概率是在大量统计数据的基础上得出的， 当所处理的问题比较复杂时，需要非常大的统计量，这使得 定义先验似然函数非常困难；
(2) Bayes 推理要求各证据之间是不相容或相互独立的， 因此若存在多个可能假设和多条件相关事件时，计算复杂性 大大增加。
问题：假定有一个新病人，化验结果为正，是否应将病人断 定为有癌症？求后验概率P(cancer|+)和P(normal|-)
5
Bayes推理应用实例(续)
因此极大后验假设计算如下: P(+|cancer)P(cancer)=0.00784 P(+|normal)P(normal)=0.02976 P(canner|+)=0.00784/(0.00784+0.02976)=0.21 P(-|cancer)P(cancer)=0.00016 P(-|normal)P(normal)=0.96224 P(normal|-)= 0.96224 /(0.00016 +

《贝叶斯估计》PPT课件

《贝叶斯估计》PPT课件

其中
B(
,
)
( )( ) ( )
，确定的随机变量
X
的分布称为贝塔分
布，记为beta(, )
贝塔分布beta(, ) 的均值 E( X )
，
方差Var( X
)
(
)2 (
1)
当 1时，贝塔分布退化整为理[p0p,1t ] 区间上的均匀分布。
19
信息验前分布
例 设事件 A 的概率为 ，为了估计 而作 n 次独立观察，其中事件 A 出现的次数为 X ，显然， X 服从二项分布 b(n, ) ，即
科全书》（数学卷）
整理ppt
3
第一章先验分布与后验分布
统计学有两个主要学派:频率学派与贝叶斯学派. 它们之间有异同,贝叶斯统计是在与经典统计的争 论中发展起来,主要的争论有: 1.未知参数可否作为随机变量? 2.事件的概率是否一定的频率解释? 3.概率是否可用经验来确定?
……….
§1.1 先介绍三种信息的概念
如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯
公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶
斯估计量、贝叶斯方法、贝叶斯统计等等.
整理ppt
2
贝叶斯方法(Bayesian approach )
• 贝叶斯方法是基于贝叶斯定理而发展起来用于系 统地阐述和解决统计问题的方法(Samuel Kotz和 吴喜之,2000)。
第二步是从总体分布 p(x | ' ) 产生一个样本 x (x1, xn ) ，
这个样本是具体的，人们能看得到的，此样本 x 发生的概) p(xi | ') i 1
这个联合密度函数是综合了总体信息和样本信息，常称
为似然函数，记为 L( ') 。

贝叶斯估计

贝叶斯估计

信号的参数估计一般指参数在观测时间内不随时间变化，故是静态估计。

若被估计参量是随机过程或非随机的未知过称，则称为波形估计或状态估计，波形估计或状态估计是动态估计。

3。

2贝叶斯估计贝叶斯估计是基于后验概率分布（posterior distribution)的一类估计方法，其中后验概率分布中采用了先验信息(prior information ）。

所谓先验信息，是指已知待估计参数的概率密度函数0()p θ,不管θ是随机变变量或是未知的固定常数。

而后验概率分布具有下面的形式，00()(|)(),1(|)()p c p X p c p X p d θθθθθθ*==⎰.注意两点:1，0()p θ不必满足标准化条件，即0()1p d θθ=⎰,但是0()p θ必须是非负的，并且0102()()p p θθ代表似真比（ratio of plausibility ），若0102()()1p p θθ>，则说明在1θ和2θ两个值之间我们更倾向于1θ为真值；2，()p θ*实际上就是(|)p X θ,是通过试验得到数据X 以后θ的概率密度函数,仅当()1p d θθ=⎰时有明确的含义.下面讨论中，()p θ代表0()p θ，(|)p X θ代表()p θ*。

类似于信号检测中的问题,贝叶斯估计在参数估计中对于不同的估计结果赋予了不同的代价值，然后求解平均代价最小的情况。

估计误差为θθ-，我们只关心估计误差的代价，于是代价函数()()c c θθθ-=，是估计误差的单变量函数。

典型的代价函数有三种：⑴ 平方型()2()c θθθ=-,它强调了大误差的影响 ⑵ 绝对值()c θθθ=-，给出了代价随估计误差成比例增长 ⑶ 均匀型()10c θεθεθε>⎧=⎨⎩-<<这种代价函数给出了估计误差绝对值大于某个值时，代价等于常数，而估计误差绝对值小于某个值时，代价等于零.在贝叶斯估计中，要求估计误差引起的代价的平均值最小。

Bayes(贝叶斯)估计

Bayes(贝叶斯)估计

• 缺点：u不是变量
精选版课件ppt
批评2：评价方法
• 假设检验、参数估计等都是多次重复的结 果；
• 想知道：
– 一次实验发生的可能性
精选版课件ppt
ห้องสมุดไป่ตู้
Bayesian方法
精选版课件ppt
Bayesian公式
h(y|x) p(x| y)q(y)
p(x| y)q(y)dy
• 先验分布密度：q(y) • 条件分布密度：p(x|y) 似
• 4、确定的先验分布() • 5、利用Bayesian公式求后验分布密度 • 6、使用后验分布做推断（参数估计、假设检验）
精选版课件ppt
例1：两点分布b(1,p)的
• 1. 联合分布：p(x|)nxx(1)nx
• 2. 先验分布：() 1 01
• 3. 后验分布： h(|x)n xr(1)nr*()
• 平方损失：
L(,)()2
– 最小Bayesian风险估计：后验期望
• 点损失：
L(a,
)
0,|
a
|
1,|
a
|
– 最大后验密度估计
精选版课件ppt
例子： 正态分布
• X1…Xn服从正态分布N(，2) ， 2已知， • 的先验分布是N(，2 )
• 求的Bayes估计.
• 求得后验分布还是正态分布
方差未知正态总体的均值检验多项分布的广义似然比检验pearson卡方统计量和似然比handyweinberg均衡在参数估计的例子中引入了handyweinberg均衡bacterialclump泊松散布度检验dispersiontest泊松散布度检验dispersiontest泊松散布度检验

贝叶斯估计 PPT

贝叶斯估计 PPT
B(1,)的一个样本，试寻求的共轭先验分布？
解 其似然函数为
n
n
n
q(x| )
xi(1)1xi i 1xii(1)n i 1xi
i 1
n x( 1 ) n n x g n ( t|) g 1 ,
其 中 g n ( t |) t( 1 ) n t , 选 取 f () 1 ， 则
注 1、贝叶斯估计是使贝叶斯风险达到最小的决策 函数.
2、不同的先验分布，对应不同的贝叶斯估计
2、贝叶斯点估计的计算 平方损失下的贝叶斯估计
定理3.2 设 的先验分布为 ( )和损失函数为
L(,d)(d)2
则 的贝叶斯估计
为
d * (x ) E (|X x ) h (|x )d
其 中 h (|x ) 为 参 数 的 后 验 分 布 .
π (1 ) 0 .4 π (2 ) 0 .6
这两个概率是经理的主观判断（也就是先验概率）， 为了得到更准确的信息，经理决定进行小规模的试验， 实验结果如下：
A：试制5个产品，全是正品，
由此可以得到条件分布：
p ( A |1 ) ( 0 . 9 ) 5 0 . 5 9 0 p ( A |2 ) （ 0 . 7 ） 5 0 . 1 6 8
t (1)n t
D f{1t (1)n td :n1 ,2,L,t0,1 ,2,L} 0
显然此共轭分布族为 分布的子族，因而，两点
分布的共轭先验分布族为 分布. 常见共轭先验分布
总体分布
参数
共轭先验分布
二项分布
成功概率p
分布 ( , )
泊松分布
均值
分布 ( )
指数分布
均值的倒数
分布 ( )
正态分布 （方差已知）

第三节贝叶斯准则下的两类线性判别模型

第三节贝叶斯准则下的两类线性判别模型

第三节贝叶斯准则下的两类线性判别模型贝叶斯准则是一种常用的概率学习方法，可以用于分类问题。

在贝叶斯准则的基础上，可以构建两类线性判别模型，即线性判别函数模型和线性判别分析模型。

1.线性判别函数模型线性判别函数模型是一种线性分类方法，它使用一个线性判别函数将样本划分为不同的类别。

假设样本空间为X，类别集合为Y={y_1,y_2}，其中y_1和y_2是两个类别。

线性判别函数模型的目标是找到一个超平面，可以将样本空间划分为两个决策域，一个属于类别y_1，另一个属于类别y_2为了构建线性判别函数模型，首先需要假设每个类别的概率分布满足多元高斯分布。

假设y_1的先验概率为P(y_1)，y_2的先验概率为P(y_2)。

假设x是一个样本点，x的观测值为x=(x_1,x_2,...,x_n)'，n是特征个数。

则x在类别y_i中的条件概率分布可以表示为P(x，y_i)，i=1,2根据贝叶斯准则，可以求得后验概率P(y_1，x)，即在观测到x的情况下，样本属于类别y_1的概率。

根据线性判别函数模型的定义，可以用一个线性判别函数g(x)来表示后验概率：g(x)=w'x+w_0其中，w=(w_1,w_2,...,w_n)'是权重向量，w_0是偏置项。

根据后验概率的定义，可以将g(x)转化为相应的概率值，通过一个非线性函数转换：P(y_1，x)=1/(1+e^(-g(x)))上述模型就是逻辑回归模型，逻辑回归模型可以通过最大似然估计或其它方法来估计模型参数。

2.线性判别分析模型线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的分类算法，也是基于贝叶斯准则的一种方法。

与线性判别函数模型不同，线性判别分析模型假设各类别的协方差矩阵相等，且为单位矩阵。

因此，LDA可以通过计算样本的均值和协方差矩阵来实现分类。

具体地，假设y_1和y_2是两个类别，样本空间为X，样本点x的观测值为x=(x_1,x_2,...,x_n)'，n是特征个数。

贝叶斯模型概念

贝叶斯模型概念

贝叶斯模型概念的详细解释1. 贝叶斯模型的定义贝叶斯模型是一种基于贝叶斯定理的概率模型，用于描述和推断随机事件之间的关系。

它基于先验概率和观测数据，通过贝叶斯定理计算后验概率，从而对未知事件进行预测和推断。

贝叶斯模型的核心思想是将不确定性量化为概率，并通过观测数据来更新对事件的概率估计。

它提供了一种统一的框架，用于处理不完全信息和不确定性问题，广泛应用于机器学习、统计推断、自然语言处理等领域。

2. 贝叶斯模型的重要性贝叶斯模型具有以下重要性：2.1. 统一的概率框架贝叶斯模型提供了一种统一的概率框架，使得不同领域的问题可以用相同的数学语言进行建模和解决。

它将不确定性量化为概率，使得我们可以通过观测数据来更新对事件的概率估计，从而更好地理解和解释现实世界中的复杂问题。

2.2. 可解释性和不确定性处理贝叶斯模型提供了一种可解释性的方法，可以直观地理解模型的预测和推断过程。

它能够量化不确定性，提供事件发生的概率估计，并给出后验概率的置信区间，使决策者能够更好地理解和处理不确定性。

2.3. 先验知识的利用贝叶斯模型允许我们将先验知识和观测数据进行结合，从而更准确地推断未知事件。

通过引入先验知识，我们可以在数据较少或数据质量较差的情况下，仍然得到可靠的推断结果。

2.4. 高度灵活的模型贝叶斯模型具有高度灵活性，可以根据问题的特点和数据的性质选择合适的先验分布和模型结构。

它可以通过引入不同的先验分布和模型假设，适应不同的问题和数据，提高模型的预测能力和泛化能力。

3. 贝叶斯模型的应用贝叶斯模型在各个领域都有广泛的应用，以下是一些常见的应用领域：3.1. 机器学习贝叶斯模型在机器学习中被广泛应用于分类、聚类、回归等任务。

它可以通过学习先验概率和条件概率分布，从观测数据中学习模型参数，并用于预测和推断未知事件。

常见的贝叶斯模型包括朴素贝叶斯分类器、高斯过程回归等。

3.2. 统计推断贝叶斯模型在统计推断中被用于参数估计、假设检验、模型比较等任务。

第三章贝叶斯估计理论 LMMSE综述

第三章贝叶斯估计理论 LMMSE综述

可采用 “谱因式分解”求得 维纳滤波为IIR时不变的
定长FIR维纳滤波
数据：
FIR平滑器
为便于解释，考虑N=1的情况：
IIR平滑器
基于数据 估计
维纳-霍夫方程为：
1步预测的结果：对于AR（3）
贝叶斯估计理论——内容安排
主要内容 引言
线性贝叶斯估计量（LMMSE）
估计量总结
估计方法

在经典方法 中，数据信息总结在概率密度函数p(x;θ)中， 其中PDF是θ的函数。 在贝叶斯方法 中，由于先验PDFp(θ)描述了有关θ的知识 而增加了数据的信息。数据信息总结在联合PDF p(x,θ)中。
应用正交原理
假定
可逆
矢量LMMSE估计
待估参数 线性估计量 目标：对每个元素，使 最小 的标量
可将矩阵A的第i行和矢量a第i个元素，看成 LMMSE估计量的形式 已知每个待估参数的标量LMMSE形式 • 得出相应的解 • 组合为矢量形式
矢量LMMSE的解
矢量LMMSE估计
若 相似地，可得 矩阵
定理4.2
若 则
一般线性模型的MVUE 定理11.1
贝叶斯线性模型下MMSE估计
序贯LMMSE估计
与序贯LS方法相同 固定参数个数（在此为随机的），增加数据样本数目
数据模型
目标： 给定基于 的估计 到达时，更新估计到
，当新的数据样本
求序贯LMMSE

在此，我们利用矢量空间得到“白噪声中的直流电平”的解，再推广 到一般情况

CRLB
CRLB
BLUE
BLUE
MLE
MLE
LSE
LSE
ME
ME
MMSE

贝叶斯先验概率贝叶斯估计

贝叶斯先验概率贝叶斯估计

贝叶斯先验概率贝叶斯估计你有没有想过，我们每天做的决定背后，其实有很多不确定性？我们做的选择是根据过去的经验，也我们选择的结果并不完全能预测。

举个例子，假设你早上出门前看了天气预报，说今天有50%的可能下雨。

那么问题来了，你是带伞呢，还是不带呢？如果你经历了好几次天气预报错得离谱，是不是就会开始怀疑这些概率的准确性了？这时候，你可能会觉得，自己的经验比这些预测更靠谱。

嘿，这其实就跟贝叶斯估计有点关系！贝叶斯估计的核心思想就是：把我们的“信念”或者说“先入为主”的看法，结合新的信息，做出更合理的判断。

拿天气预报来说，假如你这几年过得比较顺风顺水，基本上从来没遇到过下雨的预报被错过过，天公作美，你心里可能会觉得今天下雨的可能性更小些。

这时候，你的“先验知识”就开始发挥作用了。

你并不是完全相信50%的下雨几率，而是结合自己以往的经验，觉得这50%的概率其实没那么准确，可能实际下雨的几率还得往低的方向调整。

对，先验概率，这名字听起来有点高深，但其实说白了，就是你在面对不确定的事物时，最初的判断和看法。

举个例子，假设你今天第一次见到一个人，想知道他是不是喜欢看足球。

你完全不了解他，只知道他长得高大，看起来像个运动员。

你的“先验”就是——他可能喜欢足球。

这个先验的看法，源自你对运动员的刻板印象。

可是，如果你后来得知，这个人其实从不碰球，反而热衷于下围棋，那你的想法肯定得做调整。

你会慢慢抛开原本的看法，开始根据实际信息重新评估他的兴趣。

贝叶斯估计的巧妙之处就在于，它鼓励你做这种“更新”。

每当有新的信息进来时，你就该重新调整自己原本的“信念”。

在上面的例子中，一开始你完全凭直觉判断这个人爱足球，结果一查，他竟然喜欢围棋，那你就得调整看法了，把新的信息加进来，改成一个更加准确的估计。

更有意思的是，贝叶斯估计的魅力不仅在于它能够帮助我们调整决策，还在于它不要求我们一开始就知道真相。

嘿，谁能一开始就知道自己做的决定百分之百正确呢？生活就是这样，充满了不确定。

贝叶斯方法(估计,推断,决策)

贝叶斯方法(估计,推断,决策)

x)
n x
,
x
0,1,, n.
最后在给出X=x的条件下，θ的后验密度为
( x) p(x, )
(a b n) ax1(1 )bnx1,0 x 1
p(x) (a x)(b n x)
显然这个后验分布仍然是β分布，它的两个参数分别 是a+x和b+n-x。我们选后验期望作为的贝叶斯估计， 则θ的贝叶斯估计为
如下两个方程来确定a与b。
0.1 ( )d
0
0.5 ( )d
0
0.1, 0.5.
假如的信息较为丰富，譬如对此产品经常进行抽 样检查，每次都对废品率作出一个估计，把这些 估计值看作的一些观察值，再经过整理，可用一 个分布去拟合它。
假如关于的信息较少，甚至没有什么有用的先验信 息，那可以用区间（0，1）上的均匀分布（a=b=1 情况）。用均匀分布意味着我们对的各种取值是 “同等对待的”，是“机会均等的”。贝叶斯本人 认为，当你对参数θ的认识除了在有限区间（c，d） 之外，其它毫无所知时，就可用区间（c，d）上的 均匀分布作为θ的先验分布。这个看法被后人称之 为“贝叶斯假设”。
这就是贝叶斯公式的密度函数形式，其中
( x1,, xn )称为θ的后验密度函数，或
后验分布。而
p(x1,, xn ) p(x1,, xn ) ( )d
是样本的边际分布，或称样本 X1,, X n 的无条件分布，它的积分区域就是参数θ的取值范围， 随具体情况而定。
前面的分析总结如下：人们根据先验信息对参数θ 已有一个认识，这个认识就是先验分布π（θ）。 通过试验，获得样本。从而对θ的先验分布进行调 整，调整的方法就是使用上面的贝叶斯公式，调整 的结果就是后验分布 ( x1,, xn ) 。后验分布是三种 信息的综合。获得后验分布使人们对θ的认识又前 进一步，可看出，获得样本的的效果是把我们对θ 的认识由π（θ）调整到 ( x1,, xn ) 。所以对θ的 统计推断就应建立在后验分布 ( x1,, xn ) 的基础上。

贝叶斯估计问题

贝叶斯估计问题

贝叶斯学派
Bayes统计模型的特点是将参数θ视为随机变量,并具 有先验分布H(θ); Bayes统计学派与经典学派的分歧主要是在关于参数的 认识上的分歧,经典学派视θ为未知常数; Bayes学 派视θ为随机变量且具有先验分布; 为随机变量且具有先验分布 两个学派分歧的根源在于对于概率的理解.经典学派 视概率为事件大量重复实验频率的稳定值;而Bayes学 派赞成主观概率,将事件的概率理解为认识主体对事 件发生的相信程度,当然,对于可以独立重复实验的 事件,概率仍可视为频率稳定值.显然,将θ视为随 机变量且具有先验分布具有实际意义,能拓广统计学 应用的范围.
1 T 1 w 1
误差协方差矩阵也是最小的MSE矩阵M θ , 其对角线上的元素产生最小 贝叶斯MSE,即 Mθ = [ Cε ]ii =Bmse(θi )
ii
BAYES ex1
BAYES so1
BAYES so1 cont
BAYES ex2
BAYES so2
BAYES so2 cont
先验分布的确定方法
先验分布的确定方法
Bayes统计中,关于先验分布的选取是一个重大问题. Bayes本人对 先验分布作了如下假设:先验分布是无信息先验分布,在θ的取值范 围内"均匀分布".
先验分布的确定方法
(4)共轭分布方法 H.Raiffa,R.Schlaifer提出先验分布应取共轭分布才合适 设样本X的分布族为{f(x|θ ):θ ∈ Θ},若先验分布h(θ ) 与后验分布h(θ|x)属于同一分布类型,则先验分布h(θ ) 称为h(θ|x)的共轭分布.
1/ 2
该式对标量参数和矢量参数都适用.
先验分布的确定原则-Jeffreys原则
例1:设X是来自正态总体N( ,)的IID样本,求的先验分布. 1 可求得I ( ) = n, 故h( ) ∝ 1 例2:设X是来自正态总体N(0,σ 2 )的IID样本,求σ 与δ =σ 2 的先验分布. 可求得I(σ )= h(σ ) ∝ 1 2n , I(δ )= 2 1 2n

贝叶斯估计

贝叶斯估计


P ( i 4 X 3)
14 9 20
2 4 8 20
3 4 3 20
可看出, 的最大后验估计
ˆ MD 1 4
ˆ E E ( X 3) 17 40
Var ( x) E ( 2 x) E 2 ( x) 17 80 (17 40) 2 51 1600
n2 n
5
选用贝叶斯假设 1 ，则
ˆMD , ˆE
x n
x 1 n2
第一、在二项分布时， 的最大后验估计就是经典 统计中的极大似然估计，即 的极大似然估计就是 取特定的先验分布下的贝叶斯估计。
ˆ 第二、 的后验期望值估计 E ^ 计 MD 更合适一些。
1
3．先验信息，即在抽样之前有关统计推断的一些 信息。譬如，在估计某产品的不合格率时，假如工 厂保存了过去抽检这种产品质量的资料，这些资料 （包括历史数据）有时估计该产品的不合格率是有 好处的。这些资料所提供的信息就是一种先验信息。 又如某工程师根据自己多年积累的经验对正在设计 的某种彩电的平均寿命所提供的估计也是一种先验 信息。由于这种信息是在“试验之前”就已有的， 故称为先验信息。 以前所讨论的点估计只使用前两种信息，没有使用 先验信息。假如能把收集到的先验信息也利用起来， 那对我们进行统计推断是有好处的。只用前两种信 息的统计学称为经典统计学，三种信息都用的统计 学称为贝叶斯统计学。本节将简要介绍贝叶斯统计 2 学中的点估计方法。
15
3、2贝叶斯决策方法
决策就是对一件事作决定。它与推断的差别在于是 否涉及后果。统计学家在作推断时是按统计理论进 行的，但很少考虑结论在使用后的损失。可决策者 在使用推断时必需与得失联系在一起，能带来利润 的就会使用，使他遭受损失的就不会采用，度量得 失的尺度就是损失函数。它是著名的统计学家 A.Wald（1902－1950）在40年代引入的一个概念。 从实际归纳出损失函数是决策的关键。 贝叶斯决策：把损失函数加入贝叶斯推断就形成 贝叶斯决策论，损失函数被称为贝叶斯统计中的第 四种信息。

应用数理统计 第4讲 贝叶斯估计

应用数理统计 第4讲 贝叶斯估计
数据统计分析
第4讲 贝叶斯估计
主讲教师：陈萍 教授
e-mail:prob123@
1
2.4 贝叶斯统计模型 一 、贝叶斯学派的基本观点
美籍波兰统计学家耐曼(E.L.Lehmann1894~1981)高度 概括了在统计推断中可用的三种信息：
1．总体信息，即总体分布或所属分布族给我们的信息。
称为θ 的后验密度函数，或后验分布。
Bayes 原则：对θ的所有统计推断都应建立 在后验分布的基础上！
7
为研究方便，引进记号
若随机变量X的概率密度为 p ( x ) cg ( x ) ，其中c是 与x无关的数，则可记为 p ( x ) g ( x ) ，g(x)称为概 率密度p(x)的核。例如：
n
2
n
xi
2
i 1

0
解得：
ˆ

i 1
xi 2
n 2 2
20
六.Bayes区间估计(置信区间)
定义 已知参数的后验密度为h(|x), 对给定的置信概 率1-，若存在区间I，满足下列条件：
(1) P { I | x }
(2) 任给1∈I，2I，总有h(1 |x) ≥h(2|x).
n
2
2
1


即有
2

2
2
n

2


22
ˆ |x ~ N ,

于是在给定 x 条件下，
ˆ


~ N 0 ,1
ˆ P u 1
2
| x 1
故得 的1-HPD区间估计为
ˆ u

贝叶斯估计与贝叶斯学习

贝叶斯估计与贝叶斯学习

贝叶斯估计与贝叶斯学习贝叶斯估计是概率密度估计的一种参数估计，它将参数估计看成随机变量，它需要根据观测数据及参数鲜艳概率对其进行估计。

一 贝叶斯估计（1）贝叶斯估计贝叶斯估计的本质是通过贝叶斯决策得到参数θ的最优估计，使总期望风险最小。

设()p θ是待估计参数θ的先验概率密度，且θ取值与样本集1{,,}n x x X =L 有关，设样本的取值空间d E ，参数取值空间Θ，ˆ(,)λθθ是ˆθ作为θ的估计量时的损失函数，本节我们取2ˆˆ(,)()λθθθθ=-。

则此时的总期望风险为： ˆ(,)()(),d E R p x p x d dx λθθθθΘ=⎰⎰定义样本x 下的条件风险为：ˆˆ()(,)(),R x p x d θλθθθθΘ=⎰ 则有：ˆ()(),d E R R x p x dx θ=⎰ 又ˆ()R x θ非负，则又贝叶斯决策知求R 最小即求ˆ()R x θ最小，即： ˆargmin (),R x θθ*=可求得最优估计：().p x d θθθθ*Θ=⎰（2）贝叶斯估计步骤总结1. 获得θ的先验分布()p θ；2. 已知x 的密度分布()p x θ得样本集的联合分布：1()();Nn n p p x θθ=X =∏3. 由贝叶斯公式得θ的后验分布：()()();()()p X p p X p X p d θθθθθθΘ=⎰4. 得到θ的最优估计：().p x d θθθθ*Θ=⎰（3）样本概率密度函数()p x X 估计我们是在假设样本概率密度已知下对参数进行估计的，由贝叶斯估计步骤3可以直接得到样本概率密度函数估计：()()().p x X p x p X d θθθΘ=⎰对上式可以理解为：()p x X 在所有可能参数下取值下样本概率密度的加权平均，权值为θ的后验概率。

二 贝叶斯学习贝叶斯学习本质是参数值随着样本增多趋近于真实值的过程。

对于贝叶斯学习由下面过程得到：记样本集为NX ，其中N 代表样本集内样本的个数。

信号检测与估计复习纲要与复习题参考答案-2012

信号检测与估计复习纲要与复习题参考答案-2012

果 w[n] 是方差为 2 的 WGN，求 LSE 的 PDF。
解：
令 S [s[0], s[1],..., s[N 1]]T ， A ，那么信号模型可以写成如下
S H
其中
H 为观测矩阵，且 H
1M 1N
M
，1M
表示 M 维[1,1,1...,1]T
。
那么 (H T H )1 (M N M )1 1 N
2011《信号检测与估计》复习参考题
参数估计部分：
1.基本概念理解：最小方差无偏估计，最佳线性无偏估计，最大似然估计，最小 二乘估计，矩方法估计，最小均方误差估计，最大似然估计，线性最小均方误差 估计，一般（经典）线性模型和贝叶斯线性模型。 2.观测数据为{x[0], x[1],, x[N 1]} ，其中 x[n] 是独立同分布的且服从 N(0, 2 ) ，
2 0
否 先验知识
否
否
是
新的数据模型或取 否
更多的数据
是
否 PDF已知
否 噪声中的信号
是 满足CRLB
否
是 MVU 估计量
是 线性信号
否 LSE
完备充分统计量 存在
否
是 使之无偏 是 MVU
是
估计量
否
否
前二阶噪声矩已知
计算MLE
MLE
是
否
是
计算矩法估计量
矩估计量
BLUE
否
经典方法
PDF已知
否 前二阶矩已知
利用下式估计方差 2 ，即
ˆ 2
1
N 1
x2[n]
N n0
这是无偏估计吗？求ˆ 2 的方差，并考察当 N 时会发生什么情况？
3. 如 果 观 测 到 数 据 x[n] A w[n], n 0,1,, N 1 ， 其 中 噪 声 数 据 w [w[0], w[1],, w[N 1]]T N(0,C) ，求 A 的 CRLB。有效估计量存在吗？如果 存在请求出它的方差。

贝叶斯参数估计

贝叶斯参数估计

x
i 1
N
i
ˆ 0 一般情况下： 当 N 0时，
ˆN 当 N 时， N
特例：
2 ˆ 0 当 0 0时，
（先验知识可靠，样本不起作用） （先验知识十分不确定，完全依 靠样本信息）
ˆN 当 ; N
2 0 2
n：样本数量
贝叶斯估计的误差
贝叶斯估计的一般步骤
① 选择先验分布，设为 ( ) ；
( ) 的确定方法多样，可以用主观概率、先验信息、边缘分布等来确定先验分布，
亦可采用无信息先验分布。此处可采用先验信息来进行贝叶斯估计，即以前的蔬菜产品 抽样的历史数据来确定先验分布。 ② 确定似然函数
p(x | ) L(x1, x2 ,xn ; ) p(xi | )
p N N ,

2 N

2 N 0 2 ˆN 0 N 2 2 2 2 N 0 N 0 2 2 N 1 2 0 ˆ N xi 其中： N 2 2 N i 1 N 0
求μ的贝叶斯估计值
2 1 1 N 2 exp N , N N 2 N 2 2 N


μ的二次函数
的指数函数， 所以仍然是一 个正态密度
1 N 1 1 2 p ''exp 2 2 2 2 2 0 2 1 1 N exp 2 2 2 N N
2
倒伽玛分布 IGa(, )
共轭先验分布的优点
它有两个优点 1． 计算方便 2． 后验分布中的一些参数可以得到很好的解释 的例题中， 在 “正态均值 的共轭先验分布为正态分布” 其后验均值可改写为

贝叶斯估计

贝叶斯估计

R贝叶斯包分类介绍(R task view ofBayesian)=========一般模型==================arm包: 包括使用lm,glm,mer,polr等对象进行贝叶斯推断的R函数BACCO: 随机函数的贝叶斯分析. 包含3个子包: emulator, calibrator, and approximator, 进行贝叶斯估计和评价计算机程序.bayesm: 市场与微经济分析模型的许多贝叶斯推断函数. 模型包括线性回归, 多项式logit, 多项式probit, 多元probit, 多元混合normals(包括聚类), 密度估计-使用有限混合正态模型与Dirichlet先验过程, 层次线性模型, 层次多元logit, 层次负二项回归模型, 线性工具变量模型(linear instrumental variable models). bayesSurv: 生存回归模型的贝叶斯推断.DPpackage: 贝叶斯非参数和半参数模型. 现在还包括密度估计, ROC曲线分析, 区间一致数据, 二项回归模型, 广义线性模型和IRT类型模型的半参数方法. MCMCpack: 特定模型的MCMC模拟算法, 广泛用于社会和行为科学. 拟合很多回归模型的R函数. 生态学模型推断. 还包括一个广义Metropolis采样器, 适合任何模型.mcmc: 随机行走Metropolis算法, 对于连续随机向量.==========特殊模型和方法=============AdMit: 拟合适应性混合t分布拟合目标密度使用核函数.bark: 实现(Bayesian Additive Regression Kernels)BayHaz: 贝叶斯估计smooth hazard rates, 通过Compound Poisson Process (CPP) 先验概率.bayesGARCH: 贝叶斯估计GARCH(1,1) 模型, 使用t分布.BAYSTAR: 贝叶斯估计threshold autoregressive modelsBayesTree: implements BART (Bayesian Additive Regression Trees) by Chipman, George, and McCulloch (2006).BCE: 从生物注释数据中估计分类信息.bcp: a Bayesian analysis of changepoint problem using the Barry and Hartigan product partition model.BMA:BPHO: 贝叶斯预测高阶相互作用, 使用slice 采样技术.bqtl: 拟合quantitative trait loci (QTL) 模型.可以估计多基因模型, 使用拉普拉斯近似. 基因座内部映射(interval mapping of genetic loci).bim: 贝叶斯内部映射, 使用MCMC方法.bspec: 时间序列的离散功率谱贝叶斯分析cslogistic: 条件特定的logistic回归模型(conditionally specified logistic regression model)的贝叶斯分析.deal: 逆运算网络分析: 当前版本覆盖离散和连续的变量, 在正态分布下.dlm: 贝叶斯与似然分析动态信息模型. 包括卡尔曼滤波器和平滑器的计算, 前向滤波后向采样算法.EbayesThresh: thresholding methods 的贝叶斯估计. 尽管最初的模型是在小波下开发的, 当参数集是稀疏的, 用户也可以受益.eco: 使用MCMC方法拟合贝叶斯生态学推断in two by two tables evdbayes: 极值模型的贝叶斯分析.exactLoglinTest: log-linear models 优度拟合检验的条件P值的MCMC估计. HI: transdimensional MCMC 方法几何途径, 和随机多元Adaptive Rejection Metropolis Sampling.G1DBN: 动态贝叶斯网络推断.Hmisc内的gbayes()函数, 当先验和似然都是正态分布, 导出后验(且最优)分布, 且当统计量来自2-样本问题.geoR包的krige.bayes()函数地理统计数据的贝叶斯推断, 允许不同层次的模型参数的不确定性.geoRglm 包的binom.krige.bayes() 函数进行贝叶斯后验模拟, 二项空间模型的空间预测.MasterBayes: MCMC方法整合家谱数据(由分子和形态数据得来的)lme4包的mcmcsamp()函数信息混合模型和广义信息混合模型采样.lmm: 拟合信息混合模型, 使用MCMC方法.MNP: 多项式probit模型, 使用MCMC方法.MSBV AR: 估计贝叶斯向量自回归模型和贝叶斯结构向量自回归模型.pscl: 拟合item-response theory 模型, 使用MCMC方法, 且计算beta分布和逆gamma分布的最高密度区域RJaCGH: CGH微芯片的贝叶斯分析, 使用hidden Markov chain models. 正态数目的选择根据后验概率, 使用reversible jump Markov chain Monte Carlo Methods 计算.sna: 社会网络分析, 包含函数用于从Butt's贝叶斯网络精确模型, 使用MCMC方法产生后验样本.tgp: 实现贝叶斯treed 高斯过程模型: 一个空间模型和回归包提供完全的贝叶斯MCMC后验推断, 对于从简单线性模型到非平稳treed高斯过程等都适合. Umacs: Gibbs采样和Metropolis algorithm的贝叶斯推断.vabaye1Mix: 高斯混合模型的贝叶斯推断, 使用多种方法.=Post-estimation tools=====BayesValidate: 实现了对贝叶斯软件评估的方法.boa: MCMC序列的诊断, 描述分析与可视化. 导入BUGS格式的绘图. 并提供Gelman and Rubin, Geweke, Heidelberger and Welch, and Raftery and Lewis 诊断. Brooks and Gelman 多元收缩因子.coda: (Convergence Diagnosis and Output Analysis) MCMC的收敛性分析, 绘图等. 可以轻松导入WinBUGS, OpenBUGS, and JAGS 软件的MCMC输出. 亦包括Gelman and Rubin, Geweke, Heidelberger and Welch, and Raftery and Lewis 诊断. mcgibbsit: 提供Warnes and Raftery MCGibbsit MCMC 诊断. 作用于mcmc对象上面.ramps: 高斯过程的贝叶斯几何分析, 使用重新参数化和边际化的后验采样算法. rv: 基于模拟的随机变量类, 后验模拟对象可以方便的作为随机变量来处理. scapeMCMC: 处理年龄和时间结构的人群模型贝叶斯工具. 提供多种MCMC诊断图形, 可以方便的修改参数===========学习贝叶斯的包===================BaM: Jeff Gill's book, "Bayesian Methods: A Social and Behavioral Sciences Approach, Second Edition" (CRC Press, 2007). 伴随的包Bolstad: 此书的包. Introduction to Bayesian Statistics, by Bolstad, W.M. (2007). 的包LearnBayes: 学习贝叶斯推断的很多的函数. 包括1个,2个参数后验分布和预测分布, MCMC算法来描述分析用户定义的后验分布. 亦包括回归模型, 层次模型. 贝叶斯检验, Gibbs采样的实例.贝叶斯包一般模型拟合Bayesian packages for general model fitting1.The arm package contains R functions for Bayesianinference using lm, glm, mer and polr objects. arm package 包含了用于使用lm,glm,mer 和polr对象的贝叶斯推理的R函数Install.packages(“arm”)Library(“arm”)Help(package=”arm”) Documentation for package …arm‟ version 1.5-08 DESCRIPTION file.Help PagesFunctions to compute the balance statistics函数来计算平衡统计balanceFunctions to compute the balance statistics函数来计算平衡统计balance-classbayesglm-class Bayesian generalized linear models. 贝叶斯广义线性模型。

2贝叶斯最优估计

2贝叶斯最优估计
概率密度函数
Ｐ （ Ｙ ｋ 卜 ｋ ） Ｐ （ Ｘ ｋ 夙－ １ ） Ｐ （ ｘ ｋ 队卜 Ｐ （ Ｙ ｋ Ｉ Ｄ ｋ － １ ）
（ ３ － ６ ）
其 中 Ｐ （ Ｙ ｋ ｌ Ｄ ｋ Ｉ － 卜 介 （ Ｙ ｋ 卜 ｋ ） Ｐ （ Ｘ ｋ 队 － Ｉ ） ｄ Ｘ ｋ 是 一 个 归 一 化 因 子 ， 而 条 件 概 率 密 度 函 数
知观测噪声的后验概率密度函数。
根据贝叶斯原理，估计问题的实质就是在获得了 ｋ时刻以及 ｋ时亥 蛇 前的所
有观测数据的前提下，递归地去估计 ｋ时刻的系统状态，去构造 ｋ时刻系统的后
验 概 率 密 度 函 数 Ｐ （ ｘ ｋ Ｉ Ｙ Ｕ ）假 设 系 统 向 量 的 初 始 概 率 密 度函 数 Ｐ （ ｘ ｏ ） 己 知 ， 在 每 一
式（ （ ３ － ３ ） 和式（ （ ３ － ６ ） 的递归求解就是解决贝叶斯递归估计问 题的一般解法，
Hale Waihona Puke 西安电子科技大学硕士学位论文：视频跟踪技术研究
法框图如图３ ． １ 。如果要得到解析解，则必须对系统方程和观测方程作出严格的限 制。比如卡尔曼滤波，它要求系统方程和观测方程是线性的，系统噪声和观测噪
声是方差已知的加性高斯噪声。这样严格的条件在很多应用中都是无法满足的， 因此我们希望弱化一些条件，寻找一些次优的算法，比如扩展卡尔曼滤波，粒子
滤波，以及网格滤波等。
３ ． ３卡尔曼滤波
３ ． ３ ． １卡尔曼滤波［ １ ９ １ ［ ０ ２ １ 的 起源与发展
早 在１ ７ ９ ５ 年， 高斯（ Ｋ ． Ｇ ａ ｕ ｓ ｓ ） 为了 测定 行星运动轨 道就提出 了 最小二乘估计 法。 ２ ０ 世纪４ ０ 年代， 为了 解决火 力控制系统 精确跟踪问 题， 维纳 （ Ｎ ． Ｗ ｅ ａ ｎ ｅ ｒ ） 提出 了 维
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Σ
−1 Β
=0
Σ = X ′X / σ
−1 Β
2 −1 2
2
Β = (X′X / σ ) ⋅ (X′X / σ ) ⋅ β = β
( Β Y ) ~ N ( β , σ ( X ′X ) )
2 −1
• 认为待估参数的所有元素服从（－∞，+∞）上的 认为待估参数的所有元素服从（－ ， ） （－ 均匀分布，且互不相关。 均匀分布，且互不相关。
g ( Β Y ) ∝ g ( Β) ⋅ L ( Β Y )
1 g(Β Y ) ∝ exp− 2 (W − GΒ) ′(W − GΒ) 2σ
A A Β G= W = Y X (k+n)×n (k+n)×1
1 2
1 2
A=σ Σ
2
−1 Β
Β = (G′G) G′W = ( A + X′X) ( AΒ + X′Xβ )
−1 −1
β = (X′X) X′Y
−1
B = Σ
−1 Β
−1 Β
( Σ Β + ( X ′X / σ ) β )
−1 Β 2
Байду номын сангаас
Σ = Σ + X ′X / σ
−1 Β
2
(Β Y ) ~ N ( Β , Σ Β )
• 选取 选取1952-1977年的数据为样本观测值，估计模 年的数据为样本观测值， 年的数据为样本观测值 将估计结果作为先验信息。 型，将估计结果作为先验信息。得到参数的先验 均值和先验协方差矩阵。 均值和先验协方差矩阵。
β 0 = 87.0354
10 .0093 ΣΒ = − 0 .000262
ˆ2 σ µ = 453
• 选取 选取1978-1997年的数据为样本，采用经典模型 年的数据为样本， 年的数据为样本 的估计方法，得到的结果。 的估计方法，得到的结果。
β 0 = 10.981
76 .615 ΣΒ = − 0 .0371
β1 = 0.047678
2 .1204 e − 005 − 0 .0371
⒌ 假设检验
• 可以用最高后验密度区间进行假设检验。 可以用最高后验密度区间进行假设检验。 • 常用的方法是利用后验优势比检验。 常用的方法是利用后验优势比检验。
⒍试例
DE t = β 0 + β 1GDPt + µ t t = 1,2, ⋯ , T
ˆ β 0 = 126.18
ˆ β1 = 0.008886
ˆ ˆ min E ( Lo (Β, Β ) Y ) = min ∫ Lo (Β, Β) ⋅ g (Β Y ) dΒ
• 二次损失函数的点估计值为后验均值。 二次损失函数的点估计值为后验均值。
ɵ ɵ Lo = ( Β − Β) ′ M (Β − Β)
ɵ Β = E ( Β)
⒋ 区间估计
• 根据B的后验密度函数进行区间估计。 根据B的后验密度函数进行区间估计。 • 需要引入最高后验密度区间的概念：区间内每点的 需要引入最高后验密度区间的概念： 后验密度函数值大于区间外任何一点的后验密度函 数值，这样的区间称为最高后验密度区间（HPD区 数值，这样的区间称为最高后验密度区间（HPD区 间）。 • 参数的最高后验密度区间在形式上与经典样本信息 理论中的置信区间是一致的，但解释并不相同。 理论中的置信区间是一致的，但解释并不相同。
• 利用模型预测 利用模型预测1998年的国防支出，得到预测值为 年的国防支出， 年的国防支出 865.7，在95%的置信水平下预测值的置信区间为 ， 的置信水平下预测值的置信区间为 ）。1998年实际国防支出为 年实际国防支出为934.7。 （780.4,951.0）。 ）。 年实际国防支出为 。 • 利用仅仅依赖于1978-1997年样本信息估计的模型 利用仅仅依赖于1978-1997年样本信息估计的模型 年进行预测， 对1998年进行预测，得到 年进行预测 得到831.7，其预测精度明显 ， 低于上述模型 。 • 即使利用 即使利用1952-1997年的所有数据为样本估计模型， 年的所有数据为样本估计模型， 年的所有数据为样本估计模型 并对1998年进行预测，得到的预测值为860.4，其 并对 年进行预测，得到的预测值为 ， 年进行预测 预测精度也低于上述模型。 预测精度也低于上述模型。
一、贝叶斯定理
⒈贝叶斯定理
P(A B) =
P (B A)P ( A) P(B)
P(数据 参数) P(参数) P(数据) (数据
P(参数 数据) =
f ( Y θ ) g (θ ) g (θ Y ) = f (Y )
g (θ Y ) ∝ L (θ Y ) ⋅ g (θ )
• 后验信息正比于样本信息与先验信息的乘积。 后验信息正比于样本信息与先验信息的乘积。 • 可以通过样本信息对先验信息的修正来得到更准 确的后验信息。 确的后验信息。
• 作为一类估计方法，其原理是重要的。 作为一类估计方法，其原理是重要的。 • 在实际应用中，由于先验信息难以获得，该估计 在实际应用中，由于先验信息难以获得， 方法很难应用。 方法很难应用。 • 贝叶斯统计是由T.R.Bayes于19世纪创立的数理统 贝叶斯统计是由T.R.Bayes于19世纪创立的数理统 T.R.Bayes 计的一个重要分支，20世纪50年代 世纪50年代， 计的一个重要分支，20世纪50年代，以H.Robbins 为代表提出了在计量经济学模型估计中将经验贝 叶斯方法与经典方法相结合，引起了广泛的重视。 叶斯方法与经典方法相结合，引起了广泛的重视。 • 贝叶斯估计对经典计量经济学模型估计方法的扩 展在于，它不仅利用样本信息 同时利用非样本 样本信息， 展在于，它不仅利用样本信息，同时利用非样本 信息。 信息。
′X ) −1 ) (Β Y ) ~ N ( β , σ ( X
2
• 从形式上看，无信息先验得到的后验分布均值与样 从形式上看， 本信息的OLS估计相同，但二者有不同的含义。 估计相同， 本信息的 估计相同 但二者有不同的含义。
⒊ 点估计
• 利用损失函数并使平均损失最小。 利用损失函数并使平均损失最小。
β 1 = 0.00979
2 .98683 e − 008 − 0 .000262
• 利用样本信息修正先验分布，得到后验均值和协 利用样本信息修正先验分布， 方差矩阵。就是参数的点估计值。 方差矩阵。就是参数的点估计值。
ˆ D E t = 87 .0354 + 0 .00979 GDP t
§3.2 经典线性计量经济学模型的 贝叶斯估计 Bayesian Estimation Bayesian Econometrics 教材§3.3） （教材§3.3）
一、贝叶斯定理 二、正态线性单方程计量经济学模型的贝叶斯 估计
0 引子
• 在《Econometric Analysis》(第3版)中： 》第 版中 • Chapter 6 The Classical Multiple Linear Regression Model—Specification and Estimation • 6.9 Bayesian Estimation • 在《Econometric Analysis》(第5版)中： 》第 版中 • Chapter 16 Estimation Frameworks in Econometrics • 16.2 Parametric Estimation • 16.2.2 Bayesian Estimation
⒉单方程计量经济学模型贝叶斯估计的过程
• 确定模型的形式，指出待估参数 确定模型的形式， • 给出待估参数的先验分布 • 利用样本信息，修正先验分布 利用样本信息， • 利用待估参数的后验密度函数，进一步推断出待 利用待估参数的后验密度函数， 估参数的点估计值， 估参数的点估计值，或进行区间估计与假设检验 • 预测
二、正态线性单方程计量经济学模 型的贝叶斯估计
⒈有先验信息的后验分布
Y = XΒ + µ
µ ~ N (0,σ I )
2
•选择 的先验分布为自然共轭分布，B的自然共轭 选择B的先验分布为自然共轭分布 选择 的先验分布为自然共轭分布， 的自然共轭 先验密度函数为正态密度函数： 先验密度函数为正态密度函数：
• 后验精确度矩阵是先验精确度矩阵与样本信息精 确度矩阵之和， 确度矩阵之和，故后验精确度总是高于先验精确 度； • 后验均值是先验均值与样本信息 后验均值是先验均值与样本信息OLS估计值的加 估计值的加 权平均和，权数为各自的精确度。 权平均和，权数为各自的精确度。
⒉无先验信息的后验分布
• 作为有信息先验的一种特殊情况，即无信息先验 作为有信息先验的一种特殊情况， 的精确度为0。 的精确度为 。
g ( Β ) = g ( β1 ) ⋅ g ( β 2 )⋯ g ( β k ) ∝ c
g ( Β Y ) ∝ g ( Β) ⋅ L ( Β Y ) ∝ L ( Β Y )
1 [(Β − β )′X′X(Β − β ) + (Y − Xb)′(Y − Xβ )] ∝ exp− 2 2σ 1 ∝ exp− (Β − β )′X′X(Β − β ) 2σ 2
g(Β) ∝ e
1 −1 − 2 ( Β− Β) ′ Σ Β ( Β− Β)
• B的或然函数等同于它的联合密度函数 的或然函数等同于它的联合密度函数
L(Β Y ) ∝ e
−
1 2σ 2
( Y − X Β ) ′( Y − X Β )
• 利用贝叶斯定理，得到 的后验密度函数为： 利用贝叶斯定理，得到B的后验密度函数为 的后验密度函数为：