贝叶斯统计及其推断(ppt 123页)

先验信息的利用
先 验 信 息 通 过 给 出 参 数 的 一 个 分 布 来 反 映 ， 称 此 分 布 为 参 数 的 先 验 分 布 ， 记 为 ( )
贝叶斯统计与经典统计的区别
总之，贝叶斯统计与经典统计的区别反映在：对 参数、概率的理解上，先验信息有无利用上
符号的改变
P (x;) P (x|) 右 边 ： 在 给 定 (一 个 样 本 值 ) 时 ， X 的 条 件 分 布
则 P (x)
1
( x 1)2
e 24 , x R
2 2
2
1
2
x2 2 x 1
e
2 4
x2 2 x
e 8 h(x)
计算的简化---边缘密度的核
例3.2.设 x的 密 度 核 为 x a1 (1 x)b1, 0 x 1, 求 P ( x)
解 ： 法1.P ( x) c.h( x)
设X~P(x|)
经 典 统 计 认 为 是 个 常 数 ， 但 未 知 。
贝 叶 斯 统 计 认 为 是 个 随 机 变 量 ， 无 论 是 否 可 变 。
参数理解的例子
例1 估计某特定教师的年龄
经典统计认为 是一常数， 但未知，实际上 确实是一
个未知的不可变数。贝叶斯
统计仍然认为 为一个r.v.。
计算的简化---后验密度的核
例 2.3.设 后 验 密 度 为 （ | x ) C nx x (1 ) n x / m ( x ) x (1 ) n x h ( )
注 ： 在 后 验 密 度 (|x)中 ， x要 视 作 常 数 ，
后 验 密 度 是 一 个 条 件 密 度 。 实 际 上 贝 叶 斯 统 计 式 基 于 当 前 观 察 Xx的 条 件 统 计 推 断
解：m(x) 01Cnx x(1)nx 1d
Cnx
1
x
(1
)nx
d
0
1 n1
,
x 0,1,...,n.
(| x) Cnxx(1)nx / m(x)
(n2)
(1 ) (x1)1
(nx1)1
(x1)(nx1)
0 1
即| x~Be(x1,nx1)
计算的简化
核的定义，设r.v.x的概率密度（或分布列）
x(x1,...,xn),则 2|x~IG a(
n, 2
1 2i n 1 (xi)2)
更多参见p19-p20及表1.
先验分布的确定
超参数的确定
设X b(n,), ~Be(,),如何确定，？
1 .先 验 矩 法
历
史
数
据
得
的
估
计
值
，
1
..., k
计算
1+...+ k
k
,
S
2
1 k 1
k
( i ) 2
贝叶斯统计
贝叶斯中的
信息 三种信息：
总体信息~可知r.v.的分布类型 样本信息~由此可推断未知参数的信息 先验信息~由历史经验得到的参数信息
有一定的主观性通常由专家给出
经典统计与贝叶斯统计
经典统计与贝叶斯统计的区别反映在三个方 面：
• 参数的理解上 • 概率的理解上 • 先验信息的有无利用上
对参数的理解
解： ( | x)
1
e
(
x ) 2 2
2
2
1
e
( 22
)2
2
( x )2
e 2 2
( )2
e 2 2
2 ( x )2 2 ( )2
e
2 2 2
exp{
(
2
2 )
2 2( 2 x 2 2 2
2 )
}
2 exp{
2(
2
x
2
2
2
21
)
[ } exp{
(
2 2
2
x
2
2 1
2 2
2
)]2 }
1 2
1 2
ˆ
1
e
(
1
2
2 1
)2
2
故 |x N(1,12).
共轭先验分布---
特 殊 P (x |)和 ()下 的 (|x )
•X N(,2),2已知，x为容量为1的样本，
N(,2),则| x N(,12)
• X 1 N ( 2,2 22), x 2I2G a 2(2, ),,且 12有 样 本 2222
概率理解的不同
设P(A)=0.9…… (1) ●经典统计：(1)式意味着重复试验n次，A
发生的次数约为0.9n,故又称为频率学派
●贝叶斯统计：认为A发生的可能性为90%， 试验不一定会重复
概率理解的不同
例2
在 例 1 中 ， 根 据 生 活 经 验 ， 断 定 在 [30,40] 之 间 的 可 能 性 为 0.9,即 P(3040)=90%
边缘密度和后验密度
设X的密度为P(x|),现有 观察值x,及()，求 边缘密度m(x),后验密度(| x) 解 ： m (x)p(x,)dp(x|)()d, (|x)p(x,)/p(x,)dp(x|)()/m (x).
求解的例子
设 x b ( n ,) ,~ U ( 0 ,1 ) . 求 m ( x ) ,(|x )
又
1
ch(x)dx
1
P(x)dx 1
0
0
c
1
1wk.baidu.com
h(x)
1 1 x a 1 (1
x )b1
(a b) (a) (b)
0
0
即 P ( x) (a b) x a1 (1 x)b1 (a) (b)
0 x 1
计算的简化---边缘密度的核
法二：由于Be(a,b)的核 为xa1(1 x)b1, 0 x 1， 故x ~ Be(a, b), P(x) ~
函数为P(x)=c.h(x)
则称h(x)为P(x)的核
由于ch(x)dx 1(或ch(x) 1) x
c 1 从而P(x) h(x)
h(x)dx
h(x)dx
即P(x)由核唯一确定，
除了相差一个常数倍外，核也由P(x)唯一确定
计算的简化---边缘密度的核
例 3 . 1 .设 x ~ N (1 , 4 )
计算的简化---边缘密度的核
例 4.1.设 X b(n, ), u (0，1)， 求 ( | x)
解 ： P(x| )=C nx x(1- )n x ( ) 1, 0 1
0 1
( | x) P ( x | ) / m ( x)
C nx x (1 ) n x 1 x (1 ) n x
( x 1)1 (1 ) ( n x 1)1 , 0 1 .
故 |xB e (x 1 ,n x 1 )
注 ： 由 于 丢 弃 部 分 x的 函 数 Cnx等 ，
故x(1)nxd不 能 导 出 m(x).
计算的简化---边缘密度的核
例4.2.设x ~ N ( , 2 ), ~ N ( , 2 )求 ( | x)