贝叶斯数据分析—基于R与Python的实现最新版讲义PDF版BayesP1

LQp2K#2` R- kyky
X XX X X XX
R8 f kR
1tKTH2
假定盒子中有 j 个硬币- 抛这些硬币会以不同的优比出现正面, R,j、R,R、 j,RX 如果随机从盒子里面取出一个- 抛后得到正面- 那么这可能是哪个硬 币\ 提示, 记这三个硬币的事件为 *1, *2, *3- 正面和反面分别记为 > 和 h 则先验分 布 T(*B) = 1/3, B = 1, 2, 3- 根据已知条件T(>|*1) = 0.25, T(>|*1) = 0.5, T(>|*1) = 0.75. 结果,
T(*D|>) =
⎧
T(>|*D)T(*D)
3 B=1
T(>|*B)T(*B)
=
⎨ ⎩
0.25/1.5 = 0.17, 0.5/1.5 = 0.33, 0.75/1.5 = 0.5,
D = 1; D = 2; D = 3.
如何解释结果\ 吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
R如果 ∩ " = ∅ 则称 和 " 为互斥事件X k如果 B ∩ D = ∅ ∀B ̸= D- 则 T(∪BB|*) = B T(B|*).
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
LQp2K#2` R- kyky
X XX X X XX
Rk f kR
似然原理
贝叶斯方法还有一个区别于其他统计方法的特征c 即关于 θ U或者 θ, φ, 如果有多余参数的话V 的完全推断由 T(θ|t) 提供-
并且由
T(θ|t) ∝ T(t|θ)T(θ)
来固计 定算 的X观在测该值运X 算对中于-固θ定是的在t其, T范(t围|θ内) 作变为化的θ 的不一确个定函量数- 而被称t 是 为似然函数- 可记为 ℓ(θ|t)X 似然比的概念出现得更早一些X 由 此- 关于参数的推断及基于它的任何决策都仅仅通过似然来依 赖于数据或观测值X 这导致似然原理- 它说两个具有同样似然 的数据集在推断上有同样的结果U经典统计没有这种性质V-
T(θ|t) ∝ T(t|θ)T(θ),
UyXdV
其中的比例常数为 1/T(t)- 而 T(t) = T(t|θ)T(θ)/θX 由于 T(t|θ) 就是似然函数
ℓ(θ|t)- 上式可以写成
T(θ|t) ∝ ℓ(θ|t)T(θ),
UyX3V
也就是说- 后验分布与似然函数和先验分布的乘积成比例X
吴喜之
T(θ|t)/θ = 1 − α.
θ∈∪KB=1 AB
UyXRyV
的区间 A1, A2, . . . , AK 总长度最短的区间集合 ∪KB=1ABX 显然- 定义 UyXRyV 包含定义 UyXNV- 但 定义 UyXNV 会使得习惯频率派置信区间的人更容易理解X
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
X XX X X XX
j f kR
传统统计的问题,
假定的总体及参数看成不变的固定值
用个别不能说明总体的诸如均值 U仅仅一 个数字V 那样的参数作为主要目标
而贝叶斯统计,
分布及参数皆为随机- 随着新信息而更新
目标为各种有关分布- 而非个别参数值
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
Rj f kR
一些概念回顾及汇总
贝叶斯定理, 如果 θU可以是多元的V 在连续范围取值- 相应的贝叶斯定理为
T(θ|t)
=
T(t, θ) T(t)
第 R 章引言
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
k f kR
为什么用贝叶斯\
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
U这个规则通常扩展到互斥事件的一个可数的无穷集合kXV j 乘法X 对于任意三个事件
T( ∩ "|*) = T("|*)T(|" ∩ *).
注意- 概率总是两个变元的函数- 一个是你对其不确定性感兴趣的事件 U如前面的 >V- 另 一个是当你研究该不确定性时所具有的知识 E U该知识反映在前面的 T(>|E) 中VX 第二个 变元常常被忘记- 因而忽略了已经知道的信息X 这可能导致严重的错误X 在根据数据 . 来 修订 > 中的不确定性时- 仅有作为条件的事件改变了, 从 E 变到 . ∩ E, 而 > 不变X
X XX X X XX
RR f kR
概率之外的一种相关的说法为优势UQ//bVX 给了 " 后- 的优势定义为 T(|")/T(*|"). 贝叶斯结果用优势来陈述要更容易些- 因为
Q//b(>|.)
≡
T(>|.) T(>*|.)
=
T(.|>)T(>)/T(.) T(.|>*)T(>*)/T(.)
用 T(), T("), T(*) 分别表示汽车在 、"、* 三个门后面的概率- 显然 T() = T(") = T(*) = 1/3X 记 P, P", P* 分别为 JQMiv 打开 、"、* 三个门的事件X 计算下面概率,
JQMiv 打开 " 门的 U条件V 概率
JQMiv 打开 " 门后- 这时汽车在 * 门后面的 U条件V 概率
JQMiv 打开 " 门后- 这时汽车在 门后面的 U条件V 概率
结果是什么\ 如何解释呢\
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
Rd f kR
1tKTH2
女性患肺癌和吸烟X 根据新英格兰医学杂志 kyRj 年的报告- 美国男性吸烟者有 RdX3 倍的机会较不吸烟者更 容易发展成肺癌- 而女性吸烟者则有 R9Xe 倍的机会比不吸烟者得肺癌X 而 "`2MMM 2i HX UkyyeV 给出了欧 洲不同吸烟程度的人患肺癌的百分比X
UyXNV
Gα/2
人们把满足上面条件的最短的区间(Gα/2, >α/2) 称为 1 − α 最高密度区域 U?B;?2bi /2MbBiv `2;BQMV 或者贝叶斯置信区间X 注意- 在实际问题中- 有时会出现多峰后验分布- 这时最高密
度区域很可能是由多于一个连续区间组成X 这时的 1 − α 最高密度区域就应该是满足条件
LQp2K#2` R- kyky
X XX X X XX
3 f kR
概率论的正式规则有三条- 所有其他性质皆基于此X R 凸性X 对任何事件 和 "- 0 ≤ T(|") ≤ 1 及 T(|) = 1. k 可加性X 对于互斥事件 和 "R- 和任意事件 *,
T( ∪ "|*) = T(|*) + T("|*).
关系
T(θ|t) = T(t|θ)T(θ)/T(t) ∝ T(t|θ)T(θ),
UyXkV
这里的比例常数能够由 T(θ|t) 关于 θ 的和 U或积分V 为 R 而得
到X 显然- 式 UyXkV 是贝叶斯定理式 UyXRV 的另一种形式X
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
N f kR
贝叶斯定理
T(>|.)
=
T(.|>)T(>) T(.)
=
T(.|>)T(>) T(.|>)T(>) + T(.|>*)T(>*),
UyXRV
这里 >* 是 > 的互补事件X 式 UyXRV 显示对事件 > 的相信 T(>) 如何通过新的数据信息 . 转换到更新的相信 T(>|.) 的X 后验概率 T(θ|t) 描述给定数据 t 后 θ 的不确定性- 并且有计算
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
R9 f kR
最高密度区域
犹如经典统计的置信区间- 在参数后验分布是单峰的情况- 可能会有很多组满足下面条件
的区间 (Gα/2, >α/2),
>α/2 T(θ|t)/θ = 1 − α.
LQp2K#2` R- kyky
X XX X X XX
9 f kR
必须学会贝叶斯贝叶斯编程
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
8 f kR
贝叶斯统计实践中最困难的是在寻求后 验分布过程中所遇到的积分困难
LQp2K#2` R- kyky
X XX X X XX
Ry f kR
吴喜之
最初概率值 T(>)