贝叶斯分析(doc 18页)

02
03
与决策树比较
贝叶斯判别分析提供了更稳定的预测 ，而决策树可能会因为数据的微小变 化而产生大的预测变化。
05
贝叶斯判别分析的案例分 析
案例一：信用卡欺诈检测
总结词
信用卡欺诈检测是一个经典的判别分析应用场景，通过贝叶斯判别分析可以有效地识别 出欺诈交易，减少经济损失。
详细描述
信用卡欺诈检测是金融领域中一个非常重要的问题。随着信用卡交易量的增长，欺诈行 为也日益猖獗，给银行和消费者带来了巨大的经济损失。贝叶斯判别分析可以通过对历 史交易数据的学习，建立分类模型，对新的交易进行分类，判断是否为欺诈行为。通过
市场细分
在市场营销中，贝叶斯判别分析 可以用于市场细分，通过消费者 行为和偏好等数据，将消费者划 分为不同的群体。
02
贝叶斯判别分析的基本概 念
先验概率与后验概率
先验概率
在贝叶斯理论中，先验概率是指在考 虑任何证据之前对某个事件或假设发 生的可能性所做的评估。它是基于过 去的经验和数据对未来事件的预测。
的类别。
它基于贝叶斯定理，通过将先验 概率、似然函数和决策函数相结 合，实现了对未知样本的分类。
贝叶斯判别分析在许多领域都有 广泛的应用，如金融、医疗、市
场营销等。
贝叶斯判别分析的原理
01
02
03
先验概率
在贝叶斯判别分析中，先 验概率是指在进行观测之 前，各类别的概率分布情 况。
似然函数
似然函数描述了观测数据 在给定某个类别下的概率 分布情况。
后验概率
后验概率是指在考虑了某些证据之后 ，对某个事件或假设发生的可能性所 做的评估。它是基于新的信息和证据 对先验概率的修正。
似然函数与贝叶斯定理

去掉与i无关的项，等价的判别函数为：
zi (x)
ln
qi
1 2
ln
|
i
|
1 2
(
x
(i
)
)
1 i
(
x
(i
)
)
问题转化为若
Zl
(
x)
max[
1ik
Z
i
(
x)]，则判
x Gl 。
当协方差阵相等时
即1 k
判别函数退化为
第十九页，共28页。
zi (x) ln qi
1 (x μ(i) )Σ1(x μ(i) ) 2
如果W（y） 0，则G1 G2，y G1,相反则y G2
因此有
y y
G1 ， G2 ，
如W（y） 如W（y）
0， 0。
第七页，共28页。
2、当总体的协方差已知，但不相等
y G1， 如d 2 y，G1 d 2 y，G2 ，
y
G2
，
如d 2 y，G2 d 2 y，G1
d 2 (y,G2 ) d 2 (y,G1)
设有总体 Gi (i 1,2,，, k具) 有概G率i 密度函 数 。 并且fi (根x)据以往的统计分析，知道 出现的概Gi率为 。 即当样qi 本 发生时，x0 求 属于某类x0 的概率。由贝叶斯 公式计算后验概率，有：
P(Gi
|
x0 )
qi q
fi (x0 ) j f j (x0 )
判别规则
0.9，坏人做好事的概率为0.2，一天，小王做了一件 好事，小王是好人的概率有多大，你现在把小王判为 何种人。
第十四页，共28页。
P(好人 / 做好事）

贝叶斯分析决策Bayesean Analysis§4.0引言一、决策效果的表格表示——损失矩阵对无观察(No-data)效果a=δ可用表格(损失矩阵)替代决策树来描画决策效果的结果(损失):或损失矩阵直观、运算方便二、决策原那么通常，要依据某种原那么来选择决策规那么δ，使结果最优(或满意)，这种原那么就叫决策原那么，贝叶斯剖析的决策原那么是使希冀成效极大。

本章在引见贝叶斯剖析以前先引见芙他决策原那么。

三、决策效果的分类：1.不确定型(非确定型)自然形状不确定,且各种形状的概率无法估量.2.风险型自然形状不确定,但各种形状的概率可以估量.四、按形状优于：l ij ≤lik∀I, 且至少对某个i严厉不等式成立, 那么称举动aj按形状优于ak§4.1 不确定型决策效果一、极小化极大(wald)原那么(法那么、准那么) a1a2a4minj maxil (θi, aj) 或maxjminiuij例:各举动最大损失: 13 16 12 14其中损失最小的损失对应于举动a3.采用该原那么者极端保守, 是失望主义者, 以为老天总跟自己作对.二、极小化极小minj minil (θi, aj) 或maxjmaxiuij例:各举动最小损失: 4 1 7 2其中损失最小的是举动a2.采用该原那么者极端冒险，是失望主义者，以为总能撞大运。

三、Hurwitz准那么上两法的折衷，取失望系数入minj ［λminil (θi, aj)＋〔1－λ〕maxil (θi, aj)］例如λ=0.5时λmini lij: 2 0.5 3.5 1〔1－λ〕maxi lij: 6.5 8 6 7两者之和：8.5 8.5 9.5 8 其中损失最小的是：举动a4四、等概率准那么(Laplace)用i∑l ij来评价举动a j的优劣选minji∑l ij上例：i∑l ij: 33 34 36 35 其中举动a1的损失最小五、后梅值极小化极大准那么(svage-Niehans)定义后梅值sij =lij-minklik其中mink lik为自然形状为θi时采取不同举动时的最小损失.构成后梅值(时机本钱)矩阵S={sij }m n⨯,使后梅值极小化极大,即:min max j i s ij例:损失矩阵同上, 后梅值矩阵为:3 1 0 23 0 8 11 4 0 20 3 2 4各种举动的最大后梅值为: 3 4 8 4其中举动a1 的最大后梅值最小,所以按后梅值极小化极大准那么应采取举动1.六、Krelle准那么：使损失是成效的正数(结果的成效化),再用等概率(Laplace)准那么.七、莫尔诺(Molnor)对理想决策准那么的要求(1954)1.能把方案或举动排居完全序；2.优劣次第与举动及形状的编号有关；3.假定举动ak 按形状优于aj，那么应有ak优于aj；4.有关方案独立性：曾经思索过的假定干举动的优劣不因添加新的举动而改动；5.在损失矩阵的任一行中各元素加同一常数时，各举动间的优劣次第不变；6.在损失矩阵中添加一行，这一行与原矩阵中的某行相反，那么各举动的优劣次第不变。

假定两总体G1,G2均服从4元正态分布,在误判损失相 等且先验概率按比例分配条件下,对待判样本进行bayes
判别.
19
表4-2 两类企业财务状况数据
G1（破产企业）
G2（非破产企业）
X1
X2
-0.45 -0.41
-0.56 -0.31
0.06 0.02
-0.07 -0.09
-0.10 -0.09
-0.14 -0.07
p20=1-chi2cdf(Q20, p*(p+1)/2) %卡方分布概率p20 p20 P{Q2 Q20}
输出结果：Q10=2.5784，Q20=0.7418均<7.8147=λ，
p10=0.4613,p20=0.8633,均>0.05,
认为两个总体协方差矩阵相等
15
（2）估计两个总体的先验概率 按样本容量比例选取.由于Apf与Af分别为
回代误判率: p pˆ N1 N2
n1 n2
交叉误判率：
p
pˆ *
N1*
N
* 2
mn
11
例4.3.1 6只Apf和9只Af蠓虫触角长度和翅膀长度数据: Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64),(1.38,1.82), (1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82), (1.56,2.08).
0.40 0.38 0.11 3.27
0.26 0.19 0.05 2.25

天数
3 9 15 3
频率
0.1 0.3 0.5 0.1
由这些资料可以确定未来任何一天的销售量(即自 然状态)的概率分布。
2
先验分布例子: 用某一段时间内每批产品所包含的不合格品数目，来估
计该产品不合格品率的概率分布； 用过去历年秋季广州市火灾的次数，来估计明年秋季火
灾次数的概率分布。
3.主观的先验分布
=2000×0.3+0×0.7=600(元)
故决策方案δ 1（x）的贝叶斯风险为 B（δ 1）= P(θ 1, δ 1) P(θ =θ 1)+ P(θ 2, δ 1) P(θ =θ 2) =300×1/2+600×1/2=450（元）
决策方案δ 2（x）的贝叶斯风险 R(θ1, δ 2（合）) =R(θ1, a2) =1500 R(θ1, δ 2（不）) =R(θ1, a1) =0 R(θ2, δ 2（合）) =R(θ2, a2) =0 R(θ2, δ 2（不）) =R(θ2, a1) =2000
P2


0.160.5
0.432
0.160.5 0.210.5
P2
|
合.不

P合.不|
P合.不|2 P2 1P1 P合.不|
2
P2


0.210.5
0.568
0.160.5 0.210.5
因此，应判断此时设备不正常
11
情况5：可以抽出的两件产品皆为不合格品，即X=“不·不”，
21
若抽取两件产品来补充情报信息，这时决策方案共有 八个，分别记为δ1，δ2，δ3，δ4，δ5，δ6，δ7，δ8，各个决 策方案的风险值和贝叶斯风险见表5-4：
表5-4 状态θ

N
H ( X ) pi log pi
i 1
可证明，当p1 = p2= … = pn = 1/n时，H(X) = logn最大，此 时，随机变量X的不确定性最大，随着H(X)的减小，X的 不确定性减低，当X是确定量时，信息熵为0
信息量可以定义为“获得信息前后的信息熵之差” 信息熵(information entropy)的概念是信息论创始人香农
均为0.25
方案a1的收益期望值为：750/4 方案a2的收益期望值为：180/4 方案a3的收益期望值为：350/4
所以最佳方案为a1Biblioteka 17回顾：损失值和损失矩阵
损失值：指由于决策者不知道实际上将发生哪一种自然状 态，致使所做的决策不是实际最优的决策所带来的损失
损失值函数：r(a, θ)，表示自然状态θ下采用方案a带来的 机会损失
4
目录
1 贝叶斯定理回顾 2 行动函数和贝叶斯风险 3 贝叶斯决策分析方法 4 获得情报信息的途径
5 情报的价值及后验预分析
5
条件概率
6
贝叶斯定理
k=1,2,…,n
7
贝叶斯定理的例子
p(x |2 ) C142 0.38 0.74
p(x |1) C142 0.34 0.78
8
分析及结论
r (2 ) R(2, ) p( ) 50.4 * 0.1 38.8* 0.15 49.6 * 0.25 55* 0.5 50.76 显然，行动规则2的贝叶斯风险较小！ 30
小结
行动规则
情报信息
损失矩阵
得到采取某种行 动方案的概率
得到特定行动 规则和自然状 态条件下的决
策风险
得到采取某种 行动规则的贝
如果自然条件为θ2（200万桶油井）

02 先验概率与似然函数
先验概率
先验概率
在贝叶斯决策分析中，先验概率是指根据历史数据或其他 信息，对某个事件或状态发生的可能性进行的估计。
确定先验概率的方法
确定先验概率的方法包括主观概率法、历史数据法、专家 评估法等。这些方法根据不同的情况和数据来源，对事件 或状态的可能性进行评估。
先验概率的特点
降维与特征选择
通过贝叶斯方法进行特征选择和降维，提高机器 学习模型的性能。
贝叶斯决策分析在金融风险管理中的应用
风险评估
利用贝叶斯方法评估金融风险，如市场风险、信用风险等。
信贷风险评估
通过构建贝叶斯网络模型，对信贷申请人的风险进行评估。
投资组合优化
利用贝叶斯方法优化投资组合，实现风险与收益的平衡。
贝叶斯决策分析在医疗诊断中的应用
率。
后验概率的应用场景
01
02
03
04
后验概率在决策分析中有着广 泛的应用，尤其是在处理不确 定性和主观概率的情况下。
在预测模型中，后验概率可以 用于预测未来的事件或结果。
在分类问题中，后验概率可以 用于确定某个样本属于某个类
别的概率。
在机器学习中，后验概率可以 用于确定某个模型或算法的准
确性和可靠性。
赖关系。
贝叶斯网络构建
根据领域知识和数据，构建贝叶 斯网络结构，确定节点和有向边
。
贝叶斯网络推理
利用贝叶斯网络进行概率推理， 计算特定条件下某变量的概率值
。
贝叶斯决策分析在机器学习中的应用
分类问题
利用贝叶斯分类器对数据进行分类，如朴素贝叶 斯分类器。
聚类问题
将贝叶斯方法应用于聚类分析，如高斯混合模型 。

报告中的贝叶斯分析与置信度引言：在进行科学研究或进行决策时，我们常常需要依靠数据来支持我们的观点或者做出判断。

然而，单纯的依赖数据并不总能给出准确的答案。

科学研究和决策制定都存在不确定性，无法完全避免。

因此，为了更好地理解数据和作出合理的推断，贝叶斯分析和置信度这两种方法被广泛运用。

一、贝叶斯分析：从主观信念到客观概率1.1 概念介绍：贝叶斯定理在贝叶斯分析中，我们通过将先验信念（即在考虑实际数据前的主观观点）和实际观测数据相结合，得到一个更新的后验概率分布。

这种方法通过量化恰当的先验信念，将从先验概率得出的结论纳入到我们对事实的判断中。

1.2 案例分析：用贝叶斯分析解决真实世界问题通过一个真实案例，我们可以更好地理解贝叶斯分析的应用。

以医疗诊断为例，通过患者的症状和医学测试结果，我们可以利用贝叶斯分析来计算出某种疾病的患病概率，从而为医生提供更准确的临床决策。

二、置信度：量化不确定性的方法2.1 概念介绍：置信度与置信水平在统计学中，置信度是用来量化我们对某个参数估计的不确定性程度的指标。

通常，我们使用置信区间来表示估计的不确定性范围，并通过置信水平来度量相信此区间包含真实参数的程度。

2.2 案例分析：利用置信度进行市场调查在市场调查中，我们常常需要估计整体人群的某种特点，比如购买意愿或者对某一产品的喜好程度。

我们可以通过抽样调查的方法，利用置信度来确定所得结果的可靠性，并在最终决策中考虑这种不确定性。

三、贝叶斯分析 vs 置信度：优势与应用场景对比3.1 引言：贝叶斯分析和置信度的目标与方法贝叶斯分析和置信度作为两种常用的数据分析方法，各有其独特的优势和适用场景。

本节将重点探讨这两种方法的区别和各自的应用场景。

3.2 优势对比：主观性与客观性的差异贝叶斯分析由于其考虑到了主观信念的因素，可以在数据不充分的情况下提供更准确的结果。

置信度则更加注重数据本身，能够提供较好的客观估计。

3.3 应用场景对比：医疗诊断 vs 市场调查在医疗诊断中，贝叶斯分析能够充分利用医生的专业知识和先验信念，提供更准确的患病概率估计。

该例所描述的就是一个决策问题。在这一个决策问题中，各 种天气类型就是自然状态，共有5种状态，即“极旱年”、“旱
年”、“平年”、“湿润年”、“极湿年”，各状态发生的概率，
即状态概率分别为0.1,0.2,0.4,0.2,0.1；各农作物种类就是行 动方案，共有四种方案，即“水稻”、“小麦”、“大豆”、 “燕麦”；在每一种状态下，各方案的益损值就是在每一种天气 类型下各种农作物的收益值。
二、 随机性决策问题

决策问题的基本类型：
根据人们对决策问题的自然状态 的认识程度，可以把决策问
题划分为两种基本类型，即确定型决策问题 和 随机型决策问题 。 确定型决策问题——指决策者已经完全确切地知道将发生什么样的 自然状态，从而可以在既定的状态下选择最佳行动方案。 也就是说，对于确定型决策问题而言，只存在一个唯一确定的
法是必不可少的方法。
对于风险型决策问题，其常用的决策方法主要有最大可能法、 期望值法、灵敏度分析法、效用分析法等。
在对实际问题进行决策时，可以采用各种不同方法分别进行计
算、比较，然后通过综合分析，选择最佳的决策方案，这样，往往能 够减少决策的风险性。
方法一、最大可能法

最大可能法： 在解决风险型决策问题时，选择一个概率最大的自然状态，把它看 成是将要发生的唯一确定的状态，而把其它概率较小的自然状态忽略， 这样就可以通过比较各行动方案在那个最大概率的自然状态下的益损值 进行决策。这种决策方法就是最大可能。
解：① 方案：水稻B1，小麦B2，大豆B3，燕麦B4； 状态：极旱年θ1 、旱年θ2 、平年θ3 、湿润年θ4 、 极湿年θ5； 方案Bi在状态θj下的收益值aij看作该随机变量的取值。 ② 计算各个行动方案的期望收益值：

看成必然事件，小概率事件看成不可能事件 "的假设条件下，将风险型决策问题转化成确定型决策问题的一 种决策方法。

应用条件： 在一组自然状态中，某一自然状态出现的概率比其它 自然状态出现的概率大很多，而且各行动方案在各自然状 态下的益损值差别不是很大。
例1：用最大可能法对所描述的风险型决策问题求解。
法是必不可少的方法。
对于风险型决策问题，其常用的决策方法主要有最大可能法、 期望值法、灵敏度分析法、效用分析法等。
在对实际问题进行决策时，可以采用各种不同方法分别进行计
算、比较，然后通过综合分析，选择最佳的决策方案，这样，往往能 够减少决策的风险性。
方法一、最大可能法

最大可能法： 在解决风险型决策问题时，选择一个概率最大的自然状态，把它看 成是将要发生的唯一确定的状态，而把其它概率较小的自然状态忽略， 这样就可以通过比较各行动方案在那个最大概率的自然状态下的益损值 进行决策。这种决策方法就是最大可能。
一、决策的基本概念

一般来说，凡是根据预定的目标做出的任何行动决定，都 可以称之为决策。 几个关于决策的概念 ① 决策问题—— 在实际生产或生活问题中，对于一个需要处理的事件 ，面临几种客观条件，又有几种可供选择的方案，这就构 成了一个决策问题。

② 自然状态——在决策问题中，决策者所面临的每一种 客观条件就称之为一个自然状态，简称状态或条件，有时 也称为状态变量。 ③ 行动方案——在决策问题中，那些可供选择的方案就称 之为行动方案，简称方案或策略，有时也称为方案变量或 决策变量。
④ 状态概率——指在决策问题中，每一种自然状态出现的
概率。 ⑤ 益损值——指每一种行动方案在各种自然状态下所获得
的报酬或者需要付出的损失（成本、代价）。

贝叶斯决策模型及实例分析（doc12页）完美版贝叶斯决策模型及实例分析一、贝叶斯决策的概念贝叶斯决策，是先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法。

风险型决策是根据历史资料或主观判断所确定的各种自然状态概率（称为先验概率），然后采用期望效用最大等准则来确定最优决策方案。

这种决策方法具有较大的风险，因为根据历史资料或主观判断所确定的各种自然状态概率没有经过试验验证。

为了降低决策风险，可通过科学试验（如市场调查、统计分析等）等方法获得更多关于自然状态发生概率的信息，以进一步确定或修正自然状态发生的概率；然后在利用期望效用最大等准则来确定最优决策方案，这种先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法称为贝叶斯决策方法。

二、贝叶斯决策模型的定义贝叶斯决策应具有如下内容贝叶斯决策模型中的组成部分：。

概率分布表示决策者在观察试验结果前对自然θ发生可能的估计。

这一概率称为先验分布。

一个可能的试验集合E，，无情报试验e0通常包括在集合E之内。

一个试验结果Z取决于试验e的选择以Z0表示的结果只能是无情报试验e0的结果。

概率分布P(Z/e,θ)，表示在自然状态θ的条件下，进行e试验后发生z结果的概率。

这一概率分布称为似然分布。

一个可能的后果集合C，以及定义在后果集合C的效用函数u(e,Z,a,θ)。

每一后果c=c(e,z,a,θ)取决于e,z,a和θ。

.故用u(c)形成一个复合函数u{(e,z,a,θ)}，并可写成u(e,z,a,θ)。

三、贝叶斯决策的常用方法3.1层次分析法(AHP)在社会、经济和科学管理领域中，人们所面临的常常是由相互关联，相互制约的众多因素组成的复杂问题时，需要把所研究的问题层次化。

所谓层次化就是根据所研究问题的性质和要达到的目标，将问题分解为不同的组成因素，并按照各因素之间的相互关联影响和隶属关系将所有因素按若干层次聚集组合，形成一个多层次的分析结构模型。

§2.4假设检验一、假设检验经典统计中处理假设检验问题的基本步骤：1.提出检验假设又称无效假设，符号是H 0；备择假设的符号是H 1。

Θ∈00:θH ， Θ∈11:θH其中10ΘΘ和是参数空间中互不相交的两个非空子集。

H 0和H 1假设都是对总体特征的检验假设，相互联系且对立。

H 0总是假设样本差别来自抽样误差，零假设。

H 1是来自非抽样误差，有单双侧之分，备择假设。

预先设定的检验水准为05.0；当检验假设为真，但被错误地拒绝的概率，记作α，通常取05.0=α或1.0=α。

2、选定统计方法，由样本观察值按相应的公式计算出统计量的大小，如x 2值、t 值等。

根据资料的类型和特点，可分别选用Z 检验，T 检验，秩和检验和卡方检验等。

3、根据统计量的大小及其分布确定检验假设成立的可能性p 的大小并判断结果。

若α>p ，结论为按α所取水准不显著，不拒绝0H ，即认为差别很可能是由于抽样误差造成的，在统计上不成立；如果α≤p ，结论为按所取α水准显著，拒绝H 0，接受H 1，则认为此差别不大可能仅由抽样误差所致，很可能是实验因素不同造成的，故在统计上成立。

p 值的大小一般可通过查阅相应的界值表得到。

大家可以看到用经典统计十分繁琐，而且在抽样分布不确定时我们无法进行即可计算二个假设检验10H H 和的后验概率：0，当后验概率比进一步搜集先验信息。

从上面两种方法可以看出，贝叶斯假设检验是简单的，无需选择检验统计量，确定抽样分布，也无需事先给出显著性水平，确定其拒绝域，此外，贝叶斯假设检验也容易推广到多重假设检验场合，当有三个和是三个以上假设时，应接受具有最大后验概率的假设。

二、贝叶斯因子定义2.4 设两个假设0Θ与1Θ的先验概率分别为0π与1π，后验概率分别为0α与1α，则称：为贝叶斯因子。

从这个定义可见，贝叶斯因子既依赖于数据x 又依赖于先验分布π，对两种机会比相除，很多人认为，这会减弱先验分布的影响，突出数据的影响，从这个角度看，贝叶斯因子()x B π是数据x 支持0Θ的程度。

第一章 先验分布与后验分布§1.1三种信息统计学中有二个主要学派：频率学派和贝叶斯学派。

一、总体信息即总体分布或总体所属分不足给我们的信息，譬如，“总体是正态分布”这一句话就带给我们很多信息：它的密度函数是一条钟形曲线；它的一切距都存在；有关正态变量（服从正态分布的变量）的一些事件的概率可以计算，有正态分布可以导出2χ分布、t 分布和F 分布等重要分布；还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。

二、样本信息即从总体抽取的样本给我们提供的信息。

这是最“新鲜”的信息，并且越多越好。

我们希望通过对样本信息的加工和处理对总体的某些特征作出较为精确的统计推断。

没有样本就没有统计学而言。

基于上述信息进行的统计推断被称为经典统计学，它的基本观点是把数据（样本）看成是来自具体一定概率分布的总体，所研究的对象是这个总体而不是局限于数据本身。

三、先验信息即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。

例如，英国统计学家(1961)Savage 曾考察如下实验，一位常饮牛奶加茶的妇女称，她能辨别先倒进杯子里的是茶还是牛奶。

对此作了十次试验，她都正确地说出了。

假如被实验者是在猜测，每次成功的概率为0.5，那么十次都猜中的概率为1020.0009766-=，这是一个很小的概率，是几乎不可能发生的，所以“每次成功的概率为0.5”的假设应被拒绝。

被实验者每次成功的概率要比0.5大很多，这正是她的经验帮了她的忙活，所以先验信息在推断中不可忽视。

基于上述三种信息进行的统计推断被称为贝叶斯统计学。

它与经典统计学的最主要的差别在于是否利用先验信息。

在使用样本信息上也是有差异的。

贝叶斯学派很重视已出现的样本观察值，而对尚未发生的样本观察值不予考虑，贝叶斯学派很重视先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。

贝叶斯学派最基本的观点是：任何一个未知量θ都可看作一个随机变量，应用一个概率分布去描述对θ的未知状况。

第四章贝叶斯分析Bayesian Analysis§4.0引言一、决策问题的表格表示——损失矩阵对无观察(No-data)问题a=δ可用表格(损失矩阵)替代决策树来描述决策问题的后果(损失):a1…aj…a mπ(θ1)l11l j1l m1…π(θi)l i1l ij…π(θn)l m1l nm 或π(θ1)…π(θi)…π(θn)a 1l11li1ln1…aj l ij…a m lm1lmn损失矩阵直观、运算方便二、决策准则通常，要根据某种原则来选择决策规则δ，使结果最优(或满意)，这种原则就叫决策原则，贝叶斯分析的决策原则是使期望效用极大。

本章在介绍贝叶斯分析以前，先介绍其他决策原则。

三、决策问题的分类：1.不确定型(非确定型)自然状态不确定,且各种状态的概率无法估计.2.风险型自然状态不确定,但各种状态的概率可以估计.四、按状态优于：l ij ≤lik∀I, 且至少对某个i严格不等式成立, 则称行动aj按状态优于aka 1 a 2 a 3θ1 4 7 2 θ2 6 6 8 θ33 4 7§4.1 严格不确定型决策问题的决策准则一、悲观准则(极小化极大(Wald)准则) min jmax il (θi ,a j )或 max j min iu ij例:a 1 a 2 a 3 a 4θ1 10 8 7 9 θ2 4 1 9 2 θ3 13 16 12 14 θ46 9 8 10各行动最大损失: 13 16 12 14 其中损失最小的损失对应于行动a 3.采用该原则者极端保守, 是悲观主义者, 认为老天总跟自己作对.二、乐观系数法极小化极小：min jmin il (θi ,a j )或max j max iu ij例:a 1 a 2 a 3 a 4θ1 10 8 7 9 θ2 4 1 9 2 θ3 13 16 12 14 θ46 9 8 10各行动最小损失: 4 1 7 2 其中损失最小的是行动a 2.采用该原则者极端冒险，是乐观主义者，认为总能撞大运。

p(H1 /n )
p(
H
2
/
n
)
p(Hm /n )
5.1.2 贝叶斯决策的基本方法
利去用修市正场状调态查 变获 量取θ的的先补验充分信布息，值即H依i 或据τ似 然分布矩阵所提供的充分信息，用贝叶 斯公式求出在信息值H或τ发生的条件下， 状态变量θ的条件分布 p(θ/H)。 先验概率—p(θ) ：由以往的数据分析得 到的概率； 后验概率—p(θ/H)：在得到信息之后， 重新加以修正的概率。
品。
即：
aopt＝ a1
E 为不作市场调查的期望收益。
例5.1
2、预验分析：由全概率公式
n
pHi p(Hi / j ) p( j ) j1
得：
p( p(
H H
1 2
) )
0.95 0.05
00..91 00..28 00..2728
例5.1
再由贝叶斯公式：
p j / Hi
例5.2
2、预验分析：由全概率公式
n
pHi p(Hi / j ) p( j )
得：
j1
p( H 1
)
0.6
0.2
0.2 0.3
0.32
p(H2 ) 0.3 0.5 0.2 0.4 0.35
p(H3 ) 0.1 0.3 0.6 0.3 0.33
例5.2
2、预验分析：
2
2
p( H 2 )
0.35
p(3 / H 2 )
p( H 2 / 3 ) p(3 )
p( H 2 )
0.2 0.3 0.1715 0.35
p(1 / H 3 )
p( H 3 /1 ) p(1 )

第一章先验分布与后验分布§1.1三种信息统计学中有二个主要学派：频率学派和贝叶斯学派。

一、总体信息即总体分布或总体所属分不足给我们的信息，譬如，“总体是正态分布”这一句话就带给我们很多信息：它的密度函数是一条钟形曲线；它的一切距都存在；有关正态变量（服从正态分布的变量）的一些事件的概率可以计算，有正态分布可以导出2χ分布、t分布和F分布等重要分布；还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。

二、样本信息即从总体抽取的样本给我们提供的信息。

这是最“新鲜”的信息，并且越多越好。

我们希望通过对样本信息的加工和处理对总体的某些特征作出较为精确的统计推断。

没有样本就没有统计学而言。

基于上述信息进行的统计推断被称为经典统计学，它的基本观点是把数据（样本）看成是来自具体一定概率分布的总体，所研究的对象是这个总体而不是局限于数据本身。

三、先验信息即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。

例如，英国统计学家(1961)Savage曾考察如下实验，一位常饮牛奶加茶的妇女称，她能辨别先倒进杯子里的是茶还是牛奶。

对此作了十次试验，她都正确地说出了。

假如被实验者是在猜测，每次成功的概率为0.5，那么十次-=，这是一个很小的概率，是几乎不可能发生的，都猜中的概率为1020.0009766所以“每次成功的概率为0.5”的假设应被拒绝。

被实验者每次成功的概率要比0.5大很多，这正是她的经验帮了她的忙活，所以先验信息在推断中不可忽视。

基于上述三种信息进行的统计推断被称为贝叶斯统计学。

它与经典统计学的最主要的差别在于是否利用先验信息。

在使用样本信息上也是有差异的。

贝叶斯学派很重视已出现的样本观察值，而对尚未发生的样本观察值不予考虑，贝叶斯学派很重视先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。

贝叶斯学派最基本的观点是：任何一个未知量θ都可看作一个随机变量，应用一个概率分布去描述对θ的未知状况。

根据预后验分析，如果认为采集信息和 进行调查研究是值得的，那么就应该决 定去做这项工作。
验后分析就是根据实际发生的调查结果 的信息修正验前概率的方法。
4.序贯分析
含有多阶段的信息搜集和数值计算的决 策情况，属于序贯分析的范围。
序贯分析包括一系列的先验分析和预后 验分析，采集新的信息和作出后验分析 和决策。
二、全概率公式
设B1、B2、……Bn是基本空间Ω中的一个 互不相容的完备事件集，则对Ω中任一事 件A，有：
n
P( A) P( ABi ) i 1
n
P( A | Bi )P(Bi ) i 1
三、贝叶斯定理
贝叶斯定理主要用来研究事物发生的原 因，即要知道在A发生的条件下，某个 “原因”Bi发生的概率。这个概率又称验 后概率。
来自乙厂”，B3=“产品来自丙厂”。则据已知条件可知：
P(A|B1)=0.95 P(A|B2)=0.80
P(A|B3)=0.65
P(B1)=0.60
P(B2)=0.30
P(B3)=0.10
则由全概率公式可知：
P( A) P(B1)P( A | B1) P(B2 )P( A | B2 ) P(B3)P( A | B3) 0.95 0.60 0.80 0.30 0.65 0.10
1.根据决策问题过去有关的资料或某些途径得到的类 似资料拟定搜集新息的新决策方案，通常在验前分析 结论的基础上画出新支路。
2.根据全概率公式求有关的边际概率，并根据贝叶斯 定理修正先验概率，由此得出的后验概率就是新决策 支路的概率分布。
3.计算新决策支路的期望值。 4.权衡新方案最终的期望值、先验分析的结论和搜集
新信息所必须支出的费用，再进行选择得出结论。
例：接前例（见P330）。