《贝叶斯统计》课程教学大纲

1 《贝叶斯统计》课程教学大纲 （2004年制定，2006年修订） 课程编号：060046 英 文 名：Bayesian Statistics 课程类别：统计学专业选修课 前 置 课：微积分、概率论与数理统计 后 置 课： 学 分：3学分 课 时：54课时 主讲教师：陈耀辉等 选定教材：茆诗松，贝叶斯统计，北京：中国统计出版社，1999 课程概述： 贝叶斯学派是数理统计中一个重要的学派，它有鲜明的特点和独到的处理方法，在国际上贝叶斯学派与非贝叶斯学派的争论是很多的。本课程重点介绍贝叶斯统计推断的理论、方法及其基本观点，同时对贝叶斯方法和经典方法在历史上的重大分歧也适当地予以介绍。通过本课程的学习能系统地掌握贝叶斯统计的基本理论、方法和应用，特别是贝叶斯统计中所具特色的一些处理方法及相应的理论。主要内容有：先验分布与后验分布的基本概念、后验分布的计算方法、估计及假设检验、贝叶斯统计决策方法等。 教学目的： 通过该门课程的学习，使学生能了解贝叶斯学派的基本观点和基本思想，了解贝叶斯学派和频率学派联系和区别，了解贝叶斯统计的最新研究进展，能够系统地掌握贝叶斯统计的基本理论、基本方法，更重要的是掌握贝叶斯统计具有特色的一些处理方法以及相应的理论，用以分析问题、解决问题。 教学方法： 根据该门课程的特点，在利用传统的教学方法讲授理论的同时，注重案例教学，特别是要适当地运用研讨性教学方法，而且要适时运用创新教学方法，即教师应依据教材对教学内容作合理的安排，讲透重点难点，注意本学科研究的最新成果和前沿知识，既要教学生学习知识，又要培养学生的能力，特别是要培养学生的创新意识和创新能力，争取开展一些第二课堂活动。 2

各章教学要求及教学要点 第一章 引论 课时分配：2课时 教学要求： 通过本章的学习，要求学生掌握贝叶斯统计理论的基本观点，了解贝叶斯统计学派和经典统计学派之间的重大分歧，了解现代贝叶斯统计理论的研究现状及贝叶斯统计理论的应用，重点掌握贝叶斯统计的基本思想，深刻理解“概率”、“统计”的不同的哲学解释，学习他们各自的优点来分析问题、解决问题。难点是贝叶斯统计的基本思想和两大学派的分歧。 教学内容： 一、贝叶斯统计理论的基本观点 介绍在统计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在的重大差异。 二、贝叶斯统计学派与频率统计学派之间的批评 1.对贝叶斯统计学派的批评 （1）参数θ看成是随机变量是否妥当？ （2）先验分布是否存在？如何选取？ 2.对频率统计学派的批评 （1）问题的提法不妥 （2）判断统计方法好坏的标准不妥 三、现代贝叶斯统计理论的研究现状 1.先验分布理论的研究 2.后验分布的统计推断 四、贝叶斯统计理论的应用 思 考 题： 1.贝叶斯学派与频率学派之间存在的重大差异有哪些？ 2.贝叶斯学派的基本观点是什么？ 3.怎样理解贝叶斯学派和频率学派之间的批评？ 4.贝叶斯统计理论有哪些应用？ 第二章 先验分布与后验分布 课时分配：8课时 教学要求： 通过本章的学习，要求学生熟练掌握先验分布与后验分布的概念。深刻理解贝叶斯公式的三种基本形式、分布密度的核、充分统计量、共轭分布等基本概念，理解贝叶斯假设的基本内容，熟练掌握计算后验分布的技巧，掌握确定超参数的基本方法，了解多参数模型，能用这些基本的方法解决一些简单的实际问题。 3

教学内容： 第一节 三种信息 一、总体信息 总体信息（或模型信息）：即总体分布或所属分布族给我们的信息。 二、样本信息 样本信息（数据信息）：即从总体抽取的样本提供给我们的信息，这是最“新鲜”的信息，且越多越好，这是任一种统计推断中都必不可少的。 三、先验信息 先验信息：即在抽样之前有关统计推断的一些信息。一般来说，先验信息主要来源于经验和历史资料。 第二节 贝叶斯公式 一、贝叶斯公式的密度函数形式 介绍贝叶斯公式的三种基本形式：事件形式、连续随机变量形式和离散随机变量形式，重点是连续随机变量形式。 二、后验分布是三种信息的综合 后验分布可以看作是人们用总体信息和样本信息对先验分布作调整的结果。 第三节 共轭先验分布 一、共轭先验分布 核心定义：如果由抽样信息算得的后验密度函数与先验密度函数有相同的函数形式，则称该后验密度函数是参数的（自然）共轭先验分布。 二、后验分布的计算 给定样本分布和先验分布后可利用贝叶斯公式计算参数的后验分布。 三、共轭先验分布的优缺点 1.计算方便； 2.后验分布的一些参数可得到很好的解释。 四、常用的共轭先验分布 第四节 超参数的确定 本节利用一个例子介绍怎样用以下几种方法确定共轭先验分布的超参数。 一、利用先验矩 二、利用先验分位数 三、利用先验矩和利用先验分位数 四、其它方法 4

第五节 多参数模型 本节在前面几节的基础上，将单参数模型推广到多参数模型的情形。为了更清楚地讲解这部分内容，首先要补充指数分布族的相关理论，然后再对多参数模型进行讲解。 第六节 充分统计量 在回顾经典统计中充分统计量的基本概念和因子分解定理得基础上，再讲解贝叶斯统计中的充分统计量的基本概念和相应的因子分解定理以及和经典统计中相关内容的比较。 思 考 题： 1.什么是贝叶斯公式?写出贝叶斯公式的三种形式：事件形式；离散随机变量形式；连续随机变量形式． 2.设θ是一批产品的不合格率，已知它不是0.1就是0.2，且其先验分布为： π(0.1)=0.7， π(0.2)=0.3 假如从这批产品中随机取出8个进行检查，发现有2个不合格品，求θ的后验分布。 3.设θ是一批产品的不合格率，从中抽取8个产品进行检验，发现3个不合格品，假如先验分布： （1）)1,0(~U

（2）其它场合,010),1(2)(~ 分别求θ的后验分布。 4.验证：泊松分布的均值λ的共轭先验分布是伽玛分布。 5.从一批产品中抽检100个，发现有3个不合格品，假如该产品不合格率θ的先验分布为贝塔分布Be(2,200)，求θ的后验分布。 6.设nxx,,1

是来自指数分布Exp(λ)的一个样本，指数分布的密度函数为：

0,)/(xexpx （1）验证：伽玛分布Ga(α,β)是参数λ的共轭先验分布。 （2）若从先验信息得知，先验均值为0.0002，先验标准差为0.0001，请确定其超参数。

7.设nxx,,1是来自正态分布),(21N的一个样本，令2221，又设),(21的联合先验分布如下给定： （1）在固定2时，1的条件分布为)2/1,0(2N。 （2）),(~2Ga，其中,已知。 求),(21得后验分布)/,(21x。 5

8.设nxx,,1是来自泊松分布)(p的一个样本，用贝叶斯公式证明：niix1是λ的充分统计量。 第三章 贝叶斯推断 课时分配：8课时 教学要求： 估计和假设检验问题是统计中的两大基本问题，两者的处理方法在经典学派中是很不相同的，但在贝叶斯学派中却是统一的。通过本章的学习，要求学生深刻理解条件方法的基本思想，熟练掌握怎样用贝叶斯方法（特别是最大后险估计法和条件期望估计法）求解点估计和区间估计，熟练掌握假设检验的基本方法，掌握预测的基本方法，深刻理解似然原理。能用这些基本方法较好地解决一些简单的实际问题。 教学内容： 第一节 条件方法 后验分布)/(x是在样本x给定下θ的条件分布，基于后验分布的统计推断就意味着只考虑已出现的数据（样本观察值）而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计方法被称为条件方法。 第二节 估计 一、贝叶斯估计 使后验密度)/(x达到最大的值MDˆ称为最大后验估计；后验分布的中位数MEˆ称为θ后验中位数估计；后验分布的期望值Eˆ称为θ的后验期望值估计，这三个估计都称为θ贝叶斯估计，记为Bˆ。 二、贝叶斯估计的误差 设参数θ的后验分布为π(θ/x)，贝叶斯估计为ˆ，则2)ˆ(的后验期望：

2/)ˆ()/ˆ(xExMSE 称为ˆ的后验均方差，而其平方根21)]/ˆ([xMSE称为ˆ后验标准误。 第三节 区间估计 一、可信区间 参数θ的后验分布为π(θ/x),对给定的样本x和概率1-α(0量)(ˆˆxLL与)(ˆˆxUU，使得：

则称区间 为参数θ的可信水平为1-α贝叶斯可信区间，或简称为θ的1-α可信区间。 而满足 的 称为θ的1-α（单侧）可信下限；

1)ˆˆ(xP

UL

]ˆ,ˆ[UL

1)ˆ(xP

LL

ˆ 6

满足 的 称为θ的1-α（单侧）可信上限。 二、最大后验密度（HPD）可信区间 设参数θ的后验密度为π(θ|x)，对给定的概率1-α(0集C，满足下列二个条件： ①P(C|x)=1-α ②对任给θ1∈C和C2，总有π(θ1|x)≥π(θ2|x),则称C为的可信水平为(1-α)的最大后验密度可信集，简称(1-α)HPD可信集，如果C是一个区间，则C又称为(1-α)HPD可信区间。 第四节 假设检验 一、假设检验 介绍贝叶斯统计假设检验的基本思想以及和经典统计中假设检验的根本区别。 二、贝叶斯因子 介绍贝叶斯因子的基本概念、作用和基本的计算方法。 三、简单假设对简单假设 在简单假设对简单假设情形下，贝叶斯因子的基本计算公式和应用。 四、复杂假设对复杂假设 在复杂假设对复杂假设，贝叶斯因子的基本计算公式和应用。 五、简单原假设对复杂备择假设 在简单原假设对复杂备择假设，贝叶斯因子的基本计算公式和应用。 第五节 预测 一、预测的基本概念与基本问题 预测：对随即变量未来观察值作出统计推断称为预测 统计预测大致有以下几种形式： （1）设随机变量X~p(x|θ)，在参数θ未知情况下如何对X的未来的观察值作出推断？ （2）设x1，…，xn是来自p(x|θ)的过去观察值，在参数θ未知情况下，如何对X的未来的观察值作出推断？ （3）按密度函数p(x|θ)得到一些数据x1，…，xn后，如何对具有密度函数g(z|θ)的随机变量Z的未来的观察值作出推断，这里两个密度函数p和g都含有相同的未知参数θ。 二、预测的贝叶斯方法 方案一：在无观测数据情形下的预测。 方案二：有X的观测数据时的预测方法。 第六节 似然原理 一、对似然函数的理解

1)ˆ(xP

UU

ˆ