当前位置：文档之家 › PAC-Bayes理论及应用研究综述

PAC-Bayes理论及应用研究综述

  • 格式：pdf
  • 大小：770.46 KB
  • 文档页数：13

汤莉，宫秀军，何丽.PAC-Bayes理论及应用研究综述[J].计算机科学与探索，2015，9（1）：1-13.ISSN1673-9418CODENJKYTA8JournalofFrontiersofComputerScienceandTechnology1673-9418/2015/09(01)-0001-13doi:10.3778/j.issn.1673-9418.1410046

E-mail:fcst@vip.163.comhttp://www.ceaj.orgTel:+86-10-89056056

PAC-Bayes理论及应用研究综述*

汤莉1,2，宫秀军2,3+，何丽11.天津财经大学理工学院信息科学与技术系，天津3002222.天津大学计算机科学与技术学院，天津3000723.天津市认知计算与应用重点实验室，天津300072

SurveyonPAC-BayesTheoryandApplicationResearch􀆽

TANGLi1,2,GONGXiujun2,3+,HELi1

1.DepartmentofInformationScienceandTechnology,SchoolofScienceandTechnology,TianjinUniversityofFinanceandEconomics,Tianjin300222,China2.SchoolofComputerScienceandTechnology,TianjinUniversity,Tianjin300072,China3.TianjinKeyLaboratoryofCognitiveComputingandApplication,Tianjin300072,China+Correspondingauthor:E-mail:gongxj@tju.edu.cn

TANGLi,GONGXiujun,HELi.SurveyonPAC-Bayestheoryandapplicationresearch.JournalofFrontiersofComputerScienceandTechnology,2015,9(1)：1-13.

Abstract:PAC-BayestheoryintegratingtheoriesofBayesianparadigmandstructureriskminimizationforstochasticclassifiershasbeenconsideredasaframeworkforderivingsomeofthetightestgeneralizationbounds.ThispaperanalyzestheresearchbackgroundandprofoundsignificanceofPAC-Bayestheory,andintroducestheframeworkofPAC-Bayestheoryanditsapplicationtosupportvectormachine(SVM).Then,thispaperdiscussesPAC-Bayesboundofmanymachinelearningalgorithms,andspeciallyanalyzestheboundwiththenon-IIDdata.Furthermore,thispaperelaboratesresearchstatusanddevelopmentofthePAC-Bayesboundapplicationfromfourdirections,andcomparesdifferentresearchmethodsandfeatures.Finally,thispaperdrawstheresearchprospectofthePAC-Bayesbound.Keywords:PAC-Bayesbound;supportvectormachine(SVM);generalizationcapability;classifier

摘要：PAC-Bayes理论融合了贝叶斯定理和随机分类器的结构风险最小化原理，它作为一个理论框架，可得到最紧的泛化风险边界。分析了PAC-Bayes理论的研究背景和重要意义，介绍了PAC-Bayes理论框架及其在

*TheNationalNaturalScienceFoundationofChinaunderGrantNo.61170177(国家自然科学基金);theNationalBasicResearchProgramofChinaunderGrantNo.2013CB32930X(国家重点基础研究发展计划(973计划)).Received2014-10,Accepted2014-12.CNKI网络优先出版：2014-12-24,http://www.cnki.net/kcms/detail/11.5602.TP.20141224.1013.001.htmlJournalofFrontiersofComputerScienceandTechnology计算机科学与探索2015,9(1)1引言机器学习中的两个核心问题是算法的可学习性和模型性能的评价，计算学习理论主要研究的就是这两个问题。随着20世纪80年代人工智能的复兴，计算学习理论和统计学习理论得到了迅猛发展。1984年，Valiant首次提出了“概率近似正确性学习”（probablyapproximatelycorrectlearning，PAClearning）架构[1]，将机器学习算法的可学习性与计算复杂性联系起来，并由此派生出“计算学习理论”。PAC学习理论为研究学习问题和评价学习算法的泛化性能提供了形式化的理论框架。在PAC框架下，假设样本符合独立同分布（independentidenticallydistributed，IID），学习器接受样本，并从一类函数中选择泛化函数（即假设）。学习的目标是高概率地选择具有低泛化误差的泛化函数，即具有较少损失函数的学习算法为更优算法。PAC理论为学习算法和训练集合的性能评价提供了理论基础和框架，但是它并未涉及学习的边界问题，即对于给定的可能类别空间，无法估计其误差界限的范围。“统计学习理论”中的VC（Vapnik-Chervonenkis）维理论，能够定量地衡量样本空间的复杂度，却不能有效利用先验信息。基于这样的背景，同时考虑到贝叶斯正确性定理能够充分利用先验信息，从而产生了PAC-Bayes理论。该理论由McAllester[2]于1999年首次提出。此后对PAC-Bayes边界（PAC-Bayesbound）进行了一系列的改进[3-5]，并将其成功应

用于高斯过程分类器[4]和支持向量机（supportvectormachine，SVM）分类器[5]，该边界是“Occam’srazor”

边界的推广[3]。PAC-Bayes理论结合了PAC的性能度量，能够充分利用先验信息，为各种学习算法提供了最紧的泛化误差边界，并能够评价学习算法的泛化性能，成为

机器学习研究的热点问题之一。截止到2014年7月，该理论的相关文献达到381篇，近两年更是备受关注，仅2013年以来的文献达71篇。该理论受到研究人员的关注，主要有三方面原因：（1）对于连续分类器空间，PAC-Bayes边界在实践中比大部分VC维相关的边界更紧，如在随机神经网络等分类器的应用中，它能够产生更紧的边界。同时，对于离散假设空间来说，其样本复杂性损失仅为O(lnm)。（2）通过更紧的PAC-Bayes边界来指导学习算法的改进，能设计出更好的分类算法，并有效避免数据的过拟合问题。（3）PAC-Bayes边界实质上实现了对类别假设空间的“平均”，因而基于该边界推导的学习算法，能够获得更好的分类性能。本文首先给出了PAC-Bayes的理论框架及其在支持向量机上的应用，并对其理论意义给予具体的阐释。其次，详细介绍了各类机器学习算法的PAC-Bayes边界，并特别对非独立同分布数据的PAC-Bayes边界进行分析。再次，从4个研究方向综述了PAC-Bayes边界理论应用的研究现状和进展。最后给出了PAC-Bayes理论进一步的研究展望。

2PAC-Bayes理论框架2.1PAC-Bayes理论概述这里对PAC-Bayes理论进行回顾。假设样本空间为D，样本集为S={x

1x2xn|xiÎSi}，相应的类

别标签用y

iÎ{-11}表示，分类器c用来预测未知样

本的类别标签，Q是分类器c的分布。下面给出相关定义。定义1（真实误差）[5]

一个分类器c的真实误差

定义为误分一个随机抽样的样本对(xy)的概率。

支持向量机上的应用，分别探讨了多种机器学习算法的PAC-Bayes边界，并特别对非独立同分布数据的PAC-Bayes边界进行了分析。从4个方面深入阐述了PAC-Bayes边界应用的研究现状及进展，并对不同的研究方法和特点进行了比较。最后展望了PAC-Bayes边界未来的研究发展方向。关键词：PAC-Bayes边界；支持向量机；泛化能力；分类器文献标志码：A中图分类号：TP181

2汤莉等：PAC-Bayes理论及应用研究综述CDºPr(xy)ÎD(c(x)¹y)（1）定义2（经验误差）[5]

对于m个样本集S，分类

器c的经验误差定义为c误分样本集S的概率。

CSºPr(xy)ÎS(c(x)¹y)=1måi=1mI(c(xi)¹yi)（2）其中，I(×)为布尔特征函数，当参数为真时，值为1，否则为0。下面定义分类器的两种误差度量。定义3[5]

分类器分布真实误差定义为分类器cÎQ

误分样本xÎD的概率。QDºEc~QCD（3）

定义4[5]

分类器分布经验误差定义为分类器cÎQ

误分样本xÎS的概率。QSºEc~QCS（4）

根据这两种误差量，给出PAC-Bayes边界。定理1（PAC-Bayes边界）[5]

对于所有的样本空间

D，分类器c的所有先验分布P(c)和任意的δÎ(01]：PrS~Dm("Q(c):KL(QS||QD)

KL(Q(c)||P(c))+ln(m+1δ)m)1-δ（5）

其中，KL(p||q)=qlnqp+(1-q)ln1-q1-p（6）

KL(Q(c)||P(c))=Ec~QlnQ(c)P(c)（7）

定理1表明，对于分布Q中的任意分类器c，它的经验误差与真实误差可以由它的先验分布与真实分布来界定。如果已知分类器的先验分布，并假设其真实分布和先验分布为同一类型，不等式（5）可以进一步简化，使得分类边界更紧，即分类误差损失更小。PAC-Bayes理论模型如图1。相关研究表明[3-8]，PAC-Bayes边界是分类器上最紧的泛化边界，也可作为一种较好的途径来评价学习算法的泛化能力。这里仅研究PAC-Bayes边界应用于支持向量机的情况。假设先验分布与后验分布均为独立同分布，且符合正态分布。这里设正态分布X=N(xμ

合集下载

贝叶斯决策分析文献综述

贝叶斯决策分析文献综述

管理决策分析贝叶斯决策分析文献综述单位：数信学院管理07小组成员：0711200209 王双0711200215 韦海霞0711200217 覃慧完成日期：2010年5月31日有关贝叶斯决策方法文献综述0． 引言决策分析就是应用管理决策理论，对管理决策问题，抽象出系统模型，提出一套解决方法，指导决策主体作出理想的决策。

由于市场环境中存在着许多不确定因素 ,使决策者的决策带有某种程度的风险。

而要做出理想的抉择，在决策的过程中不仅要意识到风险的存在，还必须增加决策的可靠性。

在风险决策中，给出了很多如何确定信息的价值以及如何提高风险决策可靠性的方法。

根据不同的风险情况，要采取不同的风险决策分析的方法。

贝叶斯决策分析就是其中的一种。

1．贝叶斯决策分析的思想及步骤从信息价值的经济效用的角度，讨论贝叶斯公式在风险决策中的应用。

首先根据期望值原则，以先验概率为基础，找到最优方案及其期望损益值和风险系数，然后用决策信息修正先验分布，得到状态变量的后验分布，并用后验分布概率计算各方案的期望损益值,找出最满意方案,并计算其风险系数（这里计算的风险系数应比仅有先验条件下计算的风险系数要小)，最后求出掌握了全部决策信息值的期望损益值。

用全部决策信息值的期望损益值减去没有考虑决策信息时的期望收益，就得到了决策信息的价值。

步骤如下：（1）已知可供选择的方案，方案的各状态概率，及各方案在各状态下的收益值。

（2）计算方案的期望收益值，按照期望收益值选择方案。

（3）计算方案的期望损益标准差和风险系数。

运用方案的风险系数来测度其风险度，即得到每个方案每一单位期望收益的离散程度指标。

该指标越大，决策风险就越大。

期望损益标准差公式：∑=-=n 12A )()(i i Ai x P EMA CP δ风险系数： )()(1i i u E u D V =δ（4）利用贝叶斯公式对各种状态的概率进行修正。

先算出各个状态下的后验概率，计算掌握了决策信息后的最满意方案的期望收益值和风险系数，最后算出信息的价值。

关于贝叶斯方法的若干研究论文

关于贝叶斯方法的若干研究论文

摘要贝叶斯方法近年来得到广泛应用，尤其在风险分析中发挥了巨大作用，与用传统方法估计风险相比，贝叶斯估计方法较大的提高了估计精度。

本文首先综合了参考的文献资料，了解了关于贝叶斯方法的基本发展过程和各个学派的不同观点，比789地学习，基较了他们的不同，对贝叶斯方法有了了解。

通过对《贝叶斯统计》[][][]本掌握了贝叶斯方法。

在文中详细的介绍了贝叶斯方法的基础理论和企业风险的有关理论，给出了贝叶斯估计方法的基本解题思路和步骤，再结合具体实例，对某纺织厂公司生产两种产品，花呢（A）和华达呢（B）具体生产的决策问题采用贝叶斯期望损益分析法，计算出两种方案的期望值，选取收益最大或损失最小的决策方案为最优决策方案，在不同的自然状态下，再计算其他的指标，例如敏感度分析，风险度。

通过比较，得出方案A 为最优方案，它的收益期望值最大，而风险度相对较小，是决策者的最优选择。

关键字：贝叶斯决策；企业风险；损益分析法；最优决策ABSTRACTBayes’method had been widely applied recent years, especially made great effect in risk analysis. Compared with the traditional method of estimate, Bayes’method had been much exactitude. In this paper, I first synthesis reference literature datum, and comprehend fundamental development process and distinct concepts of every school on Beyes’method. I have get their differences. By studying Bayesian statistics, I mastered Beyes’ method essentially .In this paper I introduce basic theory of Bayes’method and business risk. I give out the thought of essential solving steps, then combine with an instance, as a spinning mill which would produce two different manufactures, flower woolen cloth (A) and gabardine (B). I adopt Bayes’ expectation of loss method to analysis the two manufactures producing, then made a decision, figure out expectation value of the two schemes. Then select a plan which get best profit or least loss. I compute other indexes, for example, probabilities under different stations, tenderness analysis, risk degree of different plans, then compare those indexes, we make a decision. Plan A is the best one. The profit of plan A is the highest and the risk is the lowest. So plan A is the best choice t.Key Words: Bayes’ decision-making; business risk; loss analysis method; best decision目录1 绪论 (1)2 贝叶斯基本理论 (3)2.1贝叶斯公式 (3)2.2贝叶斯推断 (5)2.2.1 条件方法 (5)2.2.2 估计与区间估计 (6)2.2.3 假设检验与似然原理 (8)2.3先验分布的确定 (9)2.3.1 主观概率 (9)2.3.2 利用先验信息确定先验分布 (10)2.3.3 利用边缘分布确定先验密度 (11)2.3.4 无信息先验分布 (13)2.4 贝叶斯决策 (16)2.4.1 决策问题的三要素 (16)2.4.2 决策准则 (18)2.5本章小结 (20)3 贝叶斯在经营决策中的运用并举例论证 (21)3.1企业决策的几种方法 (21)3.2贝叶斯在企业决策的运用 (22)3.3本章小结 (24)4结论 (28)致谢 (29)参考文献 (30)附录1 外文原文 (31)附录2 中文翻译 (37)1 绪论贝叶斯统计起源于英国学者贝叶斯死后发表的一篇论文“论有关给予问题的求解”。

贝叶斯方法在聚类中的应用

贝叶斯方法在聚类中的应用

1 算法介绍1.1 贝叶斯方法的基本观点托马斯·贝叶斯(ThomasBayes)是英国数学家，他对贝叶斯方法奠基性的工作是他的论文“关于几率性问题求解的评论”。

由于当时贝叶斯方法在理论和应用中还存在很多不完善的地方，因此在很长一段时间并未被普遍接受。

后来随着统计决策理论、信息论和经验贝叶斯方法等理论和方法的创立和应用，贝叶斯方法很快显示出它的优点，成为十分活跃的一个方向。

随着人工智能的发展尤其是机器学习、数据挖掘的兴起，贝叶斯理论的发展和应用也获得了更为广阔的空间。

近年来，贝叶斯学习理论方面的文章更是层出不穷，内容涉及到人工智能的大部分领域，如因果推理、不确定性知识表达、模式识别和聚类分析等，同时出现了专门研究贝叶斯理论的组织ISBA(IntemationalSoeietyofBayesianAnalysis)。

贝叶斯方法的特点是使用概率去表示所有形式的不确定性，学习或其他形式的推理都用概率规则来实现。

贝叶斯理论在数据挖掘中的应用主要包括贝叶斯方法用于分类及回归分析、因果推理和不确定知识表达以及聚类模式发现等。

贝叶斯方法正在以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习特性等成为当前数据挖掘众多方法中最为引人注目的焦点之一。

贝叶斯统计是贝叶斯理论和方法的应用之一，其基本思想是：假定对所研究的对象在抽样前已有一定的认识，常用先验分布来描述这种认识，然后基于抽取的样本再对先验认识作修正，得到后验分布，而各种统计推断都基于后验分布进行。

经典统计学的出发点是根据样本，在一定的统计模型下做出统计推断。

在取得样本观测值X 之前，往往对参数统计模型中的参数θ有某些先验知识，关于θ的先验知识的数学描述就是先验分布。

贝叶斯统计的主要特点是使用先验分布，而在得到样本观测值T n x x x X ),...,,(21 后，由X 与先验分布提供的信息，经过计算和处理，组成较完整的后验信息。

贝叶斯模型平均方法研究综述与展望

贝叶斯模型平均方法研究综述与展望

贝叶斯模型平均方法研究综述与展望王亮【摘要】贝叶斯模型平均方法是通过后验概率为权重对可能的单项模型进行加权平均,以后验概率大小为标准客观选择解释变量,并通过设置不同的先验概率分布将主观信息与模型和数据信息相融合,进而反映信息更新的动态过程,是处理经济计量建模过程中模型不确定问题的有效方法.文章首先从数理统计视角探讨了贝叶斯模型平均方法的基本原理,其次从模型空间抽样技术、先验概率分布设置等方面评述了贝叶斯模型平均方法的理论研究动态,并重点综述了贝叶斯模型平均方法在解释变量选择和被解释变量预测领域的应用现状,以及贝叶斯模型平均方法的最新发展动向和我国学术界应用贝叶斯模型平均方法的最新进展.最后对贝叶斯模型平均方法在非线性和多方程计量建模领域中的发展进行了展望.文章对国内学者研究贝叶斯模型平均方法具有一定的参考价值.【期刊名称】《技术经济与管理研究》【年(卷),期】2016(000)003【总页数】5页(P19-23)【关键词】贝叶斯模型;计量建模;宏观经济;计量经济【作者】王亮【作者单位】大连民族大学经济管理学院, 辽宁大连 116600【正文语种】中文【中图分类】经济财政一、引言运用计量方法刻画、描述和模拟经济事实是目前实证宏观经济研究领域的主流分析范式。

然而由于经济系统的复杂性和经济理论的开放性等原因，建模者在实际计量建模过程中，往往会面临模型不确定(Model Uncertainty)问题。

以最简单的多元回归模型为例：y=α+β1x1+β2x2+…+βkxk+ε( 1) 其中，y 是被解释变量，xi 是解释变量。

建模者经常遇到的情况是，在回归模型中引入变量 x2 和x3 后，变量 x1 显著；而当再引入变量 x4 后，却发现变量 x1 不显著。

因此，在这种情况下，建模者无法判定变量 x1 和 x4 哪一个应该被引入到回归模型中来，此即典型的模型不确定问题。

贝叶斯模型平均方法研究综述与展望王亮（大连民族大学经济管理学院，辽宁大连 116600 ）摘要：贝叶斯模型平均方法是通过后验概率为权重对可能的单项模型进行加权平均，以后验概率大小为标准客观选择解释变量，并通过设置不同的先验概率分布将主观信息与模型和数据信息相融合，进而反映信息更新的动态过程，是处理经济计量建模过程中模型不确定问题的有效方法。