龙源期刊网 https://www.doczj.com/doc/a514634043.html,
Ｂｏｏｓｔｉｎｇ算法研究
作者：路刚陈永范永欣胡成
来源：《电脑知识与技术》2008年第36期
摘要：Boosting 算法是近年来在机器学习领域中一种流行的用来提高学习精度的算法。文中以AdaBoost算法为例来介绍Boosting的基本原理。
关键词：机器学习；Boosting；泛化误差；分类
中图分类号：TP181文献标识码：A文章编号：1009-3044(2008)36-2698-02
A Study of Boosting Algorithm
LU Gang1, CHEN Yong1, FAN Yong-xin2, HU Cheng1
(1.The Artillery Academy of PLA, Hefei 230031, China;2.China Construction Bank Yunnan Branch, Kunming 650021, China)
Abstract: Boosting is a general method for improving the accuracy of any given learning algorithm.This short overview paper introduces the boosting algorithm AdaBoost, and explains the underlying theory of boosting.
Key words: machine learning; boosting; generalization error; classification
1 引言
Freund 和 Schapire的AdaBoost算法问世便引起了机器学习和数理统计两大领域的广泛关注。它的思想起源于Valiant提出的PAC ( Probably Approximately Correct)学习模型。Kearns 和Valiant首次提出PAC学习模型中任意给定仅比随机猜测略好的弱学习算法是否可“boosted”为强学习算法。1990年，Schapire构造出一种多项式级的算法，对该问题做了肯定的证明，这是最初的Boosting算法。一年后，Freund提出了一种效率更高的Boosting算法。但是，这两种
算法存在共同的实践上的缺陷，那就是都要求事先知道弱学习算法学习正确率的下限。这些早期的Boosting 算法首先被Drucker、Schapire和Simard应用于一次OCR工作中。1995年，Freund和schapire改进了Boosting算法，提出了AdaBoost (Adaptive Boosting)算法，此算法不需要任何关于弱分类器的先验知识，可以非常容易地应用到实际问题中。
2 AdaBoost算法
在机器学习领域中，AdaBoost算法得到极大的重视。实验结果显示，AdaBoost能显著提高学习精度和泛化能力，已经成为Boosting 系列中的代表算法。之后出现的各种Boosting算
法都是在AdaBoost算法的基础之上发展而来的。对AdaBoost算法的研究应用大多集中在分类