当前位置：文档之家 › 基于AdaBoost的最小风险贝叶斯的垃圾邮件过滤算法

基于AdaBoost的最小风险贝叶斯的垃圾邮件过滤算法

  • 格式：pdf
  • 大小：250.81 KB
  • 文档页数：4

下载文档原格式

  / 4

合集下载

贝叶斯算法－－邮件过滤

贝叶斯算法－－邮件过滤

贝叶斯算法－－邮件过滤贝叶斯是基于概率的⼀种算法，是Thomas Bayes：⼀位伟⼤的数学⼤师所创建的，⽬前此种算法⽤于过滤垃圾邮件得到了⼴泛地好评。

贝叶斯过滤器是基于“⾃我学习”的智能技术，能够使⾃⼰适应垃圾邮件制造者的新把戏，同时为合法电⼦邮件提供保护。

在智能邮件过滤技术中，贝叶斯(Bayesian)过滤技术取得了较⼤的成功，被越来越多地应⽤在反垃圾邮件的产品中。

⼆、贝叶斯过滤算法的基本步骤1. 收集⼤量的垃圾邮件和⾮垃圾邮件，建⽴垃圾邮件集和⾮垃圾邮件集。

2. 提取邮件主题和邮件体中的独⽴字符串，例如 ABC32，￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。

按照上述的⽅法分别处理垃圾邮件集和⾮垃圾邮件集中的所有邮件。

3. 每⼀个邮件集对应⼀个哈希表，hashtable_good对应⾮垃圾邮件集⽽hashtable_bad对应垃圾邮件集。

表中存储TOKEN串到字频的映射关系。

4. 计算每个哈希表中TOKEN串出现的概率P=(某TOKEN串的字频)/(对应哈希表的长度)5. 综合考虑hashtable_good和hashtable_bad，推断出当新来的邮件中出现某个TOKEN串时，该新邮件为垃圾邮件的概率。

数学表达式为：A 事件 ---- 邮件为垃圾邮件；t1,t2 …….tn 代表 TOKEN 串则 P ( A|ti )表⽰在邮件中出现 TOKEN 串 ti 时，该邮件为垃圾邮件的概率。

设P1 ( ti ) = ( ti 在hashtable_good 中的值)P2 ( ti ) = ( ti 在 hashtable_bad 中的值)则 P ( A|ti )=P2 ( ti ) /[ ( P1 ( ti ) +P2 ( ti ) ] ；6. 建⽴新的哈希表hashtable_probability存储TOKEN串ti到P(A|ti)的映射7. ⾄此，垃圾邮件集和⾮垃圾邮件集的学习过程结束。

基于贝叶斯算法的垃圾邮件过滤的方法研究

基于贝叶斯算法的垃圾邮件过滤的方法研究

基于贝叶斯算法的垃圾邮件过滤的方法研究作者：郭淑敏朱蓉王品品胡胜陈佳辉来源：《电脑知识与技术》2017年第13期摘要：随着互联网行业的迅速发展，电子邮件营销得到快速发展，但垃圾邮件的日趋严重浪费着网络资源，因此过滤垃圾邮件刻不容缓。

该文通过介绍朴素贝叶斯算法的原理及它在垃圾邮件过滤这方面的应用，基于朴素贝叶斯算法的分类模型设计了一个文本广告邮件过滤系统，能够有效实现垃圾邮件过滤。

该系统的特点是在中文分词部分添加了当前的网络热词，从而进一步提高了系统的实用性。

本系统通过在包含合法邮件与垃圾邮件的数据库上进行实验测试，针对垃圾邮件的分类获得了较高的正确率。

关键词：垃圾邮件；贝叶斯算法；过滤器中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）13-0171-03伴随着互联网时代的到来，利用科学技术传递消息的方式多种多样，电话、QQ、电子邮件、微信、微博等都成了人们日常生活中不可缺少的交流平台。

与之诞生的还有相应的电子营销手段，如今人们发送电子邮件取代传统邮件，成为一些电商进行宣传和推广产品的重要手段，但与此同时来势汹汹的垃圾邮件使得整个网络不堪重负。

面对垃圾邮件的猖獗，技术人员开发各种阻止垃圾邮件的方法。

例如：黑名单技术，它将经常发送垃圾的IP地址范围、域名等属性都列入一个黑名单，凡是从黑名单所包含的IP地址发送来的邮件都被判定为垃圾邮件，但这种方法也会误屏蔽IP地址，导致正常的通信无法进行。

另一种技术就是过滤技术，它根据某种算法或规则，来判断垃圾邮件，最先出现的是基于模式匹配的算法规则，它通过关键词检索来判断垃圾邮件，然后是支持正则表达式的模糊匹配。

随着信息技术的发展，基于分类算法的过滤成为现在最流行的技术，其中：基于贝叶斯算法的分类能够获得良好的垃圾邮件过滤效果受到广泛研究者的关注。

这种方法用先验概率对邮件进行判断，并且可以在分类算法中添加自学功能，通过不断地校正先验概率来提高垃圾邮件过滤的准确性。

基于贝叶斯公式的最小损失垃圾邮件过滤算法

基于贝叶斯公式的最小损失垃圾邮件过滤算法

基于贝叶斯公式的最小损失垃圾邮件过滤算法谢金晶;张艺濒【摘要】为了减少将合法邮件误判为垃圾邮件的误报率及将垃圾邮件误判为合法邮件的漏报率的损失,首先基于现有的文本特征提取评估函数:期望交叉熵及互信息提出一种新的评估函数.利用此函数可提取到更具有代表性的邮件特征向量.在此之上提出一种基于贝叶斯公式可减少损失的垃圾邮件过滤方法.经过仿真测试后,发现基于新评估函数的新方法可有效降低误报率和漏报率.【期刊名称】《现代电子技术》【年(卷),期】2006(029)024【总页数】3页(P55-57)【关键词】贝叶斯公式;评估函数;最小损失;垃圾邮件【作者】谢金晶;张艺濒【作者单位】武汉大学,计算机学院,湖北,武汉,430072;武汉大学,计算机学院,湖北,武汉,430072【正文语种】中文【中图分类】TP302.11 引言随着互联网技术的高速发展，电子邮件以其方便、快捷、经济的优点被越来越多的运用到人们的日常生活和工作当中。

但同时垃圾邮件的危害也日益严重。

垃圾邮件不仅占用了大量网络传输带宽，影响正常网络通信，还浪费了人们的时间和精力。

如何过滤垃圾邮件已成为邮件服务提供商和大量学者的研究课题。

人们固然不希望收到垃圾邮件，但是更不能容忍合法邮件被当作垃圾邮件过滤掉。

这就对垃圾邮件的过滤提出了高准确度的要求。

为了提高准确率，减少损失，本文提出了基于贝叶斯公式的垃圾邮件过滤方法。

2 算法描述2.1 预处理邮件样本由于邮件是一个无结构的文本，需要将其表示为一个向量才能计算。

对任一邮件ei，其特征向量表示为：其中x1i,x2i,…,xni分别对应于特征项X1,X2,…,Xn的特征值。

一般在现有的垃圾邮件过滤算法中采用布尔型向量表示方式。

即:当特征项Xk 存在于邮件ei中时，特征值xk=1，否则xk=0。

此种表示方法固然简单，且具有较高的效率，却无法表达特征项在邮件中出现频率的信息。

本文采用特征项出现在邮件中的绝对频率来表示邮件的特征向量。

基于贝叶斯算法在垃圾邮件过滤方法研究和改进

基于贝叶斯算法在垃圾邮件过滤方法研究和改进

基于贝叶斯算法在垃圾邮件过滤方法研究和改进摘要：本文在对贝叶斯公式更进一步的了解研究后，使用实验的方式进一步的了解到该方法的缺点并进行分析。

并在贝叶斯公式的基础上进行改进，使其更加准确的应用在垃圾邮件过滤方法中。

依据最小风险的传统方法进行的改进，用实验的方法进一步得到准确的结论。

改进的方法更加适用于现代邮件的需求，更加个性化。

关键词：贝叶斯定理；多项式事件模型；多变量贝努利事件模型；最小风险；垃圾邮件过滤1 引言在这个高速发展的时代，科技化已经大势所趋，消息的传播已经从之前的手写信件全面过渡到网络邮件，人们越来越习惯用邮件的方式来传递消息。

但是万物皆有双面性，邮件带给我们方便的同时也使得垃圾邮件越来越泛滥。

垃圾邮件不仅会占用人们的时间，里面的内容也会对人们造成一定的威胁，电子邮件所带来的负面影响是不可逆的。

电子邮件因其便捷、快速、传播性广，里面会夹杂着一些推销广告、不良信息、甚至一些病毒链接，给许多用户带来不便。

目前基于垃圾邮件的过滤方法主要有基于IP、行为、内容三种过滤技术，其中以基于内容的经常使用，文本本就是以词构成的一个整体，基于内容的过滤技术更加的准确。

基于内容的过滤技术中，朴素贝叶斯算法因其能够满足用户个性化的要求，在垃圾邮件的过滤方法中受到广泛应用。

本文在更加精确的了解贝叶斯算法在垃圾邮件过滤的应用效果后，更加有针对性的提出该方法的弊端并进行适当的分析和改进，并进行相应的实验，作出最后的结论。

2 贝叶斯过滤器2.1 贝叶斯定理贝叶斯定理最早是由英国数学家贝叶斯（1702-1761）提出的，最早收录于《机会学说中一个问题的解》。

该定理是贝叶斯用来解释两个随机条件概率之间的关系而提出的。

多变量贝努利事件模型由于并没有考虑词频问题，相对简化了过滤方法，提高了效率，在不同的文本中可以采用不同的方法。

2.3贝叶斯算法的缺陷分析贝叶斯算法起初应用于数学概论中，但随着数学的发展，这种方法越来越广泛的应用于文本分类领域，它的灵活性，简便性以及较高的精确度，使得它越来越不可或缺。

基于贝叶斯算法的垃圾邮件过滤技术的研究与改进

基于贝叶斯算法的垃圾邮件过滤技术的研究与改进

第33卷第1期燕山大学学报V ol.33No.12009年1月Journal of Yanshan University Jan.20090引言随着电子邮件的普及，垃圾邮件的泛滥也越来越多地受到人们的关注。

中国互联网协会反垃圾邮件中心在2008年1月28日发布的《2007年第四次中国反垃圾邮件状况调查报告》显示，中国互联网用户平均每周收到垃圾邮件16.71封，已经连续多次超过了正常邮件的数量。

大量的垃圾邮件不仅占用了网络传输带宽，影响正常网络通信，更浪费了人们的时间和精力。

垃圾邮件的检测和过滤已经迫在眉睫。

目前主要的垃圾邮件过滤技术有3类：1）基于IP 、域名和路由等的过滤技术：包括黑/白名单、实时黑名单、反向域名检测等技术；2）基于行为的过滤技术：包括过滤群发、流量监控、挑战-回应和蜜罐技术等；3）基于内容的过滤技术：包括规则（集）匹配、朴素贝叶斯（Naive Bayes ）、支持向量机（SVM ）、-NN ）、最大熵值法等[1]。

基于内容的过滤技术是目前垃圾邮件过滤技术应用的主流，而在基于内容的垃圾邮件过滤方法中，朴素贝叶斯算法[2]因其既实现了自学习的功能，又满足了个性化的要求，故而在垃圾邮件过滤中得到广泛的应用。

本文在对贝叶斯过滤器分析的基础上，引入基于分级的最小风险算法，并提出了一种结合多重贝努利和多项式的混合估计模型。

在此基础上对贝叶斯过滤器进行了改进，并进行了实验对比。

1贝叶斯过滤器1.1贝叶斯定理贝叶斯定理是由托马斯・贝叶斯（1702-1761）提出的计算概率的一种方法。

它是通过对某一事件过去发生概率情况的考察，大体可以推断出当前这一事件发生的概率。

它的形式化表述为：设试验，的事件，2,µÄÒ»¸ö»®·Ö£¬ÇÒ>0,，则,,=1;2;;,或者2,,，是特征项，可以是文章编号：文献标识码：48燕山大学学报2009字、词、短语或者是某种概念。

基于贝叶斯分类的垃圾邮件过滤系统

基于贝叶斯分类的垃圾邮件过滤系统

基于贝叶斯分类的垃圾邮件过滤系统随着互联网的发展，每天都会有数以万计的电子邮件发送到全球各地的收件箱中。

但是，不幸的是，在这些邮件中，许多都是无关紧要的垃圾邮件。

这些邮件浪费了我们的时间，占据了我们的空间，甚至可能包含有害的信息。

所以垃圾邮件过滤已成为电子邮件系统中必不可少的一部分。

在这个领域，贝叶斯分类算法的应用已可以实现较高的垃圾邮件检测率，因而被广泛采用。

本篇文章将从以下几个方面探讨基于贝叶斯分类的垃圾邮件过滤系统。

1. 贝叶斯分类算法在介绍贝叶斯分类算法之前，我们需要先了解以下一些概念。

- 条件概率条件概率是指在一个事件发生的前提下，另一个事件发生的概率。

例如：在一个班级中，学生身高在1.7米以上的比例为30%，而其中女生的比例为50%，那么在身高在1.7米以上的学生中，女生的比例为50%÷30%=1.67倍。

- 先验概率先验概率是指未进行任何新实验或观察，仅根据已知的信息，得出的概率。

例如：某城市出租车司机中男性占比80%，女性占比20%，则在没有任何其他信息的情况下，任意一位出租车司机是男性的概率为80%。

- 后验概率后验概率是指通过新的实验或观察之后，得出的概率。

例如：通过调查发现，在某家餐馆就餐的顾客中，男性占比50%，女性占比50%，并且男性消费金额的平均值为30元，女性消费金额的平均值为20元。

现在，如果一个顾客消费了40元，那么他是男性的概率是多少呢？- 贝叶斯定理贝叶斯定理是利用已知的先验概率和条件概率得出后验概率的公式。

在垃圾邮件过滤的场景中，我们可以将邮件分类为两类：垃圾邮件和非垃圾邮件。

对于每封邮件，我们可以将它看作是由一些特征组成的，如邮件的主题、内容、发件人、附件等。

对于每个特征，我们可以计算出在垃圾邮件中出现的概率和在非垃圾邮件中出现的概率，这些概率被称为条件概率。

同时，我们可以根据历史数据计算出垃圾邮件的先验概率和非垃圾邮件的先验概率。

这样就可以利用贝叶斯定理计算出一个邮件是垃圾邮件的后验概率。

基于贝叶斯算法的垃圾邮件过滤技术综述

继续教育学院毕业论文题目：基于贝叶斯算法的垃圾邮件过滤技术综述学生姓名：李达夫学号：092028010027班级: CMU3097专业：指导教师：邹政2011 年10 月基于贝叶斯算法的垃圾邮件过滤技术综述摘要现在电子邮件成为一种快捷、成本少的通信技术手段，很大地方便了人们的通信与交流。

但是，垃圾邮件的产生，影响了电子邮件的正常通信，占用的传输带宽，并对系统安全造成了很大的威胁。

因此，反垃圾邮件的研究问题已经成为具有重大现实意义的全球性的课题。

目前，对付垃圾邮件的主要方法和手段是通过反垃圾邮件立法和使用邮件过滤技术进行处理，现已经相继出现了多种邮件过滤技术。

常用的包括黑/白名单技术、基于内容的分析方法以及基于规则的方法等。

基于内容分析的技术正逐步进入邮件过滤技术当中，并且成为当前研究的热点，其中，基于内容分析的邮件过滤方法中的典型方法是基于贝叶斯算法的垃圾邮件过滤模型。

本论文对中文垃圾邮件的特点进行了比较系统的分析和研究，结合贝叶斯（Bayes）理论，构造基于贝叶斯分类的垃圾邮件过滤模型，在特征提取方面，采用互信息值的方法，在分类方法上，引入了适合本文的分类方法，并采用了一种更加适合于贝叶斯计算的表示方法。

关键词：电子邮件；垃圾邮件；邮件过滤；贝叶斯理论目录第一章绪论 (5)1.1 引言 (5)1.2 垃圾邮件的定义及其危害 (5)1.2.1 垃圾邮件定义 (5)1.2.2 垃圾邮件危害 (6)1.3 国内外反垃圾邮件现状 (7)1.4 研究目标与内容 (8)第二章垃圾邮件技术 (9)2.1.1 电子邮件的概述 (9)2.1.2 电子邮件的格式 (9)2.1.3 邮件传送过程 (9)2.3.1客户端垃圾邮件过滤技术 (11)第三章基于标准邮件集构造垃圾邮件分类向量 (16)3.1标准邮件集 (16)3.1.1标准邮件集的背景 (16)3.1.2垃圾邮件和正常邮件的收集 (16)3.1.3标准邮件集的概述 (17)3.2基于标准邮件集的垃圾邮件分类向量 (17)3.2.1分类的实现 (17)3.2.2 提取分类向量的过程 (18)3.3基于贝叶斯原理的过滤系统的实现 (20)3.4算法的实现 (20)第四章实验结果及分析 (23)4.1基于贝叶斯算法的过滤系统实验环境 (23)4.2基于贝叶斯算法的过滤系统总体结构图 (24)4.3实验结果及性能分析 (24)第五章总结与展望 (27)5.1论文总结 (27)5.2待改进的问题 (28)参考文献 (29)第一章绪论1.1 引言伴随着电子邮件的迅速普及，越来越多的人使用电子邮件。

基于AdaBoosting技术的垃圾邮件过滤方法

ＮＴ ０Ｋ Ｎ Ｍ ＵＩ Ｔ Ｎ ＥＷ Ｒ Ｄ ０ Ｍ Ｎ Ａ 【 Ａ Ｃ Ｃ ０
网络与通信
基 于 Ａ ａ ｏｓ ｎ 术 的 垃 圾 邮件 过 滤 方 法 ｄ Ｂ ｏｔ ｇ技 ｉ
李 晓峰
（ 山西 财 经 大学 ，太 原 ０ ０ ０ ） ３ ０ ６ 摘 要 ： 邮件 过 滤 技 术 ，为 用 户提 供 更 安 全 方 便 的 网络 使 用 的 主 要 技 术 。 采 用 Ｂ ｏｔ ｇ技 术 实现 对 垃 圾 邮 件 的 分 ｏｓｎ ｉ
ｅ ｆｃ ｉｅ ｏ ｉ ｍｅｈ ｄ ｉ ｒ ｖ ｄ ｂ ｘ ｅ ｉ ｎ ｓ ｏ ｈ ｏ ｐ ｓ ｅｆ ｃｉ ｅ ｆ ｔ ｆｔ ｓ ｅ ｖ ｈ ｔ ｏ ｓｐ ｏ ｅ ｙ ｅ ｐ ｒｍｅ ｔ ｎ ｔ ｅ ｃ ｒ ｕ ｆ ｔ ． ｅ ｖ Ｋｅ ｒ ｓ ｍａｌｆ ｔ ｒ ｇ ； Ｆ ； ａ ｏ ｓｉ ｇ ｙ ｗｏ ｄ ：Ｅ ｉ ｉ ｅ ｉ ｌ ｎ ＲＢ Ａｄ Ｂ ｏ ｔ ｎ
１ 概 述
电子邮件在 带给人 们方 便 的同时 ，也带 来 了很 多 负面影
响。针对垃圾 邮件 泛滥 的现 状 ，采 用过 滤技术 对垃 圾 邮件进
然 后按 照 一 定 的方 式 组 合 起来 ，得 到 强分 类 模 型 。Ａ — ｄ ａ ｏｓ算法 的具 体描述如表 １ Ｂ ｏｔ 所示 。 表 １ ｄ Ｂ ｏｔ Ａ ａ ｏｓ 算法
有多种 ，其 中，基于神经网络的分类器是邮件分类 中比较有效 的方法 Ｉ Ｉ １ 是 ，神经 网络容易 陷入局部极小值 ，造 成邮件 的 。但
误分 。而神经网络集成是将多个不 同的神经 网络单分类器 组合
成 一 个 分 类 器 ，用有 限个 神 经 网 络 对 同 一 个 问题 进 行 学 习 ，集 成 在 某 输 入 示 例 下 的 输 出 ， 由构 成 集 成 的各 神 经 网络 在 该 示 例

基于贝叶斯的垃圾邮件过滤算法设计研究


响，但中文文本中切分精度对于邮件过滤系统
来 说 并 不 是 很 重 要 ，在 这 里 ，过 滤 准 确 率 与 效
率才是系统的最关键性指标，需优先考虑其实
时性与准确率要求；其次，特征提取，即删除
一
参考文献
［ １ ］梁志 文 ， 杨 金 民 ，李元 旗 等 ． 基 于 多项
式模 型 和 低 风 险 的 贝 叶 斯 垃 圾 邮件 过
邮件 是 “ 疑 似 垃圾 邮件 ”，若 ０ ． ８ Ｐ（ Ｃ ２ ） ｌ １ ，则表示新邮件是 “ 垃圾邮件”。
４ 实 验 结 果
通过 本次 实验 可知 ，所选 取 的 ３ ０ ０封 已 知样本邮件中，垃圾邮件 有 ２ ５ ０封 ，而合法 邮 件则 由 ５ ０封 。而为 了分析 改进后 的贝叶斯算 法组所具有的 自我学习能力高低 ，研 究中不采 用训练样本，而是直接将 邮件用 于相关 的测试
滤算法 【 Ｊ 】 ．中 南 大 学 学报 （自然 科 学
版 ）， ２ ０ １ ３ ， ４ ４ （ ７ ） ： ２ ７ ８ ７ － ２ ７ ９ ２ ．
［ ２ 】李茹 ，刘培玉 ， 朱振方等 ． 基于 Ａ ｄ ａ Ｂ ｏ ｏ ｓ ｔ
本次研究还发现，算法在 邮件的过 滤中表 现出 较好的查准率与查全率，而 这也就 说明了该系 统的 邮件过滤性能是比较好的。 综上 所述 ，基于 认知 学习 的贝叶 斯算法 作为一种新型的邮件过滤算法，有着较 好的 自 学能力与学 习效果 ，且在邮件过滤性能中表现 出良好的动态调整能力，查全率与查准率都较 高，以获得较好 的邮件过滤效果 。
网络天地 ・ Ｎ ｅ ｔ ｗｏ ｒ ｋ Ｗｏ ｒ ｌ ｄ
Hale Waihona Puke 基于贝叶斯 的垃圾 邮件过滤算法设计研究

基于最小风险的贝叶斯邮件过滤算法

基于最小风险的贝叶斯邮件过滤算法
石霞军;林亚平;陈治平
【期刊名称】《计算机科学》
【年(卷),期】2002(029)008
【摘要】@@ 1.引言rn随着因特网的迅猛增长,电子邮件作为最快捷、最经济的通信方式,也得到飞速发展.但是,许多销售广告、快速致富等垃圾邮件也在网络中传送,这些垃圾邮件不仅占据邮件服务器的大量存储空间,同时也要用户花费大量时间来处理这些垃圾.尽管一些商业化产品允许用户人工建立垃圾邮件的过滤规则,但是系统要求用户有丰富经验和花去许多时间,而且,由于垃圾邮件在不断改变,用户必须经常调整这些规则,这需要花大量时间.因此,研究邮件自动过滤方法具有重要意义.邮件自动过滤方法研究主要有基于规则和基于概率[1]两种,后者已成为一种主要研究趋势.
【总页数】3页(P50-51,46)
【作者】石霞军;林亚平;陈治平
【作者单位】湖南大学计算机与通信学院,长沙,410082;湖南大学计算机与通信学院,长沙,410082;湖南大学计算机与通信学院,长沙,410082
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于贝叶斯最小风险的垃圾邮件过滤技术 [J], 余承依
2.新的基于最小风险的贝叶斯邮件过滤模型 [J], 王涛;裘国永;何聚厚
3.基于AdaBoost的最小风险贝叶斯的垃圾邮件过滤算法 [J], 李茹;刘培玉;朱振方
4.基于最小风险贝叶斯涉密邮件统计分类算法 [J], 邢莉;喻建平
5.基于认知学习的最小风险贝叶斯邮件过滤算法 [J], 王雷;林亚平;彭雅;李闻
因版权原因，仅展示原文概要，查看原文内容请购买。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

( 3) 执行循环: m = 1 , 2 ,
i
的值代入 A daBoost 中, 训 练最小风险贝
叶斯分类器 , 得到学习机的假设 P: X # y i; ( 4) 将分类器 P 应用于整个数据集 , 标记 P 分 类正确的样本和分类错误的样本, 并根据总体样本的 数量来判断错误样例个数, 计算 P 的分类错误率 m ; ( 5) 由得出的分类错误率 m 更新所有训练样 本的权值, D m+ 1 ( i ) = Dm ( i) exp ( - m y iP m (x i ) ) ; Zm
)P (
| X ), i = 1 , 2 ,
, a
j= 1
( 4) 考虑邮件被误判时, 我们会希望损失最小 , 则对步骤 ∀ 中得到的 d 个条件风险值 R (d i | X ), i= 1 , , d 进行比较 , 找出使条件风险最小的决策 d k , 则 dk 就是最小风险贝叶斯决策。
3 基于 A daBoost 的最小风险贝叶斯 算法
i
布要求的样本分布。 由以上步骤可以得到一个分类 器决策函数 P n ( x ) 。 由第一次迭代产生了一个分类器决策函数 , 经 过 M 次循环会产生产生一个弱分类器序列 P m ( x ), m = 1 , 2 , , M。 然后 , 通过一个加 权的多数表决方 法来整合全部决策 , 以产生最终的决策 P (x ) = sign
Abstrac t : To settle the proble m of the flood spa m, a spa m filtering a lgor ithm based on A daBoost a lgo rithm andm in i m um risk Bayes algorithm is created by the co m bina tion o f the latter t w o after in dep th ana lys is and research o f them. Exper i m ents have been run to ap p ly it to spa m filtering , and the result show s that th is a lgo rithm can a m e lio ra te the per fo r m ance o f spam filter ing system by i m prov ing the accuracy o fm a il filtering . K ey word s : m ail filte ring ; the m ini m um r isk Bayes; A daBoo st algorithm
最小风险贝叶斯算法
[ 1]
能够显 式计算后验概
诸如过于依赖数据和弱学习器, 对数据噪声很敏感, 如果弱学习器过弱也不能达到任意高的精度。那么 弱学习器的寻找就成为一个重点 , 弱学习器找不好, 这个算法的效果也不会好, 为了从根源上解决这个 问题 , 我们直接选用了一个比较强的学习器 小风险贝叶斯。 最
j
!
M
m
Pm ( x )
。
AdaBoost算法能够对弱学习得到 的弱分类器 的错误进行适应性调整。 实际上, 每一次迭代都要对 权重进行更新。 更新的规则是 : 减小弱分类器分类效 果较好的数据的权重, 增大弱分类器分类效果较差 的数据的权重。 最终的分类器是弱分类器的加权平 均。
!
c
(d i ,
j
由 M aron 提出 , 其主要思想
是将文章看作独立的单词集合 , 通过训练集, 由贝叶 斯理论得到每个单词在不同类的概率大小 , 构造出 贝叶斯模型。最小风险贝叶斯算法就是以贝叶斯和 朴素贝叶斯为基础, 主要为了解决误判问题, 一封合 法的邮件被判为垃圾邮件可能会给用户造成很大的 损失。最小风险贝叶斯算法是把所有的分类错误都 考虑进去, 然后最大程度地降低误判风险和损失的 法则。用最小风险贝叶斯算法判定一个邮件可按下 列步骤进行 : ( 1) 在已知 P ( i ), P (X | i ), i = 1 , , c及给 出待识别的 X 的情况下 , 根据贝叶斯公式计算出后 验概率 P(
收稿日期 : 2010- 06- 30 作者简介 : 李
网络出版时间 : 2010 - 10- 21
基金项目 : 国家自然科学基金 ( 60873247) ; 山东省高新自主创新专项工程 ( 2008ZZ28 ); 山东省自然科学基金 ( ZR2009G Z007) 茹 ( 1985- ) , 女 , 山东德州人 , 硕士生 ; 刘培玉 ( 1960 - ) , 男 , 山东潍坊人 , 教授 , 博士生导师。 网络出版地址 : http : / /www. cnk . i net /k c m s/ detail /37- 1378_N. 20101021 . 1120. 000 . ht ml
核心思想是针对同一个训练集训练不同的分类器 , 然后把这些分类器集合起来 , 构成一个更强的最终 分类器。 假设给定训练样本集 S = { (x 1, y 1 ), ( x 2, y 2 ) ), , (x i, y i ), x i # X, y i # Y, 其中 X 和 Y分别对
第 1期
李
茹 , 等 : 基于 A daB oost的最小风险贝叶斯的垃圾邮件过滤算法
j
)
i
! P (X
i= 1
c
, j= 1 , 2, )
, x
=
i
( i) exp { -
m
I (y i ∃ P m ( x i ) ) } , Zm
i+ 1
|
)P (
zm 是归一化因子, 经过归一化
就是一个满足分
其中, P ( 的; 而 P (
i j
) 是先验概率, 是由以往的数据分析得到 | X ) 是后验概率 , 是在得到信息 X 之后
法的基础上 , 将两者结合在一起 , 提出一 种基于 A daBoost的最小风 险贝叶 斯的垃 圾邮件过 滤算法 , 将 其应用到 垃圾邮 件过滤 中 , 并分别与最小风险贝叶斯算法和 A daBoost 算法的过滤效果进行比较 , 结果表明 , 该算法能够有 效提高邮 件过滤的准 确率 , 改善垃圾邮件过滤系 统的整体性能 。 关键词 : 邮件过滤 ; 最小风 险贝叶斯 ; A daBoo st算 法 中图分类号 : TP393 文献标志 码 : A
基于 AdaBoost的最小风险贝叶斯的垃圾邮件过滤算法
李 茹 , 刘培玉 , 朱振方
1, 2 1, 2 1, 2
( 1. 山东师范大学 信息科学与工程学院 , 山东 济南 250014 ; 2 . 山东省分布式计算机软件新技术重点实验室 , 山东 济南 250014 )
摘
要 : 针对传统的单一算法对垃圾邮件进行过滤效果不理想的问题 , 在分析和研究最 小风险贝叶 斯算法和 AdaBoost算
20
济 南 大 学 学 报 ( 自然科学版 )
第 25卷
1 最小风险贝叶斯算法
贝叶斯分类算法
[ 3]
应于正例样本和负例样本, M 为训练的最大循环次 数; 初始化时样本权重为 1 /n, 即为训练样本的初始 概率分布。 第一次迭代时 , 在训练样本的概率分布相 等的情况下训练贝叶斯分类器 , 用贝叶斯分类器拟 合训练数据, 并计算分类器的错误率
,其
法 ( 为了方便起见 , 以下将基于 A daBoost的最小风 险贝叶斯算法简称为结合后的算 法 ) , 具体算法如 下: ( 1 ) 以矩 阵 的形 式输 入 数据 S = { ( x 1, y 1 ), ( x 2, y 2 ) ), , ( x i, y i ), x i # X, y i # {- 1 , + 1} };
率 , 大多数情况下与其他算法的性能相当 , 某些情况 甚至优于其他算法, 因而被作为最优决策的衡量标 准。然而在实际应用中, 类别的先验概率往往未知 , 由最小风险贝叶斯确定的最优决策的计算代价也就 比较大。 AdaBoost( Adaptive Boostin g) 算法
[ 2]
是 1995 年
第 25 卷第 1期 2011年 1月
济南大学学报 ( 自然科学版 ) J OURNAL OF UN I VER SI TY O F JI NAN ( Sc.i and T ech )
V o. l 25 N o. 1 Jan . 2011
文章编号 : 1671- 3559( 2011) 01- 0019- 04 山东计算机学会 2010年学术 年会征文
在介绍最小风险 贝叶斯算法和 AdaBoost 算法 的基础上 , 阐述了基于 AdaBoost的最小风险贝叶斯 算法的基本思想, 通过实验对改进的算法进行性能 测试并对实验结果进行了分析。
11 : 20
由 F reund 和 Schapire 根据在 线分 配算 法提 出的 , AdaBoost算法可以将弱分类器提升为强分类器 , 而 且不会有过拟合的现象, 但是它本身也有一些缺点 ,
m=1
再重新加以修正的概率; P (X |
) 是根据以往的经
验值来判断收到的待识别的 X ( 要收到的邮件 ) 是 否为垃圾邮件。 ( 2) 说明一个决策规则: 当邮件是垃圾邮件时 , 将其判断为垃圾邮件不会造成任何损失 , 同理将合 法邮件判断为合法邮件也属于上述情况 ; 当把垃圾 邮件判为合法邮件时 , 损失为 0 ; 但是当把一封合法 邮件判断为垃圾邮件时, 造成的损失是不可估量的 , 所以在此将损失设为 。 ( 3) 利用计算出的后验概率和决策规则, 按以 下公式计算出采取 d i, i = 1 , R ( di | X ) = , a 的条件风险 :
以上面的两个算法为基础 , 用 AdaBoost算法作 为分类器训练的框架 , 用最小风险贝叶斯算法代替 弱分类器作为 AdaBoost的基分类器, 从而达成两个 算法的结合, 即基于 AdaBoost的最小风险贝叶斯算