基于人工智能的垃圾邮件过滤技术研究

ISSNl0()9一8984CN22_1323/N长春工程学院学报(自然科学版)20(刀年第8卷第3期J.Chan罗bu。玩t.Tech.(Nat.Sci.E击.)，2007，VOI.8，No.321左575一6

基于贝叶斯方法的垃圾邮件处理模型研究

刘洋，，曹津宁2，刘昊，，秦玉平，

(1.渤海大学信息科学与工程学院，锦州12ro13;2.民生轮船有限公司天津分公司天津3O0()20)

摘要::随着网络和计算机技术的飞速发展，垃圾

邮件的泛滥给我们的生活和工作带来了很多不便，

鉴于现有垃圾邮件过滤技术的不足，在现有的贝叶

斯方法技术、网络分布式技术的基础上，提出一种有

效的垃圾邮件过滤技术模型。

关键词:多Agent系统;垃圾邮件;预处理;贝叶斯

中图分类号:TP37文献标识码:A

文章编号:1009名984(2(X)7)03刃075刁2

0引言

随着因特网的迅速普及，电子邮件技术已成为

现代通信的主要手段，在工作和学习中占有重要的

地位，但是随之而来的是垃圾邮件在网络中的泛滥，

垃圾邮件不仅消耗网络资源而且占用网络带宽，浪

费用户的宝贵时间和上网费用，严重威胁网络安全。

目前的垃圾邮件处理方法有:(1)实时黑名单技术，拒绝黑名单中的IP技术

的连接请求。(2)主机名反向验证技术，邮件服务器验证发

送方服务器的域名与IP是否和DNS的记录符合，

如果不符合，则拒绝连接。

(3)基于邮件内容的各种过滤技术。

(4)基于邮件规则的过滤技术。

但是由于各种方法都有着自身的局限性，往往

达不到理想的过滤效果。因此本文提出一套完整的

垃圾邮件处理方法:从客户端和服务器两方面进行检测和处理。在客户端我们选用优秀的算法进行过

滤，服务器端我们采用分布式检测处理方法，对于垃

圾邮件我们将取得更好的过滤效果。

收稿日期:2(X)7一04一0作者简介:刘洋(1982一)，男(汉)，大连，硕士研究生主要研究仓库与挖掘。，1分布式技术:多Ageni技术

多A罗nt系统(MAS:Multi一A罗nt勿stem)是分

1. 电子邮件

一般来说，电子邮件供应商会使用人工智能算法来过滤垃圾邮件。考虑到全球77%的电子邮件都是垃圾邮件，这是非常有效的。谷歌表示，只有不到0.1%的垃圾邮件能够通过其人工智能过滤器。此外，电子邮件营销人员会利用人工智能追踪谁在何时打开邮件，以及他们对此如何回应。谷歌的AI工具会在云存储中读取文档，以便将最合适的材料呈现给用户。不过也有人因此质疑，通过阅读内容来瞄准广告的算法正在侵犯我们的隐私。

2. 手机

人工智能将智能手机上的许多功能都自动化了，从文本常用关联词到声控个人助理都是非常典型的例子。甚至于手机屏幕适应周遭光线的方式、电池寿命的优化等等也取决于人工智能。但也有一些批评人士担心这其中隐藏的风险。比如，无论你是否在打电话，声控助理都会学习并试图理解你说的所有话，不管目的是否是否善意，这就为监视监听创造了机会。

3.银行

在世界各地，网上银行极为普遍，基于人工智能的应用也屡见不鲜：客服接待、核验用户身份、打击欺诈、评估客人信誉并据此做出贷款决定等等。

人工智能可以监控交易，人工智能聊天机器人可以回答你与账户相关的问题。在SAS研究所最近的一项调查中，超过三分之二的银行表示，它们使用人工智能聊天机器人，近63%的银行表示，它们使用人工智能进行欺诈检测。

4. 医学

要拍x光片吗?很多人脑海中浮现的画面是：临床医生穿着白大褂进行研究诊断。但现在可以暂时想象一下另外一种可能：最初的分析由人工智能算法完成。事实上，AI非常擅长诊断问题。在一次用胸透检测癌症的实验中，一种名为DLAD的人工智能算法击败了18名医生中的17名。

此外，与银行业一样，聊天机器人也被部署在医疗保健领域，用于与患者沟通。比如预约，甚至作为医生的虚拟助手。

然而，批评人士表示人工智能诊断不能成为一个完全不透明的“黑匣子”。人工智能也有误判的可能。医生需要知道它们是如何工作的才能信任它们。此外这也涉及到隐私、数据保护和公平的问题。

关于贝叶斯公式的人工智能应用案例

贝叶斯公式是概率论中的一条重要公式，可以用来计算条件概率。它在人工智能领域有着广泛的应用，下面我将列举10个关于贝叶斯公式的人工智能应用案例。

1. 垃圾邮件过滤：邮件服务提供商可以使用贝叶斯公式来判断一封邮件是否是垃圾邮件。通过分析已知的垃圾邮件和正常邮件的特征，比如关键词、发件人等，计算出垃圾邮件的概率，再根据贝叶斯公式计算出这封邮件是垃圾邮件的概率。

2. 语音识别：在语音识别中，贝叶斯公式可以用来计算某个词语在特定语境中出现的概率。通过统计大量的语音样本，可以计算出某个词语的先验概率，再根据当前语音信号的特征，计算出词语的后验概率，从而确定最可能的词语。

3. 机器翻译：在机器翻译中，贝叶斯公式可以用来计算某个翻译句子在源语言句子下出现的概率。通过统计大量的平行语料，可以计算出某个翻译句子的先验概率，再根据源语言句子的特征，计算出翻译句子的后验概率，从而确定最佳的翻译结果。

4. 图像识别：在图像识别中，贝叶斯公式可以用来计算某个物体在图像中出现的概率。通过训练大量的图像样本，可以计算出某个物体的先验概率，再根据图像的特征，计算出物体的后验概率，从而确定最可能的物体标签。

5. 推荐系统：在推荐系统中，贝叶斯公式可以用来计算某个用户对某个物品的喜好程度。通过分析用户的行为数据，比如浏览记录、购买记录等，可以计算出用户对不同物品的先验喜好概率，再根据物品的特征，计算出用户对物品的后验喜好概率，从而推荐最适合用户的物品。

6. 智能驾驶：在智能驾驶中，贝叶斯公式可以用来计算某个交通事件发生的概率。通过分析大量的交通数据，比如车辆速度、车辆位置等，可以计算出某个交通事件的先验概率，再根据当前的传感器数据，计算出交通事件的后验概率，从而判断是否需要采取相应的控制措施。

7. 情感分析：在情感分析中，贝叶斯公式可以用来计算某个文本的情感倾向。通过分析大量的文本数据，比如用户评论、社交媒体帖子等，可以计算出某个词语在积极文本中出现的概率和在消极文本中出现的概率，再根据文本的特征，计算出文本的情感倾向。

第３２卷　

Ｖｏ１．３２　第ｌ９期　

他Ｊ９　计算机工程　

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　２００６年ｌＯ月　

Ｏｃｔｏｂｅｒ　２００６　

・人工智能及识别技术・　文章编号：ｌｏｏ　４２８（２００６）ｌ　＿－０２ｌ４＿－０３　文献标识码：Ａ　中啊分类号：ＴＰ３１１　

基于多个机器学习算法的投票式邮件过滤模型　

李永亮，刘海燕，陈军　

（装甲兵工程学院信息工程系，北京１０００７２）　

摘要：机器学习算法在目前垃圾邮件过滤中扮演着重要的角色，但单一学习算法往往有各自的缺陷，限制了其在邮件过滤中的进一步应　用。该文介绍了几种典型机器学习算法，并构造了一种基于多机器学习算法的投票式过滤模型。实验表明，该方法充分利用了各机器学习　

算法的优势，弥补了各自的不足，达到了比单一学习算法更好的过滤性能。　关奠词：垃圾邮件；过滤；机器学习；投票　

Ｖｏｔｉｎｇ　Ｅ－ｍａｉｌ　Ｆｉｌｔｅｒ　Ｍｏｄｅｌ　Ｂａｓｅｄ　ｏｎ　Ｍｕｌｔｉ－ｍａｃｈｉｎｅ　

Ｌｑ　＂ｇ　Ａｌｇ，ｒｉｔｈｍｓＬｅａｒｎｉｎｇ　Ａｌｇｏｒｉｔｈｍｓ　

ＬＩ　Ｙｏｎｇｌｉａｎｇ，ＬＩＵ　Ｈａｉｙａｎ，ＣＨＥＮ　Ｊｕｎ　

（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ａｒｍｅｄ　Ｆｏｒｃｅｓ　Ａｃａｄｅｍｙ　ｏｆ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ　１０００７２）　

［Ａｂｓｔｒａｃｔ］Ｔｈｅ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍｓ　ｐｌａｙ　ａｌｌ　ｉｍｐｏｒｔａｎｔ　ｒｏｌｅ　ｉｎ　ｃｕｒｒｅｎｔ　ｓｐａｍ　ｆｉｌｔｅｒ，ｂｕｔ　ａ　ｓｉｎｇｌｅ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｈａｓ　ｉｔｓ　ｏｗｎ　ｄｒａｗｂａｃｋ　ｗｈｉｃｈ　ｒｅｓｔｒａｉｎｓ　ｉｔ　ｆｒｏｍ　ｆｕｒｔｈｅｒ　ａｐｐｌｉｃａｔｉｏｎ　ｉｎ　Ｅ—ｍａｉｌ　ｆｉｌｔｅｒ．Ｔｈｉｓ　ｐａｐｅｒ　ｉｎｔｒｏｄｕｃｅｓ　ｓｏｍｅ　ｔｙｐｉｃａｌ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍｓ，ａｎｄ　ｃｏｎｓｔｒｕｃｔｓ　ａ　ｖｏｔｉｎｇ　Ｅ—ｍａｉｌ　ｆｉｌｔｅｒ　ｍｏｄｅｌ　ｂａｓｅｄ　ｏｎ　ｍｕｌｔｉ—ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍｓ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｉｓ　ｍｅｔｈｏｄ　ｍａｋｅｓ　ｕｓｅ　ｏｆ　ｅｖｅｒｙ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ’Ｓ　ａｄｖａｎｔａｇｅ，ａｎｄ　ｏｆｆｓｅｔｓ　ｉｔｓ　ｄｉｓａｄｖａｎｔａｇｅ，ａｎｄ　ａｃｈｉｅｖｅｓ　ｂｅｔｔｅｒ　ｆｉｌｔｅｒ　ｐｅｒｆｏｒｍａｎｃｅ　ｔｈａｎ　ａ　ｓｉｎｇｌｅ　ａｌｇｏｒｉｔｈｍ．　ＩＫｅｙ　ｗｏｒｄｓ］Ｓｐａｍ；Ｆｉｌｔｅｒ；Ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ；Ｖｏｔｉｎｇ