一、贝叶斯过滤算法的基本步骤
1)、收集大量的垃圾邮件和非垃圾邮件，建立垃圾邮件集和非垃圾邮件集；
2)、提取邮件主题和邮件体中的独立字串例如 ABC32，￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。按照上述的方法分别处理垃圾邮件集和非垃圾邮件集中的所有邮件；
3)、每一个邮件集对应一个哈希表，Hashtable_Good对应非垃圾邮件集而Hashtable_Bad对应垃圾邮件集。表中存储TOKEN串到字频的映射关系；
4)、计算每个哈希表中TOKEN串出现的概率P=（某TOKEN串的字频）/（对应哈希表的长度）；
5)、综合考虑hashtable_good和hashtable_bad，推断出当新来的邮件中出现某个TOKEN串时，该新邮件为垃圾邮件的概率。数学表达式为：
A事件——邮件为垃圾邮件;
t1,t2 ,...,tn代表TOKEN串
则P（A|ti）表示在邮件中出现TOKEN串ti时，该邮件为垃圾邮件的概率。设
P1（ti）=（ti在hashtable_good中的值）
P2（ti）=（ti在hashtable_ bad中的值）
则 P（A|ti）= P1（ti）/[（P1（ti）+ P2（ti）]；
6)、建立新的哈希表 hashtable_probability存储TOKEN串ti到P（A|ti）的映射；
7)、至此，垃圾邮件集和非垃圾邮件集的学习过程结束。根据建立的哈希表Hashtable_Probability可以估计一封新到的邮件为垃圾邮件的可能性。
当新到一封邮件时，按照步骤2）生成TOKEN串。查询hashtable_probability 得到该TOKEN 串的键值。
假设由该邮件共得到N个TOKEN串，t1,t2…….tn, hashtable_probability 中对应的值为P1，P2，。。。。。。PN，P(A|t1 ,t2, t3……tn)表示在邮件中同时出现多个TOKEN串t1,t2…….tn时，该邮件为垃圾邮件的概率。
由复合概率公式可得
P(A|t1 ,t2, t3……tn)=（P1*P2*。。。。PN）/[P1*P2*。。。。。PN+（1-P1）*（1-P2）*。。。（1-PN）]
当P(A|t1 ,t2, t3……tn)超过预定阈值时，就可以判断邮件为垃圾邮件。二、贝叶斯过滤算法举例
例如：一封含有“法轮功”字样的垃圾邮件 A和一封含有“法律”字样的非垃圾邮件B
根据邮件A生成hashtable_ bad，该哈希表中的记录为
法：1次
轮：1次
功：1次
计算得在本表中：
法出现的概率为0.3
轮出现的概率为0.3
功出现的概率为0.3
根据邮件B生成hashtable_good，该哈希表中的记录为：
法：1
律：1
计算得在本表中：
法出现的概率为0.5
律出现的概率为0.5
综合考虑两个哈希表，共有四个TOKEN串：法轮功律
当邮件中出现“法”时，该邮件为垃圾邮件的概率为：
P=0.3/（0.3+0.5）= 0.375
出现“轮”时：
P=0.3/（0.3+0）= 1
出现“功“时：
P=0.3/（0.3+0）= 1
出现“律”时
P=0/（0+0.5）= 0；
由此可得第三个哈希表：hashtable_probability 其数据为：
法：0.375
轮：1
功：1
律：0
当新到一封含有“功律”的邮件时，我们可得到两个TOKEN串，功律查询哈希表hashtable_probability可得
P（垃圾邮件| 功）= 1
P （垃圾邮件|律）= 0
此时该邮件为垃圾邮件的可能性为：
P=（0 * 1）/[ 0 * 1 +（1-0）*（1-1）] = 0
由此可推出该邮件为非垃圾邮件
基于朴素贝叶斯分类器的文本分类算法（上）
本文缘起于最近在读的一本书-- Tom M.Mitchell的《机器学习》,书中第6章详细讲解了贝叶斯学习的理论知识，为了将其应用到实际中来，参考了网上许多资料，从而得此文。文章将分为两个部分，第一部分将介绍贝叶斯学习的相关理论(如果你对理论不感兴趣，请直接跳至第二部分<<基于朴素贝叶斯分类器的文本分类算法（下）>>)。第二部分讲如何将贝叶斯分类器应用到中文文本分类，随文附上示例代码。
Introduction
我们在《概率论和数理统计》这门课的第一章都学过贝叶斯公式和全概率公式，先来简单复习下：
条件概率
定义设A, B是两个事件，且P(A)>0 称P(B∣A)=P(AB)/P(A)为在条件A 下发生的条件事件B发生的条件概率。
乘法公式设P(A)>0 则有P(AB)=P(B∣A)P(A)
全概率公式和贝叶斯公式
定义设S为试验E的样本空间，B1, B2, …Bn为E的一组事件，若BiBj=Ф, i≠j, i, j=1, 2, …,n; B1∪B2∪…∪Bn=S则称B1, B2, …, Bn为样本空间的一个划分。
定理设试验E的样本空间为，A为E的事件，B1, B2, …,Bn为的一个划分，且P(Bi)>0 (i=1, 2, …n)，则P(A)=P(A∣B1)P(B1)+P(A∣B2)+ …+P(A∣Bn)P (Bn)称为全概率公式。
定理设试验俄E的样本空间为S，A为E的事件，B1, B2, …,Bn为的一个划分，则
P(Bi∣A)=P(A∣Bi)P(Bi)/∑P(B｜Aj)P(Aj)=P(B｜Ai)P(Ai)/P(B)
称为贝叶斯公式。说明：i，j均为下标，求和均是1到n
下面我再举个简单的例子来说明下。
示例1
考虑一个医疗诊断问题，有两种可能的假设：（1）病人有癌症。（2）病人无癌症。样本数据来自某化验测试，它也有两种可能的结果：阳性和阴性。假设我们已经有先验知识：在所有人口中只有0.008的人患病。此外，化验测试对有病的患者有98%的可能返回阳性结果，对无病患者有97%的可能返回阴性结果。
上面的数据可以用以下概率式子表示：
P(cancer)=0.008,P(无cancer)=0.992
P(阳性|cancer)=0.98,P(阴性|cancer)=0.02
P(阳性|无cancer)=0.03，P(阴性|无cancer)=0.97
假设现在有一个新病人，化验测试返回阳性，是否将病人断定为有癌症呢？我们可以来计算极大后验假设：
P(阳性|cancer)p(cancer)=0.98*0.008 = 0.0078
P(阳性|无cancer)*p(无cancer)=0.03*0.992 = 0.0298
因此，应该判断为无癌症。
贝叶斯学习理论
贝叶斯是一种基于概率的学习算法，能够用来计算显式的假设概率，它基于假设的先验概率，给定假设下观察到不同数据的概率以及观察到的数据本身（后面我们可以看到，其实就这么三点东西，呵呵）。
我们用P(h)表示没有训练样本数据前假设h拥有的初始概率，也就称为h 的先验概率，它反映了我们所拥有的关于h是一个正确假设的机会的背景知识。当然如果没有这个先验知识的话，在实际处理中，我们可以简单地将每一种假设都赋给一个相同的概率。类似，P(D)代表将要观察的训练样本数据D的先验概率（也就是说，在没有确定某一个假设成立时D的概率）。然后是P(D/h)，它表示假设h成立时观察到数据D的概率。在机器学习中，我们感兴趣的是P(h/D),也就是给定了一个训练样本数据D,判断假设h成立的概率，这也称之为后验概率，它反映了在看到训练样本数据D后假设h成立的置信度。（注：后验概率
p(h/D)反映了训练数据D的影响，而先验概率p(h)是独立于D的）。
基于朴素贝叶斯的短文本分类研究 自然语言处理是目前智能科学领域中的一个非常热门的方向，文本的分类同样也是自然语言处理中的一项关键的技术。随着深度学习发展，朴素贝叶斯算法也已经在文本的分类中取得到了良好的分类效果。本文针对短文本的分类问题，首先对短文本数据进行了预处理操作，其中包括中文分词、去除停用词以及特征的提取，随后阐明了朴素贝叶斯算法构建分类器的过程，最后将朴素贝叶斯算法与逻辑回归和支持向量机分类算法的分类效果进行了对比分析，得出朴素贝叶斯算法在训练所需的效率上及准确率上有较为优异的表现。 标签：自然语言处理文本分类机器学习朴素贝叶斯 引言 文本分类问题是自然语言处理中的一个非常经典的问题。文本分类是计算机通过按照一定的分类标准进行自动分类标记的有监督学习过程。在文本特征工程中，和两种方法应用最为广泛[1] 。在分類器中，使用普遍的有朴素贝叶斯，逻辑回归，支持向量机等算法。其中朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法，有着坚实的数学基础，以及稳定的分类效率。基于此，本文采用基于的特征提取的朴素贝叶斯算法进行文本分类，探求朴素贝叶斯算法在短文本分类中的适用性。 1数据预处理 1.1中文分词 中文分词是指将一个汉字序列切分成一个个单独的词。中文分词是中文文本处理的一个基础步骤，也是对中文处理较为重要的部分，更是人机自然语言交流交互的基础模块。在进行中文自然语言处理时，通常需要先进行中文分词处理[2] 。 1.2停用词处理 去除停用词能够节省存储空间和计算时间，降低对系统精度的影响。对于停用词的处理，要先对语料库进行分词、词形以及词性的类化，为区分需求表述和信息内容词语提供基础。去停用词后可以更好地分析文本的情感极性，本文采用广泛使用的哈工大停用词表进行去停用词处理。 1.3特征提取 文本数据属于非结构化数据，一般要转换成结构化的数据，一般是将文本转换成“文档-词频矩阵”，矩阵中的元素使用词频或者。它的计算为，
电信业防毒、反垃圾邮件解决方案 各种信息技术的不断发展为电信运营商带来了广阔的商机，同时也带来了新的威胁和风险。作为基础网络提供商的电信企业，影响最大、威胁最大的风险就是那些消耗基础带宽、影响网络性能的威胁，主要包括混合型病毒和各种垃圾邮件。 适于电信级业务的防御技术 Symantec的方案从“主动防御、主动反应”这一观点出发，协助运营商建立适用电信业务、可伸缩、抗打击的防病毒网络，可在最新的混合型病毒没有出现之前就形成防御墙，避免病毒带来的损失。 １．通用漏洞利用阻截技术 正如只有形状正确的钥匙才能打开锁一样，当新漏洞出现时，研究人员可以描述经过网络到达漏洞计算机，并利用该漏洞实施入侵的数据的特征。对照该“形状”特征，就可以检测并阻截具有该明显“形状”的任何攻击。 ２．行为阻截技术 在系统中实时监控各种程序行为，一旦出现与预定的恶意行为相同的行为就立即进行阻截。使用了带行为阻截技术的Symantec防病毒软件之后，防病毒软件将监视计算机上的所有外发电子邮件。如果该电子邮件有附件，则将对附件进行解码，并将其代码与计算机中启动此次电子邮件传输的应用程序相比较。如果非常相似，防病毒软件将终止此次传输，从而中断蠕虫的生命周期。 ３．精确的多层过滤反垃圾邮件技术 Symantec通过采用全面的、多层级的过滤技术来防御垃圾邮件。通过为电信运营商设计智能、多层的混合型病毒和垃圾邮件防护架构，可以优化全系统内混合型病毒和垃圾邮件事件的监控，以便及早发现、及时通报、快速处理，缩短响应时间，有效降低病毒可能造成的损失。建立多层、分布式的混合病毒和垃圾邮件防御架构，既与电信运营商现有行政管理模式相匹配，提高管理效率，同时又能体现“统一规划，分级管理”的思想，让各省级单位分担总部，地市级单位分担省公司的运行维护负担。 解决方案三大支柱 １．Symantec Network Security 7100系列入侵防护设备 SNS 7100系列是新一代的网络安全产品，同时具备IPS（入侵防御）和IDS（入侵检测）两项功能。作为成熟的IPS产品，SNS是自动防御的网络安全产品，无需人工干预，可自动检测、屏蔽网络入侵行为，减少用户用于日常维护的人力成本。SNS可以透明（inline）方式部署在用户网络中，不用修改用户网络结构，也不用修改交换机配置。配合产品自带的安全策略，实现了即插即用。 ２．Symantec Brightmail Antispam反垃圾邮件解决方案
一、贝叶斯过滤算法的基本步骤 1)、收集大量的垃圾邮件和非垃圾邮件，建立垃圾邮件集和非垃圾邮件集； 2)、提取邮件主题和邮件体中的独立字串例如 ABC32，￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。按照上述的方法分别处理垃圾邮件集和非垃圾邮件集中的所有邮件； 3)、每一个邮件集对应一个哈希表，Hashtable_Good对应非垃圾邮件集而Hashtable_Bad对应垃圾邮件集。表中存储TOKEN串到字频的映射关系； 4)、计算每个哈希表中TOKEN串出现的概率P=（某TOKEN串的字频）/（对应哈希表的长度）； 5)、综合考虑hashtable_good和hashtable_bad，推断出当新来的邮件中出现某个TOKEN串时，该新邮件为垃圾邮件的概率。数学表达式为： A事件——邮件为垃圾邮件; t1,t2 ,...,tn代表TOKEN串 则P（A|ti）表示在邮件中出现TOKEN串ti时，该邮件为垃圾邮件的概率。设 P1（ti）=（ti在hashtable_good中的值） P2（ti）=（ti在hashtable_ bad中的值） 则 P（A|ti）= P1（ti）/[（P1（ti）+ P2（ti）]； 6)、建立新的哈希表 hashtable_probability存储TOKEN串ti到P（A|ti）的映射； 7)、至此，垃圾邮件集和非垃圾邮件集的学习过程结束。根据建立的哈希表Hashtable_Probability可以估计一封新到的邮件为垃圾邮件的可能性。 当新到一封邮件时，按照步骤2）生成TOKEN串。查询hashtable_probability 得到该TOKEN 串的键值。 假设由该邮件共得到N个TOKEN串，t1,t2…….tn, hashtable_probability 中对应的值为P1，P2，。。。。。。PN，P(A|t1 ,t2, t3……tn)表示在邮件中同时出现多个TOKEN串t1,t2…….tn时，该邮件为垃圾邮件的概率。
基于机器学习的多级垃圾邮件过滤系统研究与设计[摘要] 传统的垃圾邮件过滤方法只是单方面的从邮件系统管理员的角度 将邮件理解为“垃圾邮件”和“合法邮件”两类进行二元处理，很少考虑不同用户对垃圾邮件概念的不同理解和定义，没有更多的从用户角度来过滤和处理垃圾邮件。本文设计了一种面向用户的多层过滤系统，该系统融合了多种机器学习方法，能够在服务器端针对不同的用户采取不同的过滤方案，使用户收到垃圾邮件的概率更小，提高邮件系统的服务质量。 [关键词] 垃圾邮件机器学习系统设计 1.0B0B引言 随着Intemet的快速发展，电子邮件作为一快捷、经济的通信方式得到了普及，已成为人们日常交流沟 通的手段和企业运转的重要组成部分。然而当前网络中垃圾邮件的泛滥，引起了广大研究者的极大关注，并提出了垃圾邮件问题的多种解决方法。其中基于内容的垃圾邮件过滤主要借鉴机器学习的方法具有一定的“自我学习”能力，是解决垃圾邮件的重要方法[1]。然而当前的垃圾邮件过滤产品琳琅满目，反垃圾邮件系统很少考虑不同用户对垃圾邮件的不同认定，垃圾邮件数量并没有减少。 针对垃圾邮件泛滥的现状和当前垃圾邮件产品存在的上述不足，本文设计了一种面向用户的多层过滤系统，该系统融合了多种机器学习方法，能够在服务器端针对不同的用户采取不同的过滤方案。并且本系统不直接依赖具体的邮件系统，能够和不同邮件系统实现简单集成，具有较强的可移植性。 2.系统研究与设计 2.1系统工作流程 系统工作流程图如图1所示，邮件过滤包括初步过滤、个性化过滤两个主要模块。在初步过滤阶段系统将到达的邮件分为确定合法的邮件、不确定的邮件、确定的垃圾邮件三大类。个性化模块再对不确定的邮件进行分级，将分级后的邮件送入用户邮箱中。同时个性化过滤模块也从用户邮箱中提取用户信息，以指导分级。 2.2 初步过滤模块工作流程 在初步过滤模块，邮件到达系统后，先根据邮件发送者的地址进行黑名单/白名单过滤。黑名单/白名单可以从Spamhaus、RBL服务器获取。邮件预处理模块先对邮件进行分词，英文邮件分词较为容易，中文邮件则由于中文的特殊性使得分词较为困难。本系统采用文献[2]介绍中文实时分词算法，该算法采利用TRIE
中海油垃圾邮件解决方案 应用背景： 在近几年的时间里，大型传统行业随着电子信息化的大力推进，依赖网络开展业务和管理的模式逐渐普遍，而信息系统面临垃圾邮件的威胁也不可避免地呈指数级增长，垃圾邮件占电子邮件总通讯量的比例达到了75%以上，而这一数字在三年前仅为8%；与此同时，垃圾邮件的类型以及发送手段也愈加复杂化、多样化，电子邮件一跃成为病毒的主要传播方式；这一系列的变化对大型传统行业信息系统网络构成了严重的威胁， 中海油网络现状： 本次采用梭子鱼垃圾邮件防火墙的客户是中国最大的国家石油公司之一——中国海洋石油总公司（以下简称中国海油）。其是中国最大的海上油气生产商，公司成立于1982年，注册资本500亿元人民币，总部位于北京，现有员工4.4万人。 公司的内部管理和海外业务拓展，随着网络系统的建设而日益高效便利，只是伴随着病毒、木马、间谍软件的垃圾邮件对公司的危害已经到了非治理不可的地步：公司形象——这是电子邮件使用者的第一大问题，由于垃圾邮件的泛滥，对于中海油而言，可能造成员工弃用本公司邮箱，这不仅对公司以前网络建设的投入造成浪费，且有损公司在客户和公众心中的形象。 降低工作效率——使用者会浪费无谓的时间阅读并处理这些无用的电子邮件，而工作效率降低被认为是公司因垃圾邮件所导致的最大损失。 不当内容——垃圾邮件中可能包含攻击性文字，大多是政党攻击，此种邮件可能会伤害特定的群组，甚至牵连公司受到行政审查。此外，还有相当数量的色情、非法宗教、以及其他与国家法规相悖的信息，这些都将对收件人造成不同程度的冲击。 浪费IT资源——进入网络的大量垃圾邮件，会影响公司的网络使用带宽。 对安全和隐私造成危害——例如邮件病毒、Phisher诈骗邮件、身份盗窃信等，会造成公司及个人信息的外泄或流失等。 现代垃圾邮件技术和危害： 当前的垃圾邮件发送已经成为跨国性的、有组织的犯罪行为，单靠一个国家的行政力量或单纯依靠公司IT部门自有技术很难应对，因此中海油主动采取了相应手段，防御垃圾邮件的威胁。 电子邮件系统目前是中海油的关键业务系统之一，所有Internet电子邮件均统一发送到总邮件服务器，由邮件服务器通过网络分发到各分支机构的电子邮件客户端。目前邮件网关服务器，主要用于收发INTERNET邮件，操作系统Windows 2003，邮件系统为Exchange 20000，前置机部署在DMZ区，后台主要收发邮件的服务器部署位置在内部防火墙后边，高峰期邮件数大约为700－1000左右，每天的电子邮件流量在5万封左右。 目前大量垃圾邮件、病毒邮件通过电子邮件系统传播，并不定期对中海油邮件服务器进行洪水攻击、DDos攻击、列举式字典攻击等，初步估计5%左右的电子邮件为病毒邮件，而垃圾邮件数量占邮件总数量的85%以上，而这些垃圾邮件给邮件系统带来了大量潜在威胁： 钓鱼式攻击； 木马； 间谍软件； 病毒； 后门程序
０ 引言 垃圾邮件的泛滥，已经对互联网和现实社会造成了危害。对垃圾邮件的治理已成为与抗击网络病毒并列的重任。１ 垃圾邮件的概况 所谓垃圾邮件，包括下述属性的电子邮件： 收件人事先没有提出要求或者同意接收的广告、电子刊物、各种形式的宣传品等宣传性质的电子邮件；收件人无法拒收的电子邮件；隐藏发件人身份、地址、标题等信息的电子邮件；含有虚假的信息源、发件人、路由等信息的电子邮件。 垃圾邮件的分类从内容上看，主要是商业广告性质的邮件；另外，有少量政治，团体组织的宣传邮件。从邮件的发送形式上看，有直接发送和第三方转发两种。 所谓直接发送，就是邮件的发送者使用自己的服务器，ＩＰ 地址，自己的网络资源传送这些邮件。目前使用更多的是使用第三方服务器转发。对于这种垃圾邮件，只要关闭有关服务器的转发功能就可以了。 垃圾邮件的危害。占用网络带宽，造成邮件服务器拥塞，进而降低整个网络的运行效率；侵犯收件人的隐私权，侵占收件人信箱空间，耗费收件人的时间、精力和金钱。有的垃圾邮件还盗用他人的电子邮件地址做发信地址，严重损害了他人的信誉；被黑客利用成助纣为虐的工具；严重影响ＩＳＰ的服务形象， ＩＳＰ每年因垃圾邮件要失去７．２％的用户；妖言惑众，骗人钱财，传播色情等内容的垃圾邮件，已经对现实社会造成了危害。 ２ 技术上的应对措施 ２．１ 找出真正发件人 垃圾邮件一般采用了群发软件发送，发信人的地址是可以任意伪造的，查看信头可以让您找到真正的发件人。查看信头的方法是： （１）如果您是在Ｗｅｂ页面上看邮件的话，直接打开邮件，点击信件显示页面上方菜单中的“原文”，就可以看到信头。 （２）如果是用Ｏｕｔｌｏｏｋ Ｅｘｐｒｅｓｓ来收信的话，指向邮件，不要打开，点击鼠标右键，看信件的属性，再点击详细资料，就可以看到信头。如果有ｓｅｎｄｅｒ的话，ｓｅｎｄｅｒ后面就是真正的发件人；如果没有ｓｅｎｄｅｒ，最后一个ｒｅ－ｃｅｉｖｅｄ ｆｒｏｍ就是发件人所用的ＳＭＴＰ服务器。 Ｒｅｃｅｉｖｅ语句的基本表达格式是：ｆｒｏｍ Ｓｅｒｖｅｒ Ａ ｂｙＳｅｒｖｅｒ Ｂ，Ｓｅｒｖｅｒ Ａ为发送服务器，Ｓｅｒｖｅｒ Ｂ为接收服务器。 例如： ＲｅｔｕｒｎＰａｔｈ：＜ｏｗｎｅｒｅｎｅｗｓｄａｉｌｙ＠ｅｎｅｔ．ｃｏｍ．ｃｎ＞ Ｒｅｃｅｉｖｅｄ：ｆｒｏｍ ｎｓ．ｅｎｅｔ．ｃｏｍ．ｃｎ （［２０２．１０６．１２４．１６７］） ｂｙｍａｉｌ．７７７．ｎｅｔ．ｃｎ（８．９．３／８．８．７） ｗｉｔｈ ＳＭＴＰ ｉｄ ＴＡＡ１３０４３； Ｔｈｕ， ２８ Ｏｃｔ １９９９ １９：５１：２８ ＋０８００ Ｒｅｃｅｉｖｅｄ：（ｆｒｏｍ ｌｉｓｔ＠ｌｏｃａｌｈｏｓｔ） ｂｙ ｎｓ．ｅｎｅｔ．ｃｏｍ．ｃｎ （８．９．３／８．９．０） ｉｄ ＲＡＡ１９７１４ ｆｏｒ ｅｎｅｗｓｄａｉｌｙｌｉｓｔ；Ｔｈｕ， ２８ Ｏｃｔ １９９９ １７：５０：３０ ＋０８００ Ｒｅｃｅｉｖｅｄ：ｆｒｏｍ ｃｈｉｎａｎｅｔｗｅｅｋ．ｃｏｍ （［２１０．７２．２３５．２１８］） ｂｙ ｎｓ．ｅｎｅｔ．ｃｏｍ．ｃｎ （８．９．３／８．９．０） ｗｉｔｈ ＥＳＭＴＰ ｉｄ ＲＡＡ１９６９０ ｆｏｒ ＜ｅｎｅｗｓｄａｉｌｙ＠ｅｎｅｔ．ｃｏｍ．ｃｎ＞； Ｔｈｕ， ２８ Ｏｃｔ １９９９ １７：５０：２８ ＋０８００ Ｒｅｃｅｉｖｅｄ： ｆｒｏｍ ｃｈｉｎａｎｅｔｗｅｅｋ．ｃｏｍ （［１０．１．２．１０５］） ｂｙ ｃｈｉｎａｎｅｔｗｅｅｋ．ｃｏｍ （８．９．３／８．９．０） 作者简介：隆益民（１９６５－） ，男，副教授，硕士，研究方向为计算机及网络安全。 垃圾邮件的危害及应对措施 摘要：电子邮件是人们生活中加强沟通的重要交流工具，但垃圾邮件的泛滥已经使整个因特网不堪重负，垃圾邮件严重影响了人们使用互联网。治理垃圾邮件已成为与抗击网络病毒并列的重任。我国就垃圾邮件的处理上尚未制订相关的法律。也可参照国际通行的做法，针对垃圾邮件制订的较为严格的法律和规定，对垃圾邮件问题进行立法研究，从行政管理和法律角度加强对垃圾邮件的管理。 关键词：反垃圾邮件；群发；ＩＤ；电子邮票；黑名单；法律 隆益民 广东女子职业技术学院 计算机系 广东 ５１１４５０
机器学习实训实验报告（四） 专业班级学号姓名实验项目名称：利用朴素贝叶斯过滤垃圾邮件 实验内容： 1、了解概率分类器的意义，理解条件概率的计算方法 2、了解朴素贝叶斯的理论知识，了解基于以上理论知识构建分类器的方法 3、根据朴素贝叶斯的一般步骤进行过滤垃圾邮件的任务 实验过程： 算法分析： 简介： 朴素贝叶斯算法的分类模型是基于Bayes定理的，下面就简单介绍一下Bayes定理．设X为一个类别未知的数据样本，H为某个假设，C表示类别集合，若数据样本X属于一个特定的类别c，那么分类问题就是决定P(H/X)，即在获得数据样本X时，H假设成立的概率．由于P(H),P(X), P(X/H)的概率值可以从（供学习使用的）数据集合中得到，Bayes 定理描述了如何根据P(H), P(X),P(X/H)计算获得的P(H/X)，有关的具体公式定义描述如下 算法过程： 我们假设训练集为m个样本n个维度，如下： (x(1)1,x(1)2,...x(1)n,y1),(x(2)1,x(2 )2,...x(2)n,y2),...(x(m)1,x(m)2,...x( m)n,ym)(x1(1),x2(1),...xn(1),y1),( x1(2),x2(2),...xn(2),y2),...(x1(m),x 2(m),...xn(m),ym) 共有K个特征输出类别，分别为C1,C2,...,CKC1,C2,...,CK,每个特征输出类别的样本个数为 m1,m2,...,mKm1,m2,...,mK,在第k 个类别中，如果是离散特征，则特征XjXj各个类别取值为mjlmjl。其中l取值为源程序代码： from numpy import * import re def loadDataSet(): #文档集合 postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] classV ec = [0,1,0,1,0,1] #类别：1代表侮辱性文字，0代表正常 return postingList,classVec #函数说明:将切分的词条整理成不重复的词条列表 def createV ocabList(dataSet): vocabSet = set([]) ##创建一个空的不重复列表 for document in dataSet: vocabSet = vocabSet | set(document) #取并集 return list(vocabSet) #函数说明:根据vocabList，将inputSet向量化，每个元素为1或0 def setOfWords2Vec(vocabList, inputSet): returnVec = [0]*len(vocabList) #创建一个其中所含元素都为0的向量 for word in inputSet: #遍历每个词条 if word in vocabList: #如果词条存在于词汇表中，则置1 returnVec[vocabList.index(word)] = 1 else: print ("the word: %s is not in my Vocabulary!" % word) return returnVec #函数说明:朴素贝叶斯分类器训练函数 def trainNB0(trainMatrix,trainCategory): numTrainDocs = len(trainMatrix) #计算训练的文档数目 numWords = len(trainMatrix[0]) #计算每篇文档的词条数
垃圾邮件识别和过滤的方法 T大炮 北京理工大学计算机学院，北京100081 (1111111111@https://www.doczj.com/doc/196956843.html,) Methods for Identifying and Filtering Junk Mail or Spam T Biggun (Class 07111301,School of Computer Science, Beijing Institute of Technology, Beijing 100081) Abstract Identifying and Filtering Spam is an important research subject in computer network. In this thesis, I have studied the history of spam filtering technology, which mainly includes the first generation of rule-based filtering technology, the second generation of content-based filtering technology and the third generation of behavior-based filtering technology. 1. Rule-based filtering includes IP address based filtering, mail header based filtering. 2. Content-based filtering includes Bayesian filtering, Memory-based method, decision tree, Boosting method, Support Vector Machine (SVM), etc. 3. Behavior-based filtering includes Email data stream based filtering, mail header based filtering, sender reputation based filtering, mail fingerprint based filtering, behavioral characteristics weighted based filtering, etc. The spammers’ common spurious methods are summarized. Through the reference to large amount of anti-spam documents and data from home and broad, an analysis is made on existing anti-spam techniques and in particular the content-based spam filtering methods. Key words spam filtering; rule; content; text categorization; Na?ve Bayes; behavior 摘要垃圾邮件识别和过滤是计算机网络领域的一个重要研究课题。垃圾邮件识别和过滤目前已经发展出了三代技术，第一代过滤技术是基于规则的，例如：基于IP地址、基于邮件头的过滤技术。第二代过滤技术是基于内容的，例如：贝叶斯分类算法、Memory-Based方法、决策树、Boosting方法、支持向量机等方法。第三代过滤技术是基于行为的，例如：基于邮件数据流、基于邮件头信息、基于发送方信誉、基于邮件指纹、基于行为特征加权的决策树等过滤方法。本文归纳总结了当前垃圾邮件发送者经常采用的欺骗手段和方法，并参阅国内外大量反垃圾邮件文献和数据，对已有的垃圾邮件技术作出分析和总结，尤其是对基于内容的垃圾邮件过滤方法进行了研究。 关键词垃圾邮件过滤；规则；内容；文本分类；简单贝叶斯；行为 随着互联网的发展，垃圾邮件常常让人头痛不已，最新报告称美国为垃圾邮件第一大国，中国排名第三（图1）[1]。垃圾邮件问题如今已经成为一个社会热点，近些年来，研究人员们提出了很多垃圾邮件识别和过滤的方法。这些方法的发展经历了三代，第一代过滤技术是基于规则的，例如：基于IP地址、基于邮件头的过滤技术。第二代过滤技术是基于内容的，例如：贝叶斯分类算法、Memory-Based方法、决策树、Boosting方法、支持向量机等方法。第三代过滤技术是基于行为的，例如：基于邮件数据流、基于邮件头信息、基于发送方信誉、基于邮件指纹、基于行为特征加权的决策树等过滤方法。本文归纳总结了当前垃圾邮件发送者经常采用的欺骗手段和方法，并参阅国内外大量反垃圾邮件文献和数据，对已有的垃圾邮件技术作出分析和总结，尤其是对基于内容的垃圾邮件过滤方法进行了研究。
https://www.doczj.com/doc/196956843.html,/art/200709/56068.htm 2.5 防垃圾邮件配置 垃圾电子邮件或垃圾邮件是从一个源位置发出的、意欲同时广播到许多邮箱的邮件。根据行业评估，在收到的电子邮件中，40%或更多的邮件被判定为垃圾邮件。这种增长的垃圾邮件流将继续为组织带来难题。垃圾邮件不仅仅是一种麻烦；如果将它可能造成的生产效率降低和处理垃圾邮件所需要的额外资源都考虑进去，会发现这是一个代价很昂贵的问题。 Microsoft Exchange Server 2003通过多项技术阻止接收垃圾邮件，具体有以下几项。 1．实时阻止列表服务提供程序支持 "实时阻止列表"中保存着已知垃圾邮件源的Internet协议（IP）地址列表。这些列表包括源地址以及一些被配置为开放中继的服务器或拨号用户账户列表。Exchange 2003向"实时阻止列表"服务提供程序发送每个传入的简单邮件传输协议（SMTP）连接的IP地址，然后该提供程序向运行Exchange的服务器返回状态码。根据返回的状态码和管理配置，Exchange可能不接受电子邮件，同时向发件人发送相应的错误代码。使用Exchange 2003可以配置多个"实时阻止列表"提供程序。 2．全局拒绝与接受列表 Exchange 2003管理员可以为那些总是被接受或被拒绝访问的电子邮件维护一个发送IP地址列表。"接受"列表。可以在"接受"列表上维护安全的合作伙伴和客户的IP地址以便于访问。 "拒绝"列表。可以将已知的冒犯者添加到"拒绝"列表中。可以使用此列表来阻止来自以下服务器的连接：不想从其接收电子邮件，而且它们可能不显示在提供程序"实时阻止列表"（如果配置了此列表）中。 3．发件人过滤 可以相应地配置Exchange发件人过滤器，使之检查每封传入的电子邮件的"发件人"地址并将此地址与阻止发件人列表进行比较。如果查到了匹配项，可以将Exchange配置为丢弃此连接或存档此邮件。4．入站收件人过滤 管理员可以通过设置收件人过滤功能来阻止预定发送给无效收件人（Windows Active Directory目录服务中没有的地址）或发送给受限制的邮件地址的电子邮件。 垃圾邮件通常来自假地址，因此，以前每当Exchange向发件人返回未送达报告（NDR）时，都会浪费一些资源。Exchange 2003应用了收件人过滤功能，因而可以在SMTP会话期间拒绝发送给不存在的或被阻止的收件人的邮件。这种过滤功能可以避免Exchange使用宝贵的资源向发件人返回NDR。5．对于向SMTP虚拟服务器进行提交和利用SMTP虚拟服务器进行中继增强了限制能力 通过使用Exchange 2003，可以指定允许哪些用户组向SMTP虚拟服务器提交电子邮件。这可以帮助阻止不需要的通信使用Exchange。例如，垃圾邮件制造者可以利用对中继开放的服务器，通过这些服务器发送电子邮件，从而制造出邮件发自这些服务器的假象。许多"实时阻止列表"中之所以列出对中继开放的服务器的IP地址，其原因就在于此。 6．与Outlook 2003和Outlook Web Access阻止列表及安全列表集成 Outlook 2003包含的一些功能可帮助用户阻止每天收到的大量不需要的电子邮件。这些功能可以使用户控制他们接收什么样的邮件以及接收谁的邮件。Outlook 2003还提供了一组专用于与Exchange 2003一起帮助用户防范垃圾邮件的功能。 7．垃圾邮件过滤器 Outlook 2003采用了由Microsoft研究院开发的最先进的技术。这种功能利用了若干因素（如邮件的时间和内容）来判定是否将一个邮件视为垃圾邮件。此过滤器并不挑出任何特定发件人或特定类型的电子邮件。邮件处理是基于邮件内容进行的，同时邮件处理还使用对邮件结构的高级分析功能来确定
垃圾邮件防护系统分析与应用方法 【内容提要】: 随着联机上网费用日趋便宜，发送电子邮件广告几近零成本又有利可图，因此造成垃圾邮件如今日混乱猖獗的现况。针对这种问题，许多公司研究出许多垃圾邮件防护和过滤机制产品，本文将对垃圾邮件的有关防护过滤技术和解决方法作一个基本介绍。 【关键词】：垃圾邮件、邮件防护、技术分析、AFS、华硕、过滤、机制 引言---------- 随着互联网的蓬勃发展，E-mail信息的传播达到了前所未有的广度和深度。同时不请自来的电子邮件也以各种形式闯入我们的邮箱- 商品推销、诈骗、政治或宗教抨击、病毒载体以及无法归类的稀奇古怪的形式。有些人每天甚至要收到100 到200 封这样的垃圾电子邮件（甚至更多）。因为更多的人开始使用英特网的关系（自因特网建立以来，人数飞速增长），对于商人、小贩、想入非非者以及蓄意破坏者而言，可以无偿地联系到数目巨大的各类人，诱惑力变得难以抵挡，自此大量的垃圾邮件在世界的各个角落产生，并瞬间传递到世界其他任何地方，这种费时且消耗CPU 的破坏行为迅速对经济产生了极大的负面影响。 现今越来越多的人开始意识到垃圾邮件的传递所带来的严重后果，并不断提出防治的新需求。 一垃圾邮件的定义 一封完整的电子邮件包含以下项目：邮件信封Mail Envelope、邮件标题Mail Header、邮件本文Mail Body 与邮件附檔Mail Attachment。电子邮件传输处理分为两阶段：邮件传输代理Mail Transfer Agent (简称MTA)，例如邮件服务器，以及与邮件使用代理Mail User Agent (简称MUA)，例如Outlook 或Outlook Express。 如果以邮件內容定义垃圾邮件，容易随个人主观认定而异；对银行业、娛乐业，广告业而言，包含其他银行贷款广告、色情广告的邮件，可能是种具有价值的市场资讯，而非垃圾邮件；因此，必需依邮件行为始能，依众人认知、法律规范与国际法规逐一精确定义何为垃圾邮件。 1. 众人认知：不请自來、来路不明、无法拒绝之邮件。 2. 法律规范：造成骚扰、匿名文书或嫁祸他人之邮件。 3. 国际法规： 2003 年底美国立法明定「Can Spam」垃圾邮件法规「Can Spam」字面表示可以「Spam」，惟有「但书」，寄件者必须表明身分，让收件者可以追溯来源不可以匿名、伪造，或者刻意隐匿或篡改资讯等行为发送电子邮件；发送方式方式不可为垃圾邮件滥发者(Spammer) 慣用之垃圾邮件滥发方式或程式，如借用邮件代替(Open Relay)、出现过多邮件转(Received) 或机器自动发送，以及不断尝试各种进入企业信箱方法等，必须提供收件者「选择权」，具有「取消订阅」机制。 综上所述，垃圾邮件之所以恼人并不是因为內容无趣不吸引人，而在于大量滥发，任意长驱直入收信者电子邮件信箱。 二邮件信息安全的影响
TOM网 反垃圾系统实施解决方案 客户项目建议书 Barracuda Networks (Shanghai) Co.,Ltd.
2005-12-21 第一章前言: 企业防治垃圾的重要性 在近几年的时间里，企业面临垃圾的威胁成指数级增长，垃圾占电子总通讯量的达到60%以上，而这一数字在三年前仅为8%；与此同时，垃圾的类型以及发送手段也愈加复杂化、多样化； 电子也一跃成为病毒的主要传播方式；这一系列的变化对企业网络构成了严重的威胁，这种威胁不仅仅是造成用户时间的损失，还包括系统资源的损耗，严重的还造成系统破坏。 因此，如何保护企业免受病毒及垃圾的侵袭，保证网络及企业信息安全成为每位网络或系统管理员的第一责任，也是企业信息化分管领导的重要职责所在。 垃圾对企业造成的危害： 1.垃圾已占全球电子的69%。（亚洲经济，2005年6月）在国际上每天有超过200亿封垃圾被发送 出去，2003年全国有470亿封流入了用户信箱，平均每人每天收到2.85封垃圾。根据IDC的分
析，到2006年，垃圾数量将在2003年数量的增加一倍。 ※根据Radicatti group预估调查(June，2003)，到2007年全球垃圾将占所有Email流量的70% 2.据Ferris Research研究报导指出，垃圾电子每年让美国及欧洲企业分别损失高达89亿美元 和25亿美元。(其中40亿美元是因员工删除垃圾而造成工作效率的降低，平均删除1封垃圾得花4.4秒钟。37亿美元的花费，是为了应对超大量的资料流量，企业因而添购带宽及性能更佳的服务器，其余的损失则是公司为降低员工因垃圾产生的困扰，为员工提供的支持的费用。) 3.除了上述金额的损失之外，垃圾对企业的损害还可归类为： ◆消费者的信任——这是电子使用者的第一大问题，由于垃圾的泛滥，用户失去了对电子 的信任；据调查约有29%的用户因此而减少了电子的使用，对于企业而言，则可能造成员 工弃用企业，这不仅对企业以前网络投入的浪费，且有损企业形象。 ◆降低工作效率—使用者会浪费无谓的时间阅读并处理这些无用的电子。使用者工作效率 降低被认为是企业因垃圾所导致的最大损失。 ◆不当容—垃圾中可能包含攻击性文字，大多是人身攻击，此种可能会伤害特定的个人或 群组。此外，还有相当数量的与、非法、以及其他与国家法规相悖的信息，也将对收件 人造成不同程度的冲击。 ◆浪费IT资源—进入网络的大量垃圾，会影响企业的网络使用带宽。
反垃圾邮件网关的技术规范 一、邮件网关要求 1、基本要求 （1）采用专用的硬件平台,自身安全性高、稳定性好。保证邮件网关系统的稳定性和性能，确保邮件网关设备不会成为网络系统的性能瓶颈。 （2）优越的系统性能。每小时处理的邮件流量和对收发邮件的处理内容扫描速度在同类产品中领先，支持标准SMTP和POP3协议，适用于任何支持上述邮件协议的邮件系统。 （3）要求通过公安部防病毒网关产品认证和防垃圾邮件认证，且同时拥有这两类安全产品的认证证书，最好能有河南省公安厅在本地的经营推荐证明。 （4）可以有效地实现电子邮件病毒过滤、内容过滤、垃圾邮件过滤,蠕虫过滤，阻断后门程序、DoS/DDoS等动态攻击行为。 （5）针对通过SMTP、POP3、HTTP、FTP等协议传输的内容进行过滤处理。 2、功能要求 （1）具备强大的反病毒功能 对所有进出站的邮件进行病毒扫描，应能够有效过滤普通病毒、邮件病毒、蠕虫病毒、木马活动，可以进行病毒邮件的隔离、删除、以及清除病毒的操作，支持病毒扫描引擎和病毒代码库的实时在线更新，及时遏制最新病毒的发作。为了保证系统的最佳性能，缓存扫描结果。 采用自主知识产权的成熟的防病毒引擎。 （2）能抵御对邮件服务器的各种攻击 全面防范针对传输层25端口攻击，防止邮件地址泄露，保障后端邮件系统的安全。提供最完善的防攻击体系，有效地防范针对邮件系统的各类攻击，包括邮件服务应用层的字典算法攻击、目录树攻击、多线程攻击、DHA攻击、DoS攻击等；邮件网关层的空文件攻击、多重病毒感染攻击、多重压缩攻击等。 （3）具有多层反垃圾邮件的防御结构 提供有力的、灵活的反垃圾邮件措施来保护邮件系统免受垃圾邮件的攻击，全面地防御垃圾邮件对邮件系统进行攻击。 所有的邮件都必须通过验证，才可以被发送至邮件系统；拒绝非法用户邮件的投递。 支持速率限制、并发连接、连接频率限制，防止拒绝服务攻击、保护网络带宽。防止邮件系统负担过重，造成正常邮件信息发送失败，
Orascom电信使用FortiMail垃圾邮件解决方案 Orascom电信是国际电信市场的领先运营商，最近它宣布将使用Fortinet 的统一威胁管理解决方案(Unified threat management，简称UTM)阻挡垃圾邮件。FORTINET是市场领先的网络安全提供商和全球解决方案的领先者。Orascom电信部署Fortinet的FortiMail是多层电子邮件安全平台，可保护企业电子邮件服务器和250万个用户不受垃圾邮件和病毒的侵害。 Orascom电信用户早在09年3月底就超过了8000万，同时，它又是中东，非洲和亚洲最大和综合性最强的运营商。所有企业总部和Orascom电信分支机构和制造商间的信息交换都是通过电子邮件，电子邮件是最大和重要的商业应用，企业所有人都要使用它。过去，公司安装在交换服务器上的第三方软件，无法解决大量的垃圾邮件问题。 为了解决上述面临的问题，Orascom经过对主要的电子邮件安全解决方案进行竞争性评估，决定选择Fortinet的FortiMail平台，因为这一解决方案的高精确性评分为99.8%。此外Orascom电信选择FortiMail解决方案还考虑到它的独一无二的架构选择，包括高使用率和透明模式的共享等。
飞塔长庆油田成功案例 一、用户概况描述 长庆石油公司隶属于中国石油天然气集团公司，总部设在中国西安。下设二级单位42个，职工总人数3.7万多人。下设的通信公司为长庆集团各公司办公及住宅区提供各种方式的网络服务及互联网接入业务。 长庆石油勘探局通信公司主要担负着长庆通信专网、长庆互联网的建设、运营、维护和管理。其管理的专用网是中国石油企业专用网内覆盖范围最大、业务种类最全的专用网之一，拥有近一亿元人民币的固定资产和近八万电话、计算机网络用户。 长庆互联网是以西安网控中心为核心，由西安园区网、庆阳园区网、银川园区网、延安园区网组成的通过100Mbps-1000Mbps带宽互联的计算机广域网。长庆互联网分别在西安以（400Mbps）、银川、庆阳以100Mbps带宽接入因特网，同时它与中国石油计算机专用网保持直联，是中国石油计算机专用网的重要组成部分。 二、用户安全需求 长庆油田的网络基本上可以划分为家属区接入，各园区办公网接入等。主要的安全需求是这样的： 1、整个网络所面临的问题是大量P2P、迅雷占据了网络的主要带宽，极大地降低了网络的使用率。 2、网络中的公网IP不是很多，需要防火墙作NAT转换和根据IP地址段和服务做大量的访问控制策略。 3、整个网络所面临着最为严重问题是，面临着来自Internet的各种网络层和应用层的安全威胁，如： a. 外网流窜进来的病毒、木马、蠕虫、间谍软件； b. 各种网络攻击和入侵； c. P2P、迅雷类的软件消耗了网络的可用资源。 d.垃圾邮件在内网肆虐，影响工作效率 三、推荐解决方案 由于不同的区域的安全需求不同，所以针对这两个区域各自进行了针对性的安全部署。
基于贝叶斯算法的JavaMail垃圾邮件过滤实现 刘岚，贾跃伟 武汉理工大学信息工程学院，武汉（430070） E-mail: simon_jia_2005@https://www.doczj.com/doc/196956843.html, 摘要：JavaMail 在中小型企业的邮件系统中有着广泛的应用，谨以贝叶斯算法为基础，提出并实现一套简单，高效的自适应垃圾邮件的过滤方案。它采用基于词熵的特征提取方法，在过滤的过程中不断的进行自学习，具有较强的自适应能力，最终通过阈值来判别邮件是否为垃圾邮件。 关键词：JavaMail；贝叶斯算法；垃圾邮件；自学习 1.引言 JavaMail是Sun发布的处理电子邮件的应用程序接口，预置了常用的邮件传送协议(如SMTP、POP、IMAP、NNTP)的实现方法，与JSP和QMAIL 结合开发出稳定可靠的企业级web mail系统，可以满足中小型企业的日常办公需求。 但目前这种办公邮箱最大的困扰是来自internet的大量以广告为目的垃圾邮件，尤其是在网站上对外公布的邮箱，其垃圾邮件的比例甚至达到了90%以上，日平均有20封以上的垃圾邮件，对邮箱使用造成了很大的不便，这是邮箱系统的开发和维护首要解决的问题。 2.反垃圾邮件过滤技术 2.1 基于黑白名单的过滤技术 此技术使用最早也最为常用，即是对于地址在白名单的服务器的邮件全部接收，对地址在黑名单的服务器的邮件全部拒收，国际和国内的一些反垃圾邮件组织会实时更新和提供一种实时的黑名单（Real Time Black List）的邮件服务器IP数据库，简称RBL，任何邮件服务器都可以订阅RBL以达到过滤垃圾邮件的目的[1]。 但这种方法缺点很也很明显：处理陌生邮件无能为力；需要不断更新和维护；效率不高容易误判。 2.2 基于加密信息的过滤技术 加密信息过滤技术主要是采用类似于公钥密码的一类方法，主要目的是对邮件发送者进行验证，防止目前泛滥的伪造域名和木马发送，域名密钥体制利用公钥技术和DNS构建一个域名层次的电子邮件来源和内容认证框架，简单的讲，即为发送邮件时候同时产生密钥和公钥，密钥跟随邮件，收件服务器从密钥中获取签名和域名，然后通过网络公钥验证通过后完成邮件的发送。 此种方法的缺点也显而易见，即使得邮件的网络传递负担加重，同时缺乏大规模的认证标准，使得目前阶段难以大范围的推广。 2.3 基于规则和统计的过滤技术 规则是指预设垃圾邮件关键词进行的邮件过滤，而其最大的缺点是实效性较差，不易维护，垃圾邮件往往通过关键词中增加特殊符号来躲避规则，同时也会使过滤缺乏弹性。 而贝叶斯过滤算法是一种典型的基于统计的垃圾邮件过滤技术，这种理论的基础是通过对大量垃圾邮件的常见关键词进行分析后得出其分布的统计模型，并由此推算目标是垃圾邮
●基于关键字和Bayesian 过滤器 最早的过滤器，主要是检索邮件主题和正文中的关键字，更高级些的过滤器，则采用了Bayesian算法，可以针对邮件提高过滤准确率。 ●Captcha技术 CAPTCHA 是“Completely Automated Public Turing test to tell Computers and Humans Apart”(全自动区分计算机和人类的图灵测试)的缩写，是一种区分用户是计算机和人的公共全自动程序。在一个CAPTCHA测试中，作为服务器的计算机会自动生成一个问题由用户来解答。这个问题可以由计算机生成并评判，但是必须只有人类才能解答。由于计算机无法解答CAPTCHA的问题，所以回答出问题的用户就可以被认为是人类。此种技术可以防止通过软件自动发送垃圾邮件的产生。
图5: CAPTCHA验证码 ●建立垃圾邮件黑白名单 与刚才讲的技术不同，这个是根据邮件服务而不是根据信息进行评估筛选，尤其是根据发件人以往行为记录进行分类管理： 黑名单是由世界各地数据库搜集来的，过滤器会根据这些黑名单检查每个进入的邮件，如果符合，那么就会拒绝接收邮件。 白名单同样也是来源于各地IP汇总。邮件过滤器一般既拥有黑名单又拥有白名单，以提高过滤效率。 在某些情况下，过滤器厂商会使用“信誉服务”或者“声誉名单”来区别他们的名单。
图6：先进的黑、白名单机制 ●Graylisting系统 收件人邮件系统暂时性拦截未名邮件，然后对该邮件发送者发送一封要求自动回复的邮件。一般而言，通过这种方式可以一定程度上阻止垃圾邮件的侵入，毕竟他们可没有耐心再发送一封回复邮件。 ●Tarpitting tarpitting是降低发送垃圾邮件的发件人大量发送电子邮件信息的方法。该方法的目的是维持合法用户在发送邮件时服务的高质量，但是由于这个方法的低反映率，使它不适用于发送垃圾邮件的人。 ●循环模式检测(RPD) 着重分析垃圾邮件发送的样式，RPD技术主要用在垃圾邮件侦测中心内，主动侦测与收集垃圾因特网上的邮件爆发行为样本，实时动态更新垃圾邮件攻击信息，发布给企业端的垃圾邮件网关服务器。Commtouch对于不安全行为引起的网络爆发有着直接的最有效的效果。