本科生毕业论文（设计）
题目： 垃圾邮件的过滤与处理
学 院 电子信息工程学院 学科门类 工科 专 业 电子信息工程 学 号 024532002 姓 名 孙明 指导教师 刘斌
2006年 4 月 5 日
装 订 线
河北大学本科生毕业论文（设计）开题报告
（学生用表）
装
订
线
河北大学本科生毕业论文（设计）中期报告
（学生用表）
装
订
线
河北大学本科生毕业论文（设计）计划进程表
（学生用表）
装
订
线
电信业防毒、反垃圾邮件解决方案 各种信息技术的不断发展为电信运营商带来了广阔的商机，同时也带来了新的威胁和风险。作为基础网络提供商的电信企业，影响最大、威胁最大的风险就是那些消耗基础带宽、影响网络性能的威胁，主要包括混合型病毒和各种垃圾邮件。 适于电信级业务的防御技术 Symantec的方案从“主动防御、主动反应”这一观点出发，协助运营商建立适用电信业务、可伸缩、抗打击的防病毒网络，可在最新的混合型病毒没有出现之前就形成防御墙，避免病毒带来的损失。 １．通用漏洞利用阻截技术 正如只有形状正确的钥匙才能打开锁一样，当新漏洞出现时，研究人员可以描述经过网络到达漏洞计算机，并利用该漏洞实施入侵的数据的特征。对照该“形状”特征，就可以检测并阻截具有该明显“形状”的任何攻击。 ２．行为阻截技术 在系统中实时监控各种程序行为，一旦出现与预定的恶意行为相同的行为就立即进行阻截。使用了带行为阻截技术的Symantec防病毒软件之后，防病毒软件将监视计算机上的所有外发电子邮件。如果该电子邮件有附件，则将对附件进行解码，并将其代码与计算机中启动此次电子邮件传输的应用程序相比较。如果非常相似，防病毒软件将终止此次传输，从而中断蠕虫的生命周期。 ３．精确的多层过滤反垃圾邮件技术 Symantec通过采用全面的、多层级的过滤技术来防御垃圾邮件。通过为电信运营商设计智能、多层的混合型病毒和垃圾邮件防护架构，可以优化全系统内混合型病毒和垃圾邮件事件的监控，以便及早发现、及时通报、快速处理，缩短响应时间，有效降低病毒可能造成的损失。建立多层、分布式的混合病毒和垃圾邮件防御架构，既与电信运营商现有行政管理模式相匹配，提高管理效率，同时又能体现“统一规划，分级管理”的思想，让各省级单位分担总部，地市级单位分担省公司的运行维护负担。 解决方案三大支柱 １．Symantec Network Security 7100系列入侵防护设备 SNS 7100系列是新一代的网络安全产品，同时具备IPS（入侵防御）和IDS（入侵检测）两项功能。作为成熟的IPS产品，SNS是自动防御的网络安全产品，无需人工干预，可自动检测、屏蔽网络入侵行为，减少用户用于日常维护的人力成本。SNS可以透明（inline）方式部署在用户网络中，不用修改用户网络结构，也不用修改交换机配置。配合产品自带的安全策略，实现了即插即用。 ２．Symantec Brightmail Antispam反垃圾邮件解决方案
一、贝叶斯过滤算法的基本步骤 1)、收集大量的垃圾邮件和非垃圾邮件，建立垃圾邮件集和非垃圾邮件集； 2)、提取邮件主题和邮件体中的独立字串例如 ABC32，￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。按照上述的方法分别处理垃圾邮件集和非垃圾邮件集中的所有邮件； 3)、每一个邮件集对应一个哈希表，Hashtable_Good对应非垃圾邮件集而Hashtable_Bad对应垃圾邮件集。表中存储TOKEN串到字频的映射关系； 4)、计算每个哈希表中TOKEN串出现的概率P=（某TOKEN串的字频）/（对应哈希表的长度）； 5)、综合考虑hashtable_good和hashtable_bad，推断出当新来的邮件中出现某个TOKEN串时，该新邮件为垃圾邮件的概率。数学表达式为： A事件——邮件为垃圾邮件; t1,t2 ,...,tn代表TOKEN串 则P（A|ti）表示在邮件中出现TOKEN串ti时，该邮件为垃圾邮件的概率。设 P1（ti）=（ti在hashtable_good中的值） P2（ti）=（ti在hashtable_ bad中的值） 则 P（A|ti）= P1（ti）/[（P1（ti）+ P2（ti）]； 6)、建立新的哈希表 hashtable_probability存储TOKEN串ti到P（A|ti）的映射； 7)、至此，垃圾邮件集和非垃圾邮件集的学习过程结束。根据建立的哈希表Hashtable_Probability可以估计一封新到的邮件为垃圾邮件的可能性。 当新到一封邮件时，按照步骤2）生成TOKEN串。查询hashtable_probability 得到该TOKEN 串的键值。 假设由该邮件共得到N个TOKEN串，t1,t2…….tn, hashtable_probability 中对应的值为P1，P2，。。。。。。PN，P(A|t1 ,t2, t3……tn)表示在邮件中同时出现多个TOKEN串t1,t2…….tn时，该邮件为垃圾邮件的概率。
垃圾邮件防护系统分析与应用方法 【内容提要】: 随着联机上网费用日趋便宜，发送电子邮件广告几近零成本又有利可图，因此造成垃圾邮件如今日混乱猖獗的现况。针对这种问题，许多公司研究出许多垃圾邮件防护和过滤机制产品，本文将对垃圾邮件的有关防护过滤技术和解决方法作一个基本介绍。 【关键词】：垃圾邮件、邮件防护、技术分析、AFS、华硕、过滤、机制 引言---------- 随着互联网的蓬勃发展，E-mail信息的传播达到了前所未有的广度和深度。同时不请自来的电子邮件也以各种形式闯入我们的邮箱- 商品推销、诈骗、政治或宗教抨击、病毒载体以及无法归类的稀奇古怪的形式。有些人每天甚至要收到100 到200 封这样的垃圾电子邮件（甚至更多）。因为更多的人开始使用英特网的关系（自因特网建立以来，人数飞速增长），对于商人、小贩、想入非非者以及蓄意破坏者而言，可以无偿地联系到数目巨大的各类人，诱惑力变得难以抵挡，自此大量的垃圾邮件在世界的各个角落产生，并瞬间传递到世界其他任何地方，这种费时且消耗CPU 的破坏行为迅速对经济产生了极大的负面影响。 现今越来越多的人开始意识到垃圾邮件的传递所带来的严重后果，并不断提出防治的新需求。 一垃圾邮件的定义 一封完整的电子邮件包含以下项目：邮件信封Mail Envelope、邮件标题Mail Header、邮件本文Mail Body 与邮件附檔Mail Attachment。电子邮件传输处理分为两阶段：邮件传输代理Mail Transfer Agent (简称MTA)，例如邮件服务器，以及与邮件使用代理Mail User Agent (简称MUA)，例如Outlook 或Outlook Express。 如果以邮件內容定义垃圾邮件，容易随个人主观认定而异；对银行业、娛乐业，广告业而言，包含其他银行贷款广告、色情广告的邮件，可能是种具有价值的市场资讯，而非垃圾邮件；因此，必需依邮件行为始能，依众人认知、法律规范与国际法规逐一精确定义何为垃圾邮件。 1. 众人认知：不请自來、来路不明、无法拒绝之邮件。 2. 法律规范：造成骚扰、匿名文书或嫁祸他人之邮件。 3. 国际法规： 2003 年底美国立法明定「Can Spam」垃圾邮件法规「Can Spam」字面表示可以「Spam」，惟有「但书」，寄件者必须表明身分，让收件者可以追溯来源不可以匿名、伪造，或者刻意隐匿或篡改资讯等行为发送电子邮件；发送方式方式不可为垃圾邮件滥发者(Spammer) 慣用之垃圾邮件滥发方式或程式，如借用邮件代替(Open Relay)、出现过多邮件转(Received) 或机器自动发送，以及不断尝试各种进入企业信箱方法等，必须提供收件者「选择权」，具有「取消订阅」机制。 综上所述，垃圾邮件之所以恼人并不是因为內容无趣不吸引人，而在于大量滥发，任意长驱直入收信者电子邮件信箱。 二邮件信息安全的影响
基于机器学习的多级垃圾邮件过滤系统研究与设计[摘要] 传统的垃圾邮件过滤方法只是单方面的从邮件系统管理员的角度 将邮件理解为“垃圾邮件”和“合法邮件”两类进行二元处理，很少考虑不同用户对垃圾邮件概念的不同理解和定义，没有更多的从用户角度来过滤和处理垃圾邮件。本文设计了一种面向用户的多层过滤系统，该系统融合了多种机器学习方法，能够在服务器端针对不同的用户采取不同的过滤方案，使用户收到垃圾邮件的概率更小，提高邮件系统的服务质量。 [关键词] 垃圾邮件机器学习系统设计 1.0B0B引言 随着Intemet的快速发展，电子邮件作为一快捷、经济的通信方式得到了普及，已成为人们日常交流沟 通的手段和企业运转的重要组成部分。然而当前网络中垃圾邮件的泛滥，引起了广大研究者的极大关注，并提出了垃圾邮件问题的多种解决方法。其中基于内容的垃圾邮件过滤主要借鉴机器学习的方法具有一定的“自我学习”能力，是解决垃圾邮件的重要方法[1]。然而当前的垃圾邮件过滤产品琳琅满目，反垃圾邮件系统很少考虑不同用户对垃圾邮件的不同认定，垃圾邮件数量并没有减少。 针对垃圾邮件泛滥的现状和当前垃圾邮件产品存在的上述不足，本文设计了一种面向用户的多层过滤系统，该系统融合了多种机器学习方法，能够在服务器端针对不同的用户采取不同的过滤方案。并且本系统不直接依赖具体的邮件系统，能够和不同邮件系统实现简单集成，具有较强的可移植性。 2.系统研究与设计 2.1系统工作流程 系统工作流程图如图1所示，邮件过滤包括初步过滤、个性化过滤两个主要模块。在初步过滤阶段系统将到达的邮件分为确定合法的邮件、不确定的邮件、确定的垃圾邮件三大类。个性化模块再对不确定的邮件进行分级，将分级后的邮件送入用户邮箱中。同时个性化过滤模块也从用户邮箱中提取用户信息，以指导分级。 2.2 初步过滤模块工作流程 在初步过滤模块，邮件到达系统后，先根据邮件发送者的地址进行黑名单/白名单过滤。黑名单/白名单可以从Spamhaus、RBL服务器获取。邮件预处理模块先对邮件进行分词，英文邮件分词较为容易，中文邮件则由于中文的特殊性使得分词较为困难。本系统采用文献[2]介绍中文实时分词算法，该算法采利用TRIE
中海油垃圾邮件解决方案 应用背景： 在近几年的时间里，大型传统行业随着电子信息化的大力推进，依赖网络开展业务和管理的模式逐渐普遍，而信息系统面临垃圾邮件的威胁也不可避免地呈指数级增长，垃圾邮件占电子邮件总通讯量的比例达到了75%以上，而这一数字在三年前仅为8%；与此同时，垃圾邮件的类型以及发送手段也愈加复杂化、多样化，电子邮件一跃成为病毒的主要传播方式；这一系列的变化对大型传统行业信息系统网络构成了严重的威胁， 中海油网络现状： 本次采用梭子鱼垃圾邮件防火墙的客户是中国最大的国家石油公司之一——中国海洋石油总公司（以下简称中国海油）。其是中国最大的海上油气生产商，公司成立于1982年，注册资本500亿元人民币，总部位于北京，现有员工4.4万人。 公司的内部管理和海外业务拓展，随着网络系统的建设而日益高效便利，只是伴随着病毒、木马、间谍软件的垃圾邮件对公司的危害已经到了非治理不可的地步：公司形象——这是电子邮件使用者的第一大问题，由于垃圾邮件的泛滥，对于中海油而言，可能造成员工弃用本公司邮箱，这不仅对公司以前网络建设的投入造成浪费，且有损公司在客户和公众心中的形象。 降低工作效率——使用者会浪费无谓的时间阅读并处理这些无用的电子邮件，而工作效率降低被认为是公司因垃圾邮件所导致的最大损失。 不当内容——垃圾邮件中可能包含攻击性文字，大多是政党攻击，此种邮件可能会伤害特定的群组，甚至牵连公司受到行政审查。此外，还有相当数量的色情、非法宗教、以及其他与国家法规相悖的信息，这些都将对收件人造成不同程度的冲击。 浪费IT资源——进入网络的大量垃圾邮件，会影响公司的网络使用带宽。 对安全和隐私造成危害——例如邮件病毒、Phisher诈骗邮件、身份盗窃信等，会造成公司及个人信息的外泄或流失等。 现代垃圾邮件技术和危害： 当前的垃圾邮件发送已经成为跨国性的、有组织的犯罪行为，单靠一个国家的行政力量或单纯依靠公司IT部门自有技术很难应对，因此中海油主动采取了相应手段，防御垃圾邮件的威胁。 电子邮件系统目前是中海油的关键业务系统之一，所有Internet电子邮件均统一发送到总邮件服务器，由邮件服务器通过网络分发到各分支机构的电子邮件客户端。目前邮件网关服务器，主要用于收发INTERNET邮件，操作系统Windows 2003，邮件系统为Exchange 20000，前置机部署在DMZ区，后台主要收发邮件的服务器部署位置在内部防火墙后边，高峰期邮件数大约为700－1000左右，每天的电子邮件流量在5万封左右。 目前大量垃圾邮件、病毒邮件通过电子邮件系统传播，并不定期对中海油邮件服务器进行洪水攻击、DDos攻击、列举式字典攻击等，初步估计5%左右的电子邮件为病毒邮件，而垃圾邮件数量占邮件总数量的85%以上，而这些垃圾邮件给邮件系统带来了大量潜在威胁： 钓鱼式攻击； 木马； 间谍软件； 病毒； 后门程序
《垃圾邮件隔离通知》使用说明 1 概述 为进一步提高院邮件系统拦截垃圾邮件的效率，减少垃圾邮件对用户的滋扰，院邮件系统在2009年4月28日，正式启用了新一代智能型反垃圾邮件系统。 新一代智能型反垃圾邮件系统不仅具有过滤效果好、运行稳定、负载低、延迟小的优势，而且利用其所采用的“空中拦截”、“行为识别”等连接层和内容层的反垃圾邮件技术，能够对Internet上出现的新型垃圾邮件进行零日防范。在部署新一代智能型反垃圾邮件系统的过程中，院邮件系统还根据广大用户的需求进行了二次开发，使其在充分发挥自身优势的基础上，能够更好的贴近中科院用户的实际需要。 新一代智能型反垃圾邮件系统正式启用后，院邮件系统日均过滤垃圾邮件的效率将会保持在90%以上。不仅如此，该系统还能够依据用户需求发送《垃圾邮件隔离通知》，从而方便用户查阅被系统隔离的垃圾邮件，允许用户自行筛选处理，以便将垃圾邮件的误拒率减少到最低。 2 《垃圾邮件通知》的使用方法 院邮件系统发送《垃圾邮件隔离通知》的发件人为abuse_digest@https://www.doczj.com/doc/ac3975002.html,，主题为“×年×月×日垃圾邮件隔离通知”，如图1所示。
图1 《垃圾邮件隔离通知》图示 当点击该邮件的主题后，系统将会显示通知的内容，其中列出了被反垃圾邮件系统隔离的疑似垃圾邮件，包括“发件人”、“主题”、“接收日期”、“大小”、“操作”等信息，如图2所示。 图2 《垃圾邮件隔离通知》样本 在图2所示的《垃圾邮件隔离通知》中，点击其中的“放行到收件箱”链接，系统将把选定的疑似垃圾邮件投递到收件人的邮箱，如图3所示。
图3 邮件成功投递后的系统提示 若点击图2中的疑似垃圾邮件主题，系统将会打开新窗口显示垃圾邮件的内容，如图4所示。 图4 打开新窗口显示垃圾邮件内容 在图4显示的垃圾邮件内容页面中，也设置了“放行”按钮，点击此按钮后，系统即把正在阅读的疑似垃圾邮件投递到收件人邮箱。 在院反垃圾邮件系统中，为每个用户都设置了个人白名单，在图2所示的《垃圾邮件隔离通知》中，点击其中的“添加白名单”链接，系统将把指定邮件的发
０ 引言 垃圾邮件的泛滥，已经对互联网和现实社会造成了危害。对垃圾邮件的治理已成为与抗击网络病毒并列的重任。１ 垃圾邮件的概况 所谓垃圾邮件，包括下述属性的电子邮件： 收件人事先没有提出要求或者同意接收的广告、电子刊物、各种形式的宣传品等宣传性质的电子邮件；收件人无法拒收的电子邮件；隐藏发件人身份、地址、标题等信息的电子邮件；含有虚假的信息源、发件人、路由等信息的电子邮件。 垃圾邮件的分类从内容上看，主要是商业广告性质的邮件；另外，有少量政治，团体组织的宣传邮件。从邮件的发送形式上看，有直接发送和第三方转发两种。 所谓直接发送，就是邮件的发送者使用自己的服务器，ＩＰ 地址，自己的网络资源传送这些邮件。目前使用更多的是使用第三方服务器转发。对于这种垃圾邮件，只要关闭有关服务器的转发功能就可以了。 垃圾邮件的危害。占用网络带宽，造成邮件服务器拥塞，进而降低整个网络的运行效率；侵犯收件人的隐私权，侵占收件人信箱空间，耗费收件人的时间、精力和金钱。有的垃圾邮件还盗用他人的电子邮件地址做发信地址，严重损害了他人的信誉；被黑客利用成助纣为虐的工具；严重影响ＩＳＰ的服务形象， ＩＳＰ每年因垃圾邮件要失去７．２％的用户；妖言惑众，骗人钱财，传播色情等内容的垃圾邮件，已经对现实社会造成了危害。 ２ 技术上的应对措施 ２．１ 找出真正发件人 垃圾邮件一般采用了群发软件发送，发信人的地址是可以任意伪造的，查看信头可以让您找到真正的发件人。查看信头的方法是： （１）如果您是在Ｗｅｂ页面上看邮件的话，直接打开邮件，点击信件显示页面上方菜单中的“原文”，就可以看到信头。 （２）如果是用Ｏｕｔｌｏｏｋ Ｅｘｐｒｅｓｓ来收信的话，指向邮件，不要打开，点击鼠标右键，看信件的属性，再点击详细资料，就可以看到信头。如果有ｓｅｎｄｅｒ的话，ｓｅｎｄｅｒ后面就是真正的发件人；如果没有ｓｅｎｄｅｒ，最后一个ｒｅ－ｃｅｉｖｅｄ ｆｒｏｍ就是发件人所用的ＳＭＴＰ服务器。 Ｒｅｃｅｉｖｅ语句的基本表达格式是：ｆｒｏｍ Ｓｅｒｖｅｒ Ａ ｂｙＳｅｒｖｅｒ Ｂ，Ｓｅｒｖｅｒ Ａ为发送服务器，Ｓｅｒｖｅｒ Ｂ为接收服务器。 例如： ＲｅｔｕｒｎＰａｔｈ：＜ｏｗｎｅｒｅｎｅｗｓｄａｉｌｙ＠ｅｎｅｔ．ｃｏｍ．ｃｎ＞ Ｒｅｃｅｉｖｅｄ：ｆｒｏｍ ｎｓ．ｅｎｅｔ．ｃｏｍ．ｃｎ （［２０２．１０６．１２４．１６７］） ｂｙｍａｉｌ．７７７．ｎｅｔ．ｃｎ（８．９．３／８．８．７） ｗｉｔｈ ＳＭＴＰ ｉｄ ＴＡＡ１３０４３； Ｔｈｕ， ２８ Ｏｃｔ １９９９ １９：５１：２８ ＋０８００ Ｒｅｃｅｉｖｅｄ：（ｆｒｏｍ ｌｉｓｔ＠ｌｏｃａｌｈｏｓｔ） ｂｙ ｎｓ．ｅｎｅｔ．ｃｏｍ．ｃｎ （８．９．３／８．９．０） ｉｄ ＲＡＡ１９７１４ ｆｏｒ ｅｎｅｗｓｄａｉｌｙｌｉｓｔ；Ｔｈｕ， ２８ Ｏｃｔ １９９９ １７：５０：３０ ＋０８００ Ｒｅｃｅｉｖｅｄ：ｆｒｏｍ ｃｈｉｎａｎｅｔｗｅｅｋ．ｃｏｍ （［２１０．７２．２３５．２１８］） ｂｙ ｎｓ．ｅｎｅｔ．ｃｏｍ．ｃｎ （８．９．３／８．９．０） ｗｉｔｈ ＥＳＭＴＰ ｉｄ ＲＡＡ１９６９０ ｆｏｒ ＜ｅｎｅｗｓｄａｉｌｙ＠ｅｎｅｔ．ｃｏｍ．ｃｎ＞； Ｔｈｕ， ２８ Ｏｃｔ １９９９ １７：５０：２８ ＋０８００ Ｒｅｃｅｉｖｅｄ： ｆｒｏｍ ｃｈｉｎａｎｅｔｗｅｅｋ．ｃｏｍ （［１０．１．２．１０５］） ｂｙ ｃｈｉｎａｎｅｔｗｅｅｋ．ｃｏｍ （８．９．３／８．９．０） 作者简介：隆益民（１９６５－） ，男，副教授，硕士，研究方向为计算机及网络安全。 垃圾邮件的危害及应对措施 摘要：电子邮件是人们生活中加强沟通的重要交流工具，但垃圾邮件的泛滥已经使整个因特网不堪重负，垃圾邮件严重影响了人们使用互联网。治理垃圾邮件已成为与抗击网络病毒并列的重任。我国就垃圾邮件的处理上尚未制订相关的法律。也可参照国际通行的做法，针对垃圾邮件制订的较为严格的法律和规定，对垃圾邮件问题进行立法研究，从行政管理和法律角度加强对垃圾邮件的管理。 关键词：反垃圾邮件；群发；ＩＤ；电子邮票；黑名单；法律 隆益民 广东女子职业技术学院 计算机系 广东 ５１１４５０
机器学习实训实验报告（四） 专业班级学号姓名实验项目名称：利用朴素贝叶斯过滤垃圾邮件 实验内容： 1、了解概率分类器的意义，理解条件概率的计算方法 2、了解朴素贝叶斯的理论知识，了解基于以上理论知识构建分类器的方法 3、根据朴素贝叶斯的一般步骤进行过滤垃圾邮件的任务 实验过程： 算法分析： 简介： 朴素贝叶斯算法的分类模型是基于Bayes定理的，下面就简单介绍一下Bayes定理．设X为一个类别未知的数据样本，H为某个假设，C表示类别集合，若数据样本X属于一个特定的类别c，那么分类问题就是决定P(H/X)，即在获得数据样本X时，H假设成立的概率．由于P(H),P(X), P(X/H)的概率值可以从（供学习使用的）数据集合中得到，Bayes 定理描述了如何根据P(H), P(X),P(X/H)计算获得的P(H/X)，有关的具体公式定义描述如下 算法过程： 我们假设训练集为m个样本n个维度，如下： (x(1)1,x(1)2,...x(1)n,y1),(x(2)1,x(2 )2,...x(2)n,y2),...(x(m)1,x(m)2,...x( m)n,ym)(x1(1),x2(1),...xn(1),y1),( x1(2),x2(2),...xn(2),y2),...(x1(m),x 2(m),...xn(m),ym) 共有K个特征输出类别，分别为C1,C2,...,CKC1,C2,...,CK,每个特征输出类别的样本个数为 m1,m2,...,mKm1,m2,...,mK,在第k 个类别中，如果是离散特征，则特征XjXj各个类别取值为mjlmjl。其中l取值为源程序代码： from numpy import * import re def loadDataSet(): #文档集合 postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] classV ec = [0,1,0,1,0,1] #类别：1代表侮辱性文字，0代表正常 return postingList,classVec #函数说明:将切分的词条整理成不重复的词条列表 def createV ocabList(dataSet): vocabSet = set([]) ##创建一个空的不重复列表 for document in dataSet: vocabSet = vocabSet | set(document) #取并集 return list(vocabSet) #函数说明:根据vocabList，将inputSet向量化，每个元素为1或0 def setOfWords2Vec(vocabList, inputSet): returnVec = [0]*len(vocabList) #创建一个其中所含元素都为0的向量 for word in inputSet: #遍历每个词条 if word in vocabList: #如果词条存在于词汇表中，则置1 returnVec[vocabList.index(word)] = 1 else: print ("the word: %s is not in my Vocabulary!" % word) return returnVec #函数说明:朴素贝叶斯分类器训练函数 def trainNB0(trainMatrix,trainCategory): numTrainDocs = len(trainMatrix) #计算训练的文档数目 numWords = len(trainMatrix[0]) #计算每篇文档的词条数
垃圾邮件识别和过滤的方法 T大炮 北京理工大学计算机学院，北京100081 (1111111111@https://www.doczj.com/doc/ac3975002.html,) Methods for Identifying and Filtering Junk Mail or Spam T Biggun (Class 07111301,School of Computer Science, Beijing Institute of Technology, Beijing 100081) Abstract Identifying and Filtering Spam is an important research subject in computer network. In this thesis, I have studied the history of spam filtering technology, which mainly includes the first generation of rule-based filtering technology, the second generation of content-based filtering technology and the third generation of behavior-based filtering technology. 1. Rule-based filtering includes IP address based filtering, mail header based filtering. 2. Content-based filtering includes Bayesian filtering, Memory-based method, decision tree, Boosting method, Support Vector Machine (SVM), etc. 3. Behavior-based filtering includes Email data stream based filtering, mail header based filtering, sender reputation based filtering, mail fingerprint based filtering, behavioral characteristics weighted based filtering, etc. The spammers’ common spurious methods are summarized. Through the reference to large amount of anti-spam documents and data from home and broad, an analysis is made on existing anti-spam techniques and in particular the content-based spam filtering methods. Key words spam filtering; rule; content; text categorization; Na?ve Bayes; behavior 摘要垃圾邮件识别和过滤是计算机网络领域的一个重要研究课题。垃圾邮件识别和过滤目前已经发展出了三代技术，第一代过滤技术是基于规则的，例如：基于IP地址、基于邮件头的过滤技术。第二代过滤技术是基于内容的，例如：贝叶斯分类算法、Memory-Based方法、决策树、Boosting方法、支持向量机等方法。第三代过滤技术是基于行为的，例如：基于邮件数据流、基于邮件头信息、基于发送方信誉、基于邮件指纹、基于行为特征加权的决策树等过滤方法。本文归纳总结了当前垃圾邮件发送者经常采用的欺骗手段和方法，并参阅国内外大量反垃圾邮件文献和数据，对已有的垃圾邮件技术作出分析和总结，尤其是对基于内容的垃圾邮件过滤方法进行了研究。 关键词垃圾邮件过滤；规则；内容；文本分类；简单贝叶斯；行为 随着互联网的发展，垃圾邮件常常让人头痛不已，最新报告称美国为垃圾邮件第一大国，中国排名第三（图1）[1]。垃圾邮件问题如今已经成为一个社会热点，近些年来，研究人员们提出了很多垃圾邮件识别和过滤的方法。这些方法的发展经历了三代，第一代过滤技术是基于规则的，例如：基于IP地址、基于邮件头的过滤技术。第二代过滤技术是基于内容的，例如：贝叶斯分类算法、Memory-Based方法、决策树、Boosting方法、支持向量机等方法。第三代过滤技术是基于行为的，例如：基于邮件数据流、基于邮件头信息、基于发送方信誉、基于邮件指纹、基于行为特征加权的决策树等过滤方法。本文归纳总结了当前垃圾邮件发送者经常采用的欺骗手段和方法，并参阅国内外大量反垃圾邮件文献和数据，对已有的垃圾邮件技术作出分析和总结，尤其是对基于内容的垃圾邮件过滤方法进行了研究。
TOM网 反垃圾系统实施解决方案 客户项目建议书 Barracuda Networks (Shanghai) Co.,Ltd.
2005-12-21 第一章前言: 企业防治垃圾的重要性 在近几年的时间里，企业面临垃圾的威胁成指数级增长，垃圾占电子总通讯量的达到60%以上，而这一数字在三年前仅为8%；与此同时，垃圾的类型以及发送手段也愈加复杂化、多样化； 电子也一跃成为病毒的主要传播方式；这一系列的变化对企业网络构成了严重的威胁，这种威胁不仅仅是造成用户时间的损失，还包括系统资源的损耗，严重的还造成系统破坏。 因此，如何保护企业免受病毒及垃圾的侵袭，保证网络及企业信息安全成为每位网络或系统管理员的第一责任，也是企业信息化分管领导的重要职责所在。 垃圾对企业造成的危害： 1.垃圾已占全球电子的69%。（亚洲经济，2005年6月）在国际上每天有超过200亿封垃圾被发送 出去，2003年全国有470亿封流入了用户信箱，平均每人每天收到2.85封垃圾。根据IDC的分
析，到2006年，垃圾数量将在2003年数量的增加一倍。 ※根据Radicatti group预估调查(June，2003)，到2007年全球垃圾将占所有Email流量的70% 2.据Ferris Research研究报导指出，垃圾电子每年让美国及欧洲企业分别损失高达89亿美元 和25亿美元。(其中40亿美元是因员工删除垃圾而造成工作效率的降低，平均删除1封垃圾得花4.4秒钟。37亿美元的花费，是为了应对超大量的资料流量，企业因而添购带宽及性能更佳的服务器，其余的损失则是公司为降低员工因垃圾产生的困扰，为员工提供的支持的费用。) 3.除了上述金额的损失之外，垃圾对企业的损害还可归类为： ◆消费者的信任——这是电子使用者的第一大问题，由于垃圾的泛滥，用户失去了对电子 的信任；据调查约有29%的用户因此而减少了电子的使用，对于企业而言，则可能造成员 工弃用企业，这不仅对企业以前网络投入的浪费，且有损企业形象。 ◆降低工作效率—使用者会浪费无谓的时间阅读并处理这些无用的电子。使用者工作效率 降低被认为是企业因垃圾所导致的最大损失。 ◆不当容—垃圾中可能包含攻击性文字，大多是人身攻击，此种可能会伤害特定的个人或 群组。此外，还有相当数量的与、非法、以及其他与国家法规相悖的信息，也将对收件 人造成不同程度的冲击。 ◆浪费IT资源—进入网络的大量垃圾，会影响企业的网络使用带宽。
毕业设计开题报告 基于DCT的图像数字水印技术的研究
基于DCT的图像数字水印技术研究 国内外研究现状： 20世纪80年代，索尼和菲利浦公司首次提出了数字媒体版权保护的方案SCMS(Serial copy management system)，数字水印技术也是在继数字隐藏技术后提出的一种数字媒体版权保护方案，发展到现在不仅仅局限于版权保护，也延伸到商务交易中的票据防伪、声像数据的隐藏标识和篡改提示、隐蔽通信及其对抗等领域。随着电子政务的广泛应用，其安全性问题也日益突出，电子政务所涉及的相当多的信息都带有机密性，除黑客攻击．病毒感染等来自网络的安全威胁外，也易受到来自系统应用的假冒用户登录、非法篡改等数据安全的威胁。我国现有的电子政务网络基础设施和系统安全解决方案大多是通过防火墙、入侵检测、漏洞扫描、网络隔离等技术和设备来保障系统的安全，这在一定程度上可以保证电子政务信息系统的安全，但仍存在着安全漏洞，我们在电子政务的建设中，除了必要的网络安全技术外，还必须重视对数字信息安全认证的问题。 数字水印技术为上述问题提供了一个有效的解决方案，是目前多媒体信息安全研究领域的一个热点。该技术采用信息处理技术把版权信息、认证信息等秘密信息，即水印，嵌入到原始数据中去，但不影响原内容的价值和使用，水印信息可以是产品的序列号、版权所有者的标志等认证信息。通过特定的算法恢复和检测被嵌水印后，可有效地分析信息失真的情况，判断信息是否被篡改，为版权所有者提供信息被盗版的有利证据。因此，一个实用的数字水印技术必须具有较强的鲁棒性、安全性和不可见性。 所谓数字水印技术，就是将代表数字媒体著作权人身份的特定信息、用户指定的标志或序列码等，按照某种方式嵌入被保护的信息中，在产生版权纠纷时，通过相应的算法提取出该数字水印，从而验证版权的归属，确保媒体著作权人的合法利益，避免非法盗版的威胁。被保护的信息是任何一种数字媒体，如软件、图像、音频、视频或一般性的电子文档等。数字水印是嵌在数字产品中的数字信号，水印的存在要以不破坏原数据的欣赏价值、使用价值为原则。
https://www.doczj.com/doc/ac3975002.html,/art/200709/56068.htm 2.5 防垃圾邮件配置 垃圾电子邮件或垃圾邮件是从一个源位置发出的、意欲同时广播到许多邮箱的邮件。根据行业评估，在收到的电子邮件中，40%或更多的邮件被判定为垃圾邮件。这种增长的垃圾邮件流将继续为组织带来难题。垃圾邮件不仅仅是一种麻烦；如果将它可能造成的生产效率降低和处理垃圾邮件所需要的额外资源都考虑进去，会发现这是一个代价很昂贵的问题。 Microsoft Exchange Server 2003通过多项技术阻止接收垃圾邮件，具体有以下几项。 1．实时阻止列表服务提供程序支持 "实时阻止列表"中保存着已知垃圾邮件源的Internet协议（IP）地址列表。这些列表包括源地址以及一些被配置为开放中继的服务器或拨号用户账户列表。Exchange 2003向"实时阻止列表"服务提供程序发送每个传入的简单邮件传输协议（SMTP）连接的IP地址，然后该提供程序向运行Exchange的服务器返回状态码。根据返回的状态码和管理配置，Exchange可能不接受电子邮件，同时向发件人发送相应的错误代码。使用Exchange 2003可以配置多个"实时阻止列表"提供程序。 2．全局拒绝与接受列表 Exchange 2003管理员可以为那些总是被接受或被拒绝访问的电子邮件维护一个发送IP地址列表。"接受"列表。可以在"接受"列表上维护安全的合作伙伴和客户的IP地址以便于访问。 "拒绝"列表。可以将已知的冒犯者添加到"拒绝"列表中。可以使用此列表来阻止来自以下服务器的连接：不想从其接收电子邮件，而且它们可能不显示在提供程序"实时阻止列表"（如果配置了此列表）中。 3．发件人过滤 可以相应地配置Exchange发件人过滤器，使之检查每封传入的电子邮件的"发件人"地址并将此地址与阻止发件人列表进行比较。如果查到了匹配项，可以将Exchange配置为丢弃此连接或存档此邮件。4．入站收件人过滤 管理员可以通过设置收件人过滤功能来阻止预定发送给无效收件人（Windows Active Directory目录服务中没有的地址）或发送给受限制的邮件地址的电子邮件。 垃圾邮件通常来自假地址，因此，以前每当Exchange向发件人返回未送达报告（NDR）时，都会浪费一些资源。Exchange 2003应用了收件人过滤功能，因而可以在SMTP会话期间拒绝发送给不存在的或被阻止的收件人的邮件。这种过滤功能可以避免Exchange使用宝贵的资源向发件人返回NDR。5．对于向SMTP虚拟服务器进行提交和利用SMTP虚拟服务器进行中继增强了限制能力 通过使用Exchange 2003，可以指定允许哪些用户组向SMTP虚拟服务器提交电子邮件。这可以帮助阻止不需要的通信使用Exchange。例如，垃圾邮件制造者可以利用对中继开放的服务器，通过这些服务器发送电子邮件，从而制造出邮件发自这些服务器的假象。许多"实时阻止列表"中之所以列出对中继开放的服务器的IP地址，其原因就在于此。 6．与Outlook 2003和Outlook Web Access阻止列表及安全列表集成 Outlook 2003包含的一些功能可帮助用户阻止每天收到的大量不需要的电子邮件。这些功能可以使用户控制他们接收什么样的邮件以及接收谁的邮件。Outlook 2003还提供了一组专用于与Exchange 2003一起帮助用户防范垃圾邮件的功能。 7．垃圾邮件过滤器 Outlook 2003采用了由Microsoft研究院开发的最先进的技术。这种功能利用了若干因素（如邮件的时间和内容）来判定是否将一个邮件视为垃圾邮件。此过滤器并不挑出任何特定发件人或特定类型的电子邮件。邮件处理是基于邮件内容进行的，同时邮件处理还使用对邮件结构的高级分析功能来确定
山东科技大学 本科毕业设计（论文）开题报告题目基于matlab在数字图像增强处理中的应用 学院名称测绘学院 专业班级测绘05级5班 学生姓名吴兆艳 学号0503016220 指导教师陶秋香 填表时间：2009年04月10日
填表说明 1.开题报告作为毕业设计（论文）答辩委员会对学生答辩资格审查的依据材料之一。 2.此报告应在指导教师指导下，由学生在毕业设计（论文）工作前期完成，经指导教师签署意见、相关系主任审查后生效。 3.学生应按照学校统一设计的电子文档标准格式，用A4纸打印。 4.参考文献不少于8篇，其中应有适当的外文资料（一般不少于2篇）。 5.开题报告作为毕业设计（论文）资料，与毕业设计（论文）一同存档。
设计（论文） 题目 Matlab在数字图像增强中的应用 设计（论文）类型（划“√”）工程设计应用研究开发研究基础研究其它 √ 一、本课题的研究目的和意义 在图像处理过程中，图像增强是十分重要的一个环节。本文的主要内容就是围绕图像增强部分的一些基本理论和算法而展开。用于几乎所有与成像有关的领域，并正发挥着相当重要的作用。它利用计算机对数字图像进行系列操作，从而获得某种预期的结果。对图像进行处理时，经常运用图像增强技术以改善图像的质量。在一般情况下，经过图像的传送和转换，如成像、复制、扫描、传输和显示等，经常会造成图像质量的下降。在摄影时由于光照条件不足或过度，会使图像过暗或过亮;光学系统的失真、相对运动、大气流动等都会使图像模糊;传输过程中会引入各种类型的噪声。总之，输入的图像在视觉效果和识别方便性等方面可能存在诸多问题，这类问题不妨统称为质量问题。由于目的、观点、爱好等的不同，图像质量很难有统一的定义和标准，但是根据应用要求改善图像质量却是一个共同的目标。图像增强是指根据特定的需要突出图像中的重要信息，同时减弱或去除不需要的信息。从不同的途径获取的图像，通过进行适当的增强处理，可以将原本模糊不清甚至根本无法分辨的原始图像处理成清晰的富含大量有用信息的可使用图像，有效地去除图像中的噪声、增强图像中的边缘或其他感兴趣的区域，从而更加容易对图像中感兴趣的目标进行检测和测量。图像增强的目的是增强图像的视觉效果，将原图像转换成一种更适合于人眼观察和计算机分析处理的形式。增强的效果通常都与具体的图像有关系，靠人的主观感觉加以评价。 目前图像增强处理的应用已经渗透到医学诊断、航空航天、军事侦察、指纹识别、无损探伤、卫星图片的处理等领域。如对X射线图片、TC影像、内窥镜图像进行增强，使医生更容易从中确定病变区域，从图像细节区域中发现问题;对不同时间拍摄的同一地区的遥感图片进行增强处理，侦查是否有敌人军事调动或军事装备及建筑出现;在煤矿工业电视系统中采用增强处理来提高工业电视图像的清晰度，克服因光线不足、灰尘等原因带来的图像模糊、偏差等现象，减少电视系统维护的量。图像增强技术的快速发展同它的广泛应用是分不开的，发展的动
反垃圾邮件网关的技术规范 一、邮件网关要求 1、基本要求 （1）采用专用的硬件平台,自身安全性高、稳定性好。保证邮件网关系统的稳定性和性能，确保邮件网关设备不会成为网络系统的性能瓶颈。 （2）优越的系统性能。每小时处理的邮件流量和对收发邮件的处理内容扫描速度在同类产品中领先，支持标准SMTP和POP3协议，适用于任何支持上述邮件协议的邮件系统。 （3）要求通过公安部防病毒网关产品认证和防垃圾邮件认证，且同时拥有这两类安全产品的认证证书，最好能有河南省公安厅在本地的经营推荐证明。 （4）可以有效地实现电子邮件病毒过滤、内容过滤、垃圾邮件过滤,蠕虫过滤，阻断后门程序、DoS/DDoS等动态攻击行为。 （5）针对通过SMTP、POP3、HTTP、FTP等协议传输的内容进行过滤处理。 2、功能要求 （1）具备强大的反病毒功能 对所有进出站的邮件进行病毒扫描，应能够有效过滤普通病毒、邮件病毒、蠕虫病毒、木马活动，可以进行病毒邮件的隔离、删除、以及清除病毒的操作，支持病毒扫描引擎和病毒代码库的实时在线更新，及时遏制最新病毒的发作。为了保证系统的最佳性能，缓存扫描结果。 采用自主知识产权的成熟的防病毒引擎。 （2）能抵御对邮件服务器的各种攻击 全面防范针对传输层25端口攻击，防止邮件地址泄露，保障后端邮件系统的安全。提供最完善的防攻击体系，有效地防范针对邮件系统的各类攻击，包括邮件服务应用层的字典算法攻击、目录树攻击、多线程攻击、DHA攻击、DoS攻击等；邮件网关层的空文件攻击、多重病毒感染攻击、多重压缩攻击等。 （3）具有多层反垃圾邮件的防御结构 提供有力的、灵活的反垃圾邮件措施来保护邮件系统免受垃圾邮件的攻击，全面地防御垃圾邮件对邮件系统进行攻击。 所有的邮件都必须通过验证，才可以被发送至邮件系统；拒绝非法用户邮件的投递。 支持速率限制、并发连接、连接频率限制，防止拒绝服务攻击、保护网络带宽。防止邮件系统负担过重，造成正常邮件信息发送失败，
Orascom电信使用FortiMail垃圾邮件解决方案 Orascom电信是国际电信市场的领先运营商，最近它宣布将使用Fortinet 的统一威胁管理解决方案(Unified threat management，简称UTM)阻挡垃圾邮件。FORTINET是市场领先的网络安全提供商和全球解决方案的领先者。Orascom电信部署Fortinet的FortiMail是多层电子邮件安全平台，可保护企业电子邮件服务器和250万个用户不受垃圾邮件和病毒的侵害。 Orascom电信用户早在09年3月底就超过了8000万，同时，它又是中东，非洲和亚洲最大和综合性最强的运营商。所有企业总部和Orascom电信分支机构和制造商间的信息交换都是通过电子邮件，电子邮件是最大和重要的商业应用，企业所有人都要使用它。过去，公司安装在交换服务器上的第三方软件，无法解决大量的垃圾邮件问题。 为了解决上述面临的问题，Orascom经过对主要的电子邮件安全解决方案进行竞争性评估，决定选择Fortinet的FortiMail平台，因为这一解决方案的高精确性评分为99.8%。此外Orascom电信选择FortiMail解决方案还考虑到它的独一无二的架构选择，包括高使用率和透明模式的共享等。
飞塔长庆油田成功案例 一、用户概况描述 长庆石油公司隶属于中国石油天然气集团公司，总部设在中国西安。下设二级单位42个，职工总人数3.7万多人。下设的通信公司为长庆集团各公司办公及住宅区提供各种方式的网络服务及互联网接入业务。 长庆石油勘探局通信公司主要担负着长庆通信专网、长庆互联网的建设、运营、维护和管理。其管理的专用网是中国石油企业专用网内覆盖范围最大、业务种类最全的专用网之一，拥有近一亿元人民币的固定资产和近八万电话、计算机网络用户。 长庆互联网是以西安网控中心为核心，由西安园区网、庆阳园区网、银川园区网、延安园区网组成的通过100Mbps-1000Mbps带宽互联的计算机广域网。长庆互联网分别在西安以（400Mbps）、银川、庆阳以100Mbps带宽接入因特网，同时它与中国石油计算机专用网保持直联，是中国石油计算机专用网的重要组成部分。 二、用户安全需求 长庆油田的网络基本上可以划分为家属区接入，各园区办公网接入等。主要的安全需求是这样的： 1、整个网络所面临的问题是大量P2P、迅雷占据了网络的主要带宽，极大地降低了网络的使用率。 2、网络中的公网IP不是很多，需要防火墙作NAT转换和根据IP地址段和服务做大量的访问控制策略。 3、整个网络所面临着最为严重问题是，面临着来自Internet的各种网络层和应用层的安全威胁，如： a. 外网流窜进来的病毒、木马、蠕虫、间谍软件； b. 各种网络攻击和入侵； c. P2P、迅雷类的软件消耗了网络的可用资源。 d.垃圾邮件在内网肆虐，影响工作效率 三、推荐解决方案 由于不同的区域的安全需求不同，所以针对这两个区域各自进行了针对性的安全部署。