SVM在文本分类中的应用

ａ
ｄｏｃｕｍｅｎｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｍｏｄｅｌ
ｂａｓｅｄ
ｏｎ
ＳＶＭ．
Ｔｈｉｓ ｍｏｄｅｌ ｇｅｔｓ ｔｈｅ ｔｅｘｔ ｆｅａｔｕｒｅｓ ｍｏｄｅｌ ｂｙ ｃａｌｃｕｌａｔｉｎｇ ｗｏｒｄｓ
ｓｙｎｔａｘ
ｔｈｅ ｍｕｔｕａｌ
ｉｎｆｏｒｍａｔｉｏｎ ｏｆ
ｏｎ
ａｎｄ
ｔｙｐｅｓ．Ｔｈｅｎ ｉｎｔｅｌｌｉｇｅｎｔ Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ
Ｓｐａｃｅ
Ｍｏｄｅｌ）设计了一个中文文档自动分类系统ＣＴＤＣＳｍ，封｝ｉｌ性测试最好，准 确率有１００％，查全率有９３％，开放性测试的结果，查全率９６％，准确率９９％。 中科院计算所的李晓黎、史忠植等人应用概念推理网进行文本分类Ｉｑ。中科 大的范众等人在ＫＮＮ，Ｂａｙｅｓ和文档相似性研究的基础上提出了一个超文本 协调分类器ｎＩ主要特色是适当考虑了ＨＴＭＬ文本中的结构化信息，并且将 文本分类器和超文本结构信息分类器结合起来，从而达到更好的效果。复旦 大学的周水庚等人用了ｎ—ｇｒａｍ方法对中文文本进行分类尝试ｍＪ，从文档中提 取ｎ—ｇｒａｍ属性，然后用ＯＮ方法判别文本类别，摆脱了对词典和切词处理的 依赖，实现文本分类的领域无关性和时间无关性。新加坡Ｈｗｅｅ
哈尔滨工程大学 学位论文原创性声明
本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。
通用学习方法——ＳＶＭ，该方法已初步法是建立在统计学习理论的ＶＣ维理论和结构风险最小化原理基础上 的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度， Ａｃｃｕｒａｃｙ）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折 衷，以期获得最好的推广能力（Ｇｅｎｅｒａｌｉｚａｔｉｏｎ Ａｂｉｌｉｔｙ）。目前，ＳＶＭ算法在 模式识别、回归估计、概率密度函数估计等方面都有应用。例如，在模式识 别方面，对于手写数字识别、语音识别、人脸图像识别、文章分类等问题， ＳＶＭ算法在精度上已经超过传统的学习算法或与之不相上下叫，。 本文正是根据ＳＶＭ的特点和已有的研究经验及成果，设计了一个基于 ＳＶＭ的文本分类器，对ＳＶＭ在文本自动分类中的应用效果、优缺点及其应 用潜力进行了初步的研究。
ｏｎ ｏｎ
ｐｒｏｃｅｓｓｉｎｇ ｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ ｔｈｅ ｎｅｔｗｏｒｋ ａｎｄ ｐｒｏｃｅｅｄｅｓ ｔｈｅ ｒｅｓｅａｒｃｈ
ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｆｒｏｍ ｔｗｏ ｌｅｖｅｌｓ：ｔｈｅｏｒｙ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ．
Ｆｉｒｓｔｌｙ，ｔｈｅ ｔｅｘｔ ａｎａｌｙｚｅｓ ｔｈｅ ｔｏｔａｌ ｍｏｄｅ］ｏｆ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ，ｉｎｃｌｕｄｉｎｇ ｔｈｅ
１．３支持向量机的研究现状
ＳＶＭ是在统计学习理论基础上构造的一种通用学习机器。作为ＳＶＭ的 奠基者前苏联数学家Ｖ．Ｖａｐｎｉｋ早在上世纪６０年代就开始了统计学习理论的 研究。 事实上，早在２０世纪７０年代初，Ｖａｐｎｉｋ就已经给出了经验风险和期望 风险关系的定量刻厕，奠定了小样本统计学的理论基础，但这时并没有引起 人们的注意。 统计学习理论是一种新理论，真正引起人们的注意是１９９５年，文献［１３】 的出现是统计学习理论走向成熟和得到正式承认的标记。目前，一般认为统
ｕｎｄｅｒｓｔａｎｄｉｎｇ
ｈｅｌｐｓ ｔｈｅ ａｕｔｈｏｒ ｇｅｔ ｔｈｅ ＴＦ—ＩＤＦ ｄｅｓｃｒｉｐｔｉｏｎ ｉｎ ＶＳＭ ｏｆ ｔｈｅ
ｔｅｓｔｉｎｇ ｄｏｃｕｍｅｎｔ．Ｔｈｅ ｗｏｒｄ ｓｉｍｉｌａｒｉｔｙ ｉｓ ｔａｋｅｎ ｔｏ ｗｅｉｇｈｔ ｔｈｅ ｄｏｃｕｍｅｎｔ ｖｅｃｔｏｒ ｆｅａｔｕｒｅｓ．Ａｆｔｅｒ ｂｅｉｎｇ
国外较早的文本自动分类应用系统有卡内基集团为路透社开发的
Ｃｈｒｕｃｈ９５系统，它能对路透社成千上万的稿件进行自动分类；德国Ｏｌｄｅｎｂｕｒｇ 大学一个研究项目ＧＥＲＨＡＲＤｔｅｌ；欧洲资助的项目研究ＤＥＳＩＲＥ；搜索引擎 ＣＯＲＡ，其目标是获取计算机科学方面的研究论文，对于部分从网上采集的 Ｐｓ格式的论文，可用关键词来进行检索，Ｐｓ格式的论文通过概率统计技术 被自动根据标题来分类，论文的题目、作者等采用隐马尔可夫模型来抽取。 国内对于文本自动分类的研究起步较晚，１９８１年，候汉清教授对于计算 机在文本分类工作中的应用做了探讨。此后，我国陆续研制了一批计算机辅 助分类系统和自动分类系统。南京大学的邹涛等人运用了ＶＳＭ（Ｖｅｃｔｏｒ
哈尔滨工程大学 硕士学位论文 SVM在文本分类中的应用 姓名：叶志刚 申请学位级别：硕士 专业：计算机应用技术 指导教师：杨静 20060201
哈尔滨工程大学硕士学位论文
摘
要
随着Ｉｎｔｅｒｎｅｔ的迅速发展，网络信息不断膨胀。为了提供高效、准确的 信息服务，作者需要对网络中纷繁芜杂的信息进行合理的组织与分类。本文 的目标就是以文本信息处理为背景，从理论及应用两个层次对文本信息的分 类方法进行了较为深入的研究。 首先，本文研究分析文本分类器的总体模型，包括：信息预处理、特征 表示、特征提取。重点研究分析了特征表示与特征提取技术，文本的分类算 法。 其次，认真研究了统计学习理论的主要内容和ＳＶＭ算法的基本原理。 并且就ＳＶＭ的训练算法、分类算法、多类分类算法、核函数等热点问题分 别加以讨论。阐述了ＳＶＭ研究和应用现状，以及所面临的问题。 最后详细分析研究了一个基于ＳＶＭ的文本分类器模型。该模型通过计 算训练集中的词条和类别的加权互信息，获得文本特征集，然后通过智能分 词和统计方法获得测试文本在ＶＳＭ空间中的ＴＦ—ＩＤＦ函数表示，通过计算语 义相似度获得文本的语义信息，对文本向量进行加权。训练文本集按照上面 方法进行向量表示后，作为支持向量机的学习向量进行训练，从而获得文本 分类的支持向量。对于将要进行分类的文本，也按照上面的方法进行向量化， 然后通过支持向量机判别该文本的类别。在该模型的基础上，并以系统中的 多类分类为例，探讨了ＳＶＭ的核函数选择以及惩罚参数ｃ的确定，并结合 实验加以验证。
ａｎｄ
ａｎｄ
ｋｅｒｎｅｌ ｆｕｎｃｔｉｏｎ．ｔｈｅ ａｕｔｈｏｒ ｓｈｏｗｓ ｔｈｅ
ａｎｄ
ａｐｐｌｉｃａｔｉｏｎ ｓｔａｔｕｓ ｏｆ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｒｃｈｉｎｅ，ａｎｄ ｐｏｉｎｔｓ ｏｕｔ ｓｏｍｅ
ｉｍｐｏｒｔａｎｔ ｉｓｓｕｅｓ．
Ｆｉｎａｌｌｙ，Ｔｈｅ ｔｅｘｔ
ａｎａｌｙｚｅｓ
ｔｈｒｏｕｇｈ
ｔｈｅ ｅｘａｍｐｌｅｓ ｏｆ ｍｕｌｔｉ—ｃａｔｅｇｏｒｙ ｂｙ ｔ１１ｅ ｅｘｐｅｒｉｍｅｒｉｔｓ．
ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｎ
ＳＶＭ．ｃｏｎｆｉｒｍｓ ｔｈｅ ｃｏｎｃｌｕｓｉｏｎｓ
哈尔滨工程大学硕士学位论文
Ｋｅｙｗｏｒｄｓ：ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ；ＳＬＴ；ＳＶＭ；ｍｕｌｔｉ—ｃａｔｅｇｏｒｙ ｃｌａｓｓｉｆｉｃａｔｉｏｎ
ｏｎ
ｃａｔｅｇｏｒｉｚｅ．Ｔｈｅｎ
ｔｈｅ ａｕｔｈｏｒ
Ｃａｎ
ｔｒａｎｓｌａｔｉｎｇ ｔｈｅ ｄｏｃｕｍｅｎｔｓ
ｔｏ ｖｅｃｔｏｒ ｆｅａｔｕｒｅｓ．
ｔ１１ｅ ｍｏｄｅｌ．ｔｈｅ ａｕｔｈｏｒ ｄｉｓｃｕｓｓｅｓ ｔｈｅ ｋｅｒｎｅｌ
ｆｕｎｃｔｉｏｎ ｃｈｏｉｃｅ
ａｎｄ
ｔｈｅ
ｐａｒａｍｅｔｅｒ Ｃ
ｄｅｔｅｒｍｉｎａｔｉｏｎ
分类模型主要有决策树（ＤｅｃｉｓｉｏｎＴｒｅｅ，简称ＤＴ）、支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒ
Ｍａｃｈｉｎｅ，简称ＳＶＭ）、贝叶斯网络、Ｋ．最邻近法（ＫＮＮ）等。 统计学习理论是～种专门研究有限样本条件下机器学习规律的理论。该 理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推 理规则不仅考虑了渐近性能的要求，而且追求在现有有限信息的条件下得到 最优结果。统计学习理论是建立在一套较坚实的理论基础之上的，为解决有 限样本学习问题提供了一个统一的框架。在这一理论基础上发展了一种新的
作者（签字）：
衅表卯
１
日期：’）巩吗年ｚ月助日
哈尔滨工程大学硕士学位论文
第１章绪论
１．１课题的来源、目的和意义
本课题来源于黑龙江省自然科学基金项目（Ｆ０３．０４，Ｆ０１．０６）。文本分类 是一种确定文章所属类别的情报分析方法，是大型信息检索或文本挖掘系统 中的一个重要组成部分，也是文本挖掘的核心环节。由于文本分类可以应用 于信息检索、机器翻译、自动文摘、信息过滤、邮件过滤等诸多领域，因此 文本的自动分类是自然语言处理的一个十分重要的问题”２１。在文本自动分类 中，分类模型（分类器）是决定分类效果好坏的一个关键部分，现有的文本
关键词：文本分类；统计学习理论｛ＳＶＭ；多类分类
哈尔滨工程大学硕士学位论文
Ａｂｓｔｒａｃｔ
Ｎｅｔｗｏｒｋ ｉｎｆｏｒｍａｔｉｏｎ ｉｎｃｒｅａｓｅｓ ｒａｐｉｄｌｙ ｗｉｔｈ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ Ｉｎｔｅｒｎｅｔ．Ｉｎ ｏｒｄｅｒ ｔｏ ｍａｋｅ ｔｈｅ ｉｎｆｏｒｍａｔｉｏｎ ｓｅｒｖｉｃｅ ｍｏｒｅ ｅｆｆｉｃｉｅｎｔ ａｎｄ ｐｒｅｃｉｓｅ，ｉｔ ｉｓ ｉｍｐｏｒｔａｎｔ ｔｏ ｍａｋｅ ｔｈｅ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ Ｉｎｔｅｒｎｅｔ ｏｒｇａｎｉｚｅｄ ａｎｄ ｃａｔｅｇｏｒｉｚｅｄ ｒｅａｓｏｎａｂｌｙ．Ｔｈｅ ｔｅｘｔ ｆｏｃｕｓｅｓ
ｌ
哈尔滨工程大学硕士学位论文
１．２文本分类的研究现状
国外对于文本自动分类的研究开展得较早，２０世纪５０年代末，Ｈ
Ｐ Ｌｕｈｎ
对文本自动分类进行了开创性的研究，将词频统计思想应用于自动分类”Ｉ。 目前，文本自动分类已广泛地应用于电子邮件分类、电子会议、数字图书馆、 搜索引擎、信息检索等方面。 文本自动分类主要经历了四个发展阶段： 第一阶段（】９５８．１９６４）：研究文本自动分类的可能性： 第二阶段（１９６５—１９７４）：进入文本自动分类的实验性阶段： 第三阶段（１９７５．１９９８）：文本自动分类的实用性阶段； 第四阶段（１９９０至今）：因特网文本自动分类研究阶段。