第10卷 第2期
2010年 2月
科 技 和 产 业
Science Technolog y and Industry
V ol 10,N o 2
Feb., 2010
Web 文本分类中特征项权重的研究
刘 辉,邵良杉
(辽宁工程技术大学工商管理学院;辽宁葫芦岛125105)
摘要:Web 数据挖掘的主要研究内容是如何快速有效地在异构的、半结构化的、动态的W eb 信息资源获取有用信息,而Web 文本分类是W eb 数据挖掘的核心。通过分析Web 文本的特点,本文提出一种改进的T F IW F 特征项权重计算方法来对w eb 文本进行分类。实验表明,该方法提高了w eb 文本分类系统的分类性能,具有较好的正确率和召回率。关键词:W eb 数据挖掘;文本分类;特征项权重;T F IWF
中图分类号:T P274 文献标志码:A 文章编号:1671-1807(2010)02-0122-03
收稿日期:2009-11-17
作者简介:刘辉(1977 ),男,河北新乐人,辽宁工程技术大学,讲师,管理科学与工程硕士,研究方向为信息管理与信息系统;邵良杉(1961 ),男,辽宁朝阳人,辽宁工程技术大学副校长,教授,管理科学与工程学科博士生导师,研究方向为管理企业信息化。
伴随着Internet 的广泛应用,Web 上的信息资
源得以急速膨胀。Web 上浩如烟海的信息包含图像、音频、视频和文本等,这些都是异构的、半结构化的、动态的数据。其中,文本资源占到了整个信息资源量的80%以上。如何有效地从这些Web 文本内容中获取有用信息,进行分类、聚类、趋势预测等,即Web 文本挖掘,已经成为一个具有重要用途的研究课题。
Web 文本分类是在预定义的分类体系下,根据文本的特征,将给定文本与一个或多个类别相关联的过程。从数学上看,文本分类是一个映射过程,它将未标明类别的文本映射到已有的类别中,且这种映射可以是一对一的,也可以是一对多的,用数学语言可以描述为:对于每个
1 Web 文本表示
要对Web 文本分类,首先要做的是如何在计算
机中表示文本。与一般数据库中的机构化数据相比,W eb 上的文本表现为一个有文字和标点符号组成的字符串,没有标准结构。要使计算机能够高效地处理这些文本,就必须找到一种理想的形式化表示方法,这种表示一方面要能够真实地反映文本的内容(主题、领域或结构),另一方面,要有对不同文本的区分能力,这就是文本表示
[1]
。
目前文本表示通常采用向量空间模型(VSM ),是20世纪60年代末期由G Salton 等人提出的。在VSM 模型中,特征项是最小的不可分的语言单位,可以是字、词或者短语。一个文本D 的内容被看成是它含有的特征项t i 组成的集合:D =D(t 1,t 2
,!,t n )。每一个特征项t i 依据一定的原则被赋予一个权重w i ,表示它在文本中的重要程度[2]。这样一个文本D 可用它含有的特征项及特征项所对应的权重来表示:D =D(t 1,w 1;t 2,w 2;!,t n ,w n )。文本的向量空间模型如图1所示。
图1 文本的向量空间模型
2 特征权重计算方法
特征权重用于衡量某个特征项在文本表示中的
122
重要程度或区分能力的强弱。权重的计算方法是利用文本的统计信息,主要是词频,给特征项赋予一定的权重[3]。常用的特征权重函数有以下几种:
1)布尔权重函数
w ij=1,如果tf ij>0
0,如果tf ij?0
(1)
2)倒排文本频度IDF权重函数
w ij=tf if#lo g N
n i
(2)
3)归一化的TF IDF权重函数
w ij=
tf ij#log(N/n i)
?
t
i
D
j
[tf ij#lo g(N/n i)]2
(3)
4)ITC权重函数
w ij=
log(tf ij+1 0)#log(N/n i)
?
t
i
D
j
[log(tf ij
+1 0)#lo g(N/n i)]2
(4)
5)T F IWF权重函数
w ij=tf ij#log ?M
i=1
nt i
nt i
2
(5)
上述公式中,w ij表示特征项t i在训练文本D j中的权重;tf ij表示特征项t i在训练文本D j中出现的频度;N是训练集中总的文本数;n i是训练集中出现特征项t i的文本数;M为特征项的个数;nt i为特征项t i 在训练集中出现的次数。
在上面的几个权重函数中,T F IDF权重计算方法比较常用,其基本思想是特征项的权重与特征项在文本中出现的频率成正比,与在整个训练文本集中出现该特征项的文本数成反比。但TF IDF过分倚重特征频度[4]。在T F IDF算法的基础上,R Basili于1999年提出了TF IWF权重算法,其与T F IDF有两点不同:
1)TF IWF算法中用特征频率倒数的对数值IWF代替IDF。
2)T F IWF算法中采用IWF的平方来平衡权重值对特征频度的倚重。
3 改进的TF IWF权重计算方法
众所周知,一个特征项在文本中出现的位置不同,这个特征项相对于这个文本的重要性来说,也是不一样的。如果把一个文本分为标题、摘要和正文三部分,实际上,出现在这三个位置的特征项的重要性是依次降低的[5]
。根据这一认识,本文在T F IWF 特征项权重计算函数中,加入了位置因子tp。这样,将进一步降低特征项权重对特征项频率的过分倚重。
改进的T F IWF权重函数为:
w ij=tf ij#lo g
?M
i=1
nt i
nt i
2
*pt i(6)其中p t i为特征项ti在文本D中的位置因子。如果文本的标题、摘要和内容中都出现了特征项,则位置因子p t i等于2;如果特征项只在标题、摘要或者内容中出现,则p t i的值为1。虽然特征项出现在标题中,位置因子的值应该大于1,但根据实际情况,如果特征项只在标题中出现而没在内容中出现时,很可能这个文本的标题和内容不相符。也就是说,只有当特征项出现在标题或者摘要中,同时还要出现在文本内容中时,它的位置因子才会大于1。位置因子p t i 具体取值如表1所示,其中T表示该位置出现了特征项,F表示该位置没有出现特征项。
表1 位置因子pt
i
取值表
标题T T T T F F F
摘要F T F T T F T
内容F F T T F T T
p t i11 11 62111 4
4 实验测试与分析
为了验证本文提出的改进的T F IDF权重计算方法的有效性,从新浪(http://w w https://www.doczj.com/doc/3211916804.html,/)网站选取了2000篇文档,共分为娱乐、体育、国际政治、游戏、手机数码5大类,每个类别400篇。从每个类别中随机选取300篇文档作为训练文本集合,另外100篇作为测试文本集合。
针对不同的目的,衡量文本分类系统性能的评估方法有召回率、正确率和F-测度值等。召回率越高,表明分类器将输入文本错误地排除在某个分类之外的可能性越小。正确率越高,表明分类器越有可能将输入文本错误的分类到某个类别。F-测试值则兼顾了以上两个方面,其数学公式如下:
F1=召回率*正确率*2
召回率+正确率
(7)
试验测试结果如表2所示,从表中可以看出,使用改进后的T F IWF权重函数,Web文本分类的召回率和查全率得到明显提高。
123
Web文本分类中特征项权重的研究
表2 实验结果数据表
娱乐体育游戏国际政治手机数码T F IW F召回率90 1%92 6%91 3%83 6%89 6%本文改进的T F IWF召回率92 3%94 5%91 6%85 5%90 8% T F IW F正确率87 3%89 6%92 4%83 9%89 5%本文改进的T F IWF正确率87 6%90 1%91 7%86 1%90 2% T F IW F的F-测度值88 7%91 1%91 8%83 7%89 5%本文改进的T F IWF的F-测度值89 9%92 2%91 6%85 8%90 5%
5 结束语
本文探讨了Web文本分类过程中的关键技术,提出了一种加入特征项位置因子的改进的T F IDF 权重计算函数,并对真实Web文本进行了分类测试和评估。实验表明,加入特征项位置因子的权重计算方法,能够明显提高文本分类的正确率和召回率。与现有的同类方法相比,本文的特征项权重计算方法在Web文本分类中具有更好的实际应用价值。
参考文献
[1]苗夺谦,卫志华.中文文本信息处理的原理与应用[M].北京:
清华大学出版社,2007:224-228.
[2]张东礼,汪东升,郑纬民.基于VSM的中文文本分类系统的设
计与实现[J].清华大学学报:自然科学版,2003,43(9):1289 -1291.
[3]宗成庆.统计自然语言处理[M].北京:清华大学出版社,
2008:346-349.
[4]陈治纲,何丕廉,孙越恒.基于向量空间模型的文本分类方法
的研究与实现[J].计算机应用,2004,24(6):277-279. [5]李慧娟.基于粗糙集的文本分类算法研究[D].长春:东北师
范大学,2007.
The Study on Feature Items Weight of Web Text C lassification
LIU H ui,SH AO Liang shan
(Liaoning Techn ical U nivers ity,H uludao Liaon ing125105,China)
Abstract:Web Data M ining major research how to g et valuable in formation from heterogen eous,s emi structu red,dynamic W eb information r e s ou rces qu ickly and efficiently,and W eb text classification is th e core of W eb data min ing.By analyzing th e characteristics of Web text,this pap er proposes a modified T F IW F featu re items w eight calcu lation method.E xperim ental results sh ow that,this meth od improves the Web text classifi cation system performance and has good precision and recall rate.
Key words:W eb data mining;text class ification;featur e items w eigh t;T F IW F
(上接第118页)
参考文献
[1]中华人民共和国政府采购法[G].北京:法律出版社,2003.[2]李存才.政府集中采购情况利弊谈[N].中国财经报,2007-
10-17.
On Urgent Problems in the C entralized Purchasing of Equipments for the
Universities by the Government and Ifs Countermeasures
LI Ling yi
(Yongzh ou Vocational C ollege,Yon gzhou Hu nan425006,Chin a)
Abstract:Snics the Government Procreant S ara w as issued,the T eac w ig equipments and au kinas of materials of infr astru cture projects has keen g radually in cooperated into th e unified p rocurement biddin g by the government centre of the government.T heo paper analys es th e outstanding problem s in th e muffed bidding and purch asing of th e equipm ents of universities b y the government and put forw ard in tidal s olitaire.
Key words:u nivers ity equ ipmen t;procu rement;p rob lem s and solution
124
科技和产业 第10卷 第2期
文献综述是"一种在分析、比较、整理、归纳一定时空范围内有关特 定课题研究的全部或大部情报的基础上，简明的类述其中的最重要部分，并标引出处的情报研究报告"。文献综述的定义包含三个基本要素：首先，文献综述反映原始文献有一定的时间和空间范围，它反映一定时期内或是某一时期一定空间范围的原始文献的内容。其次，文献综述集中反映一批相关文献的内容。其它二次文献如题录、索引、文摘、提要等一条只能揭示一篇原始文献的外表信息或内容信息，且各条目之间没有联系，而综述一篇可集中一批相关文献，且将这批文献作为一个有机整体予以揭示，信息含量比二次文献多得多。第三，文献综述是信息分析的高级产物。书目、索引等是对原始文献的外表特征进行客观描述，不涉及文献内容，编写人员不需了解原始文献的内容，也不需具备相关学科的基础知识;提要、文摘是对原始文献的 内容作简要介绍和评价，编写人员需要具有相关学科的一些基础知识，以识别和评价原始文献;文献综述则要求编写人员对综述的主题有深 入的了解，全面、系统、准确、客观地概述某一主题的内容。运用分析、比较、整理、归纳等方法对一定范围的文献进行深度加工，对于读者具有深度的引导功能，是创造性的研究活动。 文献综述的类型可以从不同的角度对文献综述进行划分，最常见的方法是根据文献综述反映内容深度的不同即信息含量的不同划分按照文献综述信息含量的不同，可将文献综述分为叙述性综述、评论性综述和专题研究报告三类。
叙述性综述是围绕某一问题或专题，广泛搜集相关的文献资料，对其内容进行分析、整理和综合，并以精炼、概括的语言对有关的理论、观点、数据、方法、发展概况等作综合、客观的描述的信息分析产品。叙述性综述最主要特点是客观，即必须客观地介绍和描述原始文献中的各种观点和方法。一般不提出撰写者的评论、褒贬，只是系统地罗列。叙述性综述的特点使得读者可以在短时间内，花费较少的精力了解到本学科、专业或课题中的各种观点、方法、理论、数据，把握全局，获取资料。 评论性综述是在对某一问题或专题进行综合描述的基础上，从纵向或横向上作对比、分析和评论，提出作者自己的观点和见解，明确取舍的一种信息分析报告。评论性综述的主要特点是分析和评价，因此有人也将其称为分析性综述。评论性综述在综述各种观点、理论或方法的同时，还要对每种意见、每类数据、每种技术做出分析和评价，表明撰写者自己的看法，提出最终的评论结果。可以启发思路，引导读者寻找新的研究方向。 专题研究报告是就某一专题，一般是涉及国家经济、科研发展方向的重大课题，进行反映与评价，并提出发展对策、趋势预测。"是一种现实性、政策性和针对性很强的情报分析研究成果"。其最显著的特点是预测性，它在对各类事实或数据、理论分别介绍描述后，进行论证、预测的推演，最后提出对今后发展目标和方向的预测及规划。专题研究报告对于科研部门确定研究重点和学科发展方向，领导部门制定各项决策，有效实施管理起着参考和依据的作用。这一类综述主
基于机器学习算法的文本分类方法综述 摘要：文本分类是机器学习领域新的研究热点。基于机器学习算法的文本分类方法比传统的文本分类方法优势明显。本文综述了现有的基于机器学习的文本分类方法，讨论了各种方法的优缺点，并指出了文本分类方法未来可能的发展趋势。 1.引言 随着计算机技术、数据库技术，网络技术的飞速发展，Internet的广泛应用，信息交换越来越方便，各个领域都不断产生海量数据，使得互联网数据及资源呈现海量特征，尤其是海量的文本数据。如何利用海量数据挖掘出有用的信息和知识，方便人们的查阅和应用，已经成为一个日趋重要的问题。因此，基于文本内容的信息检索和数据挖掘逐渐成为备受关注的领域。文本分类(text categorization，TC)技术是信息检索和文本挖掘的重要基础技术，其作用是根据文本的某些特征，在预先给定的类别标记(label)集合下，根据文本内容判定它的类别。传统的文本分类模式是基于知识工程和专家系统的，在灵活性和分类效果上都有很大的缺陷。例如卡内基集团为路透社开发的Construe专家系统就是采用知识工程方法构造的一个著名的文本分类系统，但该系统的开发工作量达到了10个人年，当需要进行信息更新时，维护非常困难。因此，知识工程方法已不适用于日益复杂的海量数据文本分类系统需求[1]。20世纪90年代以来，机器学习的分类算法有了日新月异的发展，很多分类器模型逐步被应用到文本分类之中，比如支持向量机(SVM，Support Vector Machine)[2-4]、最近邻法(Nearest Neighbor)[5]、决策树(Decision tree)[6]、朴素贝叶斯(Naive Bayes)[7]等。逐渐成熟的基于机器学习的文本分类方法，更注重分类器的模型自动挖掘和生成及动态优化能力，在分类效果和灵活性上都比之前基于知识工程和专家系统的文本分类模式有所突破，取得了很好的分类效果。 本文主要综述基于机器学习算法的文本分类方法。首先对文本分类问题进行概述，阐述文本分类的一般流程以及文本表述、特征选择方面的方法，然后具体研究基于及其学习的文本分类的典型方法，最后指出该领域的研究发展趋势。 2．文本自动分类概述 文本自动分类可简单定义为：给定分类体系后，根据文本内容自动确定文本关联的类别。从数学角度来看，文本分类是一个映射过程，该映射可以是一一映射，也可以是一对多映射过程。文本分类的映射规则是，系统根据已知类别中若干样本的数据信息总结出分类的规律性，建立类别判别公式或判别规则。当遇到新文本时，根据总结出的类别判别规则确定文本所属的类别。也就是说自动文本分类通过监督学习自动构建出分类器，从而实现对新的给定文本的自动归类。文本自动分类一般包括文本表达、特征选取、分类器的选择与训练、分类等几个步骤，其中文本表达和特征选取是文本分类的基础技术，而分类器的选择与训练则是文本自动分类技术的重点，基于机器学习的文本分来就是通过将机器学习领域的分类算法用于文本分类中来[8]。图1是文本自动分类的一般流程。
模式类别的可分性判据 在讨论特征选择和特征压缩之前，我们先要确定一个选择和提取的原则。对一个原始特征来说，特征选择的方案很多，从N 维特征种 选择出M 个特征共有()!!! M N N C M N M = -中选法，其中哪一种方案最佳， 则需要有一个原则来进行指导。同样，特征的压缩实际上是要找到M 个N 元函数，N 元函数的数量是不可数的，这也要有一个原则来指导找出M 个最佳的N 元函数。 我们进行特征选择和特征提取的最终目的还是要进行识别，因此应该是以对识别最有利原则，这样的原则我们称为是类别的可分性判据。用这样的可分性判据可以度量当前特征维数下类别样本的可分性。可分性越大，对识别越有利，可分性越小，对识别越不利。 人们对的特征的可分性判据研究很多，然而到目前为止还没有取得一个完全满意的结果，没有哪一个判据能够完全度量出类别的可分性。下面介绍几种常用的判据，我们需要根据实际问题，从中选择出一种。 一般来说，我们希望可分性判据满足以下几个条件： 1. 与识别的错误率由直接的联系，当判据取最大值时，识别的错误率最小； 2. 当特征独立时有可加性，即： ()()121 ,,,N ij N ij k k J x x x J x ==∑
ij J 是第i 类和第j 类的可分性判据，ij J 越大，两类的可分程度 越大，()12,,,N x x x 为N 维特征； 3. 应具有某种距离的特点： 0ij J >，当i j ≠时； 0 ij J =，当i j =时； ij ji J J =； 4. 单调性，加入新的特征后，判据不减小： ()()12121,,,,,,,ij N ij N N J x x x J x x x x +≤ 。 但是遗憾的是现在所经常使用的各种判据很难满足上述全部条件，只能满足一个或几个条件。 基于矩阵形式的可分性判据 1. 类内散度矩阵 设有M 个类别，1,,M ΩΩ ，i Ω类样本集()()(){}12,,,i i i i N X X X ，i Ω类 的散度矩阵定义为： () ()() ( )()() ( ) 1 1i N T i i i i i w k k k i S N == --∑X m X m 总的类内散度矩阵为： ()() ()() () ()() () () 1 1 1 1 i N M M T i i i i i w i w i k k i i k i S P S P N ==== Ω= Ω--∑∑∑X m X m 2. 类间散度矩阵 第i 个类别和第j 个类别之间的散度矩阵定义为： () () () ( )() () ( ) T ij i j i j B S =--m m m m 总的类间散度矩阵可以定义为：
山西大学研究生学位课程论文（2014 ---- 2015 学年第 2 学期） 学院（中心、所）：计算机与信息技术学院 专业名称：计算机应用技术 课程名称：自然语言处理技术 论文题目：文本分类综述 授课教师（职称）：王素格（教授） 研究生姓名：刘杰飞 年级：2014级 学号：201422403003 成绩： 评阅日期： 山西大学研究生学院 2015年 6 月2日
文本分类综述 摘要文本分类就是在给定的分类体系下,让计算机根据给定文本的内容，将其判别为事先确定的若干个文本类别中的某一类或某几类的过程。文本分类在冗余过滤、组织管理、智能检索、信息过滤、元数据提取、构建索引、歧义消解、文本过滤等方面有很重要的应用。本文主要介绍文本分类的研究背景,跟踪国内外文本分类技术研究动态。介绍目前文本分类过程中的一些关键技术，以及流形学习在文本分类中降维的一些应用。并且讨论目前文本分类研究面临的一些问题,及对未来发展方向的一些展望。 关键词文本分类；特征选择；分类器；中文信息处理 1.引言 上世纪九十年代以来，因特网以惊人的速度发展起来，到现在我们进入大数据时代互联网容纳了海量的各种类型的数据和信息，包括文本、声音、图像等。这里所指的文本可以是媒体新闻、科技、报告、电子邮件、技术专利、网页、书籍或其中的一部分。文本数据与声音和图像数据相比，占用网络资源少，更容易上传和下载，这使得网络资源中的大部分是以文本（超文本）形式出现的。如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学和技术领域面临的一大挑战。基于机器学习的文本分类系统作为处理和组织大量文本数据的关键技术,能够在给定的分类模型下，根据文本的内容自动对文本分门别类，从而更好地帮助人们组织文本、挖掘文本信息，方便用户准确地定位所需的信息和分流信息。 利用文本分类技术可以把数量巨大但缺乏结构的文本数据组织成规范的文本数据,帮助人们提高信息检索的效率。通过对文本信息进行基于内容的分类,自动生成便于用户使用的文本分类系统,从而可以大大降低组织整理文档耗费的人力资源,帮助用户快速找到所需信息。因此文本分类技术得到日益广泛的关注，成为信息处理领域最重要的研究方向之一。 2.文本分类技术的发展历史及现状 2.1文本分类技术发展历史 国外自动分类研究始于1950年代末，早期文本分类主要是基于知识工程，通过手工定义一些规则来对文本进行分类，这种方法费时费力，还需要对某一领域有足够的了解，才能提炼出合适的规则。H.P.Luhn在这一领域进行了开创性的研究，他将词频统计的思想用于文本分类中。这一时期，主要是分类理论的研究，并将文本分类应用用于信息检索。在这一段时期，提出了很多经典文本分类的数学模型。比如1960年Maron在Journal of ASM上发表了有关自动分类的第一篇论文“On relevance Probabilitic indexing and informarion retriral”，这是Maron和Kuhns提出概的率标引(Probabilitic indexing )模型在信息检
Web文本情感分类研究综述 王洪伟/刘勰/尹裴/廖雅国 2012-9-27 14:55:59 来源：《情报学报》(京)2010年5期【英文标题】Review of Sentiment Classification on Web Text 【作者简介】王洪伟，男，1973年生，博士，副教授／博士生导师，研究方向：本体建模和情感计算，E-mail:hwwang@https://www.doczj.com/doc/3211916804.html,。同济大学经济与管理学院，上海200092； 刘勰，男，1985年生，硕士研究生，研究方向：数据挖掘与情感计算。同济大学经济与管理学院，上海200092； 尹裴，女，1986年生，硕士研究生，研究方向：商务智能。同济大学经济与管理学院，上海200092； 廖雅国，男，1954年生，博士，教授，研究方向：人工智能与电子商务。香港理工大学电子计算学系，香港 【内容提要】对用户发表在Web上的评论进行分析，能够识别出隐含在其中的情感信息，并发现用户情感的演变规律。为此，本文对Web文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语义特性的识别和基于统计自然语言处理的识别方法。分析了情感分类中的语料库选择和研究难点。最后总结了情感分类的应用现状，并指出今后的研究方向。
Analyzing the users' reviews on the Web can help us to identify users' implicit sentiments and find the evolution laws of their emotion. To this end, this paper is a survey about the sentiment classification on the Web text. We divided the process of classification into three categories:subjective and objective classification,polarity identification and intensity identification and respectively summarize the resent research achievements in these fields. We also sorted the methods of polarity identification into two types: one is based on the emotional words with semantic characteristics, while the other statistic methods of natural language processing. What is more, the choice of corpus and potential research problems are discussed. At last, this paper summarized the status quo of application and pointed out the direction of future research. 【关键词】Web文本/情感分类/综述/主观性文本Web texts/Sentiment classification/Survey/Subjective text 随着互联网的流行，Web文本成为我们获取信息、发表观点和交流情感的重要来源。特别是随着Web2.0技术的发展，网络社区、博客和论坛给网络用户提供了更宽广的平台来交流信息和表达意见。这些文章和言论往往包含有丰富的个人情感，比如对某部大片的影评，对某款手机的用户体验等，其中蕴含着巨大的商业价值。如何从这些Web文本中进行情感挖掘，获取情感倾向已经成为当今商务智能领域关注的热点。所谓情感分析(sentiment analysis)，就是确定说话人或作者对某个特定主题的态度。其中，态度可以是他们的判断或者评估，他们（演说、写作时）的情绪状态，或者有意（向受众）传递的情感信息。因此，情感分
文本分类综述 1. 引言 1.1 文本分类的定义 文本分类用电脑对文本集按照一定的分类体系或标准进行自动分类标记，与文本分类相近的概念是文本聚类。文本聚类是指，由机器将相似的文档归在一起。与文本分类的区别在于，文本分类是监督学习，类别是事先规定好的，文本聚类是无监督学习，由计算机把类似文本归在一起，事先并不划定好类别。 基于统计的文本分类算法进行文本分类就是由计算机自己来观察由人提供的训练文档集，自己总结出用于判别文档类别的规则和依据。 文本分类的基本步骤是：文本表示->特征降维->分类器训练>文本分类 1.2 文本分类的基本思路 文本分类基本方法可以归结为根据待分类数据的某些特征来进行匹配，选择最优的匹配结果，从而实现分类。 计算机并不认识文档，因此首先就要设法如何转化一篇文档为计算机所接受，转化方法要与文本有对应关系。对于计算机文本分类而言，这是最重要的步骤。 其次要制定出一定的评判标准，根据文档表示结果对文本进行分类 1.3 文本分类目前的研究热点 2. 文本表示 利用计算机来解决问题，首先就是要找到一种使计算机能够理解方法来表述问题，对文本分类问题来说，就是要建立一个文档表示模型。 一般来说，利用文档中的语义信息来表示文档比较困难，因此直接采用词频来表示文档，不过也出现了许多利用语义的文档表示方法。 2.1 向量空间模型（VSM） VSM模型是目前所用的较多的文本表示模型，这种模型把文本看作是一个特征项的集合。特征项可以是词，也可以是人为所构造的合理的特征。
2.2 词袋模型 词袋模型是VSM 模型在文本分类问题中的一个最简单的应用。对于一篇文档，最直观的方法就是使用词和短语作为表示文本的特征。对于英文文章来说，各个单词之间己经用空格分开，可以直接获取特征词，不过由于英语中存在词形的变化，如:名词的单复数、动词的时态变化、词的前缀和后缀变化等，所以会需要一个抽取词干的过程。对于中文来说，因为词和词之间没有停顿，所以需要借助于词典来统计特征词。对于文本分类来说，常用的方法为TF 即词频法。 具体操作为： 对文本，北京理工大学计算机专业创建于1958年，是中国最早设立的计算机专业的大学之一。对于该文档，词袋为{北京、理工、大学、计算机、专业、创建、1958、中国、最早、设立}相应的向量为{1,1,2,2,2,1,1,1,1}，这种统计特征词词频当作文档特征的方法也称为TF 法，为了防止这种方法统计出的特征使得文本长度影响到分类结果，要把它做归一化处理，最容易想到的归一化做法是除以文本长度。 另外还有另一个指标IDF 指标，衡量词的重要性，一个词在一篇文本中出现的频率越高，同时在总的训练文本中出现的频率越低，那么这个词的IDF 值越高。 操作： 总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到，公式表示为 ，idf 衡量了一个词的重要程度，因此tf ×idf 可以更好的来表示文本。 2.3 其他模型 3. 特征降维 文本所形成的不加处理的特征向量维数很高，以词袋模型为例，一方面，很多文章只有几千词，而一个分词词典所包含的词有数万个，如果不加处理，把所有词都表示出来，是极大的浪费，另一方面，若依照分词词典建立向量，事实上是无法使用的，因此需要对文档特征进行降维处理。把不用的特征去掉，保留区分度高的词语。特侦降维可以有两种思路，特征选择和特征提取，其中，特征选择是指在原有特征的基础上，选择一部分特征来表示文本，特征性质不变，例如||log()|:| i j D idf j t d =∈
第一章绪论 1.1 研究背景 当今的时代，是一个信息技术飞速发展的时代。随着信息技术的飞速发展，科学知识也在短时间内发生了急剧的、爆炸性的增长。 据1998 年的资料显示[1]，70年代以来，全世界每年出版图书50万种，每一分钟就有一种新书出版。80 年代每年全世界发表的科学论文大约500 万篇，平均每天发表包含新知识的论文为1.3万-1.4 万篇；登记的发明创造专利每年超过30万件，平均每天有800-900件专利问世。近二十年来，每年形成的文献资料的页数，美国约1,750 亿页。另据联合国教科文组织所隶属的“世界科学技术情报系统”曾做的统计显示，科学知识每年的增长率，60 年代以来已从9.5％增长到10.6％，到80年代每年增长率达12.5％。据说，一位化学家每周阅读40 小时，光是浏览世界上一年内发表的有关化学方面的论文和著作就要读48 年。而2005 年的资料显示[2]，进入20 世纪后全世界图书品种平均20年增加一倍，册数增加两倍。期刊出版物，平均10 年增加一倍。科技文献年均增长率估计为13％，其中某些学科的文献量每10 年左右翻一番，尖端科技文献的增长则更快，约2-3 年翻一番。 同时，伴随着Internet 的迅猛发展，网站和网页数也在迅速增长，大约每年翻一番。据估计，目前全世界网页数已高达2000 亿，而Google 宣称其已索引250 亿网页。在我国，中国互联网络信息中心从2001 年起每年都对中文网页总数作统计调查，统计结果显示，中文网页总数已由2001年4月30日的159,460,056 个发展到2005年12月31日的24亿个，增长之快可见一斑[3,4]。 从这些统计数字可以看出，我们被淹没在一个多么浩大的信息海洋里！然而信息的极大丰富并没有提高人们对知识的吸收能力，面对如此浩瀚的信息，人们越来越感觉无法快速找到需要的知识。这就是所谓的“信息是丰富的，知识是贫乏的”。 如何在这样一个巨大的信息海洋中更加有效的发现和使用信息以及如何利用这个信息宝库为人们提供更高质量和智能化的信息服务，一直是当前信息科学和技术领域面临的一大挑战。尽管用户对图像、音频和视频等信息资源的需求也
文本分类中的特征提取和分类算法综述 摘要：文本分类是信息检索和过滤过程中的一项关键技术，其任务是对未知类别的文档进行自动处理，判别它们所属于的预定义类别集合中的类别。本文主要对文本分类中所涉及的特征选择和分类算法进行了论述，并通过实验的方法进行了深入的研究。 采用kNN和Naive Bayes分类算法对已有的经典征选择方法的性能作了测试，并将分类结果进行对比，使用查全率、查准率、F1值等多项评估指标对实验结果进行综合性评价分析.最终，揭示特征选择方法的选择对分类速度及分类精度的影响。 关键字：文本分类特征选择分类算法 A Review For Feature Selection And Classification Algorithm In Text Categorization Abstract:Text categorization is a key technology in the process of information retrieval and filtering,whose task is to process automatically the unknown categories of documents and distinguish the labels they belong to in the set of predefined categories. This paper mainly discuss the feature selection and classification algorithm in text categorization, and make deep research via experiment. kNN and Native Bayes classification algorithm have been applied to test the performance of classical feature detection methods, and the classification results based on classical feature detection methods have been made a comparison. The results have been made a comprehensive evaluation analysis by assessment indicators, such as precision, recall, F1. In the end, the influence feature selection methods have made on classification speed and accuracy have been revealed. Keywords:Text categorization Feature selection Classification algorithm
一、文献综述的类型、特点及作用 文献综述是“一种在分析、比较、整理、归纳一定时空范围内有关特定课题研究的全部或大部情报的基础上,简明的类述其中的最重要部分,并标引出处的情报研究报告”。文献综述的定义包含三个基本要素:首先,文献综述反映原始文献有一定的时间和空间范围,它反映一定时期内或是某一时期一定空间范围的原始文献的内容。其次,文献综述集中反映一批相关文献的内容。其它二次文献如题录、索引、文摘、提要等一条只能揭示一篇原始文献的外表信息或内容信息,且各条目之间没有联系,而综述一篇可集中一批相关文献,且将这批文献作为一个有机整体予以揭示,信息含量比二次文献多得多。第三,文献综述是信息分析的高级产物。书目、索引等是对原始文献的外表特征进行客观描述,不涉及文献内容,编写人员不需了解原始文献的内容,也不需具备相关学科的基础知识;提要、文摘是对原始文献的内容作简要介绍和评价,编写人员需要具有相关学科的一些基础知识,以识别和评价原始文献;文献综述则要求编写人员对综述的主题有深入的了解,全面、系统、准确、客观地概述某一主题的内容。运用分析、比较、整理、归纳等方法对一定范围的文献进行深度加工,对于读者具有深度的引导功能,是创造性的研究活动。 1.文献综述的类型可以从不同的角度对文献综述进行划分,最常见的方法是根据文献综述反映内容深度的不同即信息含量的不同划分 按照文献综述信息含量的不同,可将文献综述分为叙述性综述、评论性综述和专题研究报告三类。 叙述性综述是围绕某一问题或专题,广泛搜集相关的文献资料,对其内容进行分析、整理和综合,并以精炼、概括的语言对有关的理论、观点、数据、方法、发展概况等作综合、客观的描述的信息分析产品。叙述性综述最主要特点是客观,即必须客观地介绍和描述原始文献中的各种观点和方法。一般不提出撰写者的评论、褒贬,只是系统地罗列。叙述性综述的特点使得读者可以在短时间内,花费较少的精力了解到本学科、专业或课题中的各种观点、方法、理论、数据,把握全局,获取资料。 评论性综述是在对某一问题或专题进行综合描述的基础上,从纵向或横向上作对比、分析和评论,提出作者自己的观点和见解,明确取舍的一种信息分析报告。评论性综述的主要特点是分析和评价,因此有人也将其称为分析性综述。评论性综述在综述各种观点、理论或方法的同时,还要对每种意见、每类数据、每种技术做出分析和评价,表明撰写者自己的看法,提出最终的评论结果。可以启发思路,引导读者寻找新的研究方向。 专题研究报告是就某一专题,一般是涉及国家经济、科研发展方向的重大课题,进行反映
情报学报 ＩＳＳＮ１０００－０１３５ 第２９卷第５期９３１－９３８，２０１０年１０月 ＪＯＵＲＮＡＬＯＦＴＨＥＣＨＩＮＡＳＯＣＩＥＴＹＦＯＲＳＣＩＥＮＴＩＦＩＣ ＡＮＤＴＥＣＨＮＩＣＡＬＩＮＦＯＲＭＡＴＩＯＮＩＳＳＮ１０００－０１３５Ｖｏｌ．２９ Ｎｏ．５，９３１－９３８Ｏｃｔｏｂｅｒ ２０１０ 收稿日期：２００９年６月２９日 作者简介：王洪伟，男，１９７３年生，博士，副教授桙博导，研究方向：本体建模和情感计算，Ｅ－ｍａｉｌ：ｈｗｗａｎｇ＠ｔｏｎｇｊｉ．ｅｄｕ．ｃｎ。刘勰，男，１９８５年生，硕士研究生，研究方向：数据挖掘与情感计算。尹裴，女，１９８６年生，硕士研究生，研究方向：商务智能。廖雅国，男，１９５４年生，博士，教授，研究方向：人工智能与电子商务。 １） 本文得到国家自然科学基金项目（７０５０１０２４，７０９７１０９９）；教育部人文社会科学资助项目（０５ＪＣ８７００１３）；上海市重点学科建设项目（Ｂ３１０）；香港研究资助局项目（ｐｏｌｙＵ５２３７桙０８Ｅ）资助。 ｄｏｉ：１０．３７７２桙ｊ．ｉｓｓｎ．１０００－０１３５．２０１０．０５．０２３ Ｗｅｂ文本情感分类研究综述 １） 王洪伟１ 刘 勰１ 尹 裴１ 廖雅国 ２ （１畅同济大学经济与管理学院，上海２０００９２；２畅香港理工大学电子计算学系，香港） 摘要 对用户发表在Ｗｅｂ上的评论进行分析， 能够识别出隐含在其中的情感信息，并发现用户情感的演变规律。为此，本文对Ｗｅｂ文本情感分类的研究进行综述。将情感分类划分为三类任务：主客观分类、极性判别和强度判别，对各自的研究进展进行总结。其中将情感极性判别的方法分为基于情感词汇语义特性的识别和基于统计自然语言处理的识别方法。分析了情感分类中的语料库选择和研究难点。最后总结了情感分类的应用现状，并指出今后的研究方向。 关键词 Ｗｅｂ文本 情感分类 综述 主观性文本 ＬｉｔｅｒａｔｕｒｅＲｅｖｉｅｗｏｆＳｅｎｔｉｍｅｎｔＣｌａｓｓｉｆｉｃａｔｉｏｎｏｎＷｅｂＴｅｘｔ ＷａｎｇＨｏｎｇｗｅｉ１ ，ＬｉｕＸｉｅ１ ，ＹｉｎＰｅｉ１ ａｎｄＬｉｕＮ．Ｋ．Ｊａｍｅｓ ２ （１畅ＳｃｈｏｏｌｏｆＥｃｏｎｏｍｉｃｓａｎｄＭａｎａｇｅｍｅｎｔ，ＴｏｎｇｊｉＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０００９２；２畅ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｉｎｇ，ＨｏｎｇＫｏｎｇＰｏｌｙｔｅｃｈｎｉｃＵｎｉｖｅｒｓｉｔｙ，ＨｏｎｇＫｏｎｇ） Ａｂｓｔｒａｃｔ Ａｎａｌｙｚｉｎｇｔｈｅｕｓｅｒｓ’ｒｅｖｉｅｗｓｏｎｔｈｅＷｅｂｃａｎｈｅｌｐｕｓｔｏｉｄｅｎｔｉｆｙｕｓｅｒｓ’ｉｍｐｌｉｃｉｔｓｅｎｔｉｍｅｎｔｓａｎｄｆｉｎｄｔｈｅｅｖｏｌｕｔｉｏｎ ｌａｗｓｏｆｔｈｅｉｒｅｍｏｔｉｏｎ．Ｔｏｔｈｉｓｅｎｄ，ｔｈｉｓｐａｐｅｒｉｓａｓｕｒｖｅｙａｂｏｕｔｔｈｅｓｅｎｔｉｍｅｎｔｃｌａｓｓｉｆｉｃａｔｉｏｎｏｎｔｈｅＷｅｂｔｅｘｔ．Ｗｅｄｉｖｉｄｅｄｔｈｅｐｒｏｃｅｓｓｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎｉｎｔｏｔｈｒｅｅｃａｔｅｇｏｒｉｅｓ：ｓｕｂｊｅｃｔｉｖｅａｎｄｏｂｊｅｃｔｉｖｅｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｐｏｌａｒｉｔｙｉｄｅｎｔｉｆｉｃａｔｉｏｎａｎｄｉｎｔｅｎｓｉｔｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎａｎｄｒｅｓｐｅｃｔｉｖｅｌｙｓｕｍｍａｒｉｚｅｔｈｅｒｅｓｅｎｔｒｅｓｅａｒｃｈａｃｈｉｅｖｅｍｅｎｔｓｉｎｔｈｅｓｅｆｉｅｌｄｓ．Ｗｅａｌｓｏｓｏｒｔｅｄｔｈｅｍｅｔｈｏｄｓｏｆｐｏｌａｒｉｔｙｉｄｅｎｔｉｆｉｃａｔｉｏｎｉｎｔｏｔｗｏｔｙｐｅｓ：ｏｎｅｉｓｂａｓｅｄｏｎｔｈｅｅｍｏｔｉｏｎａｌｗｏｒｄｓｗｉｔｈｓｅｍａｎｔｉｃｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｗｈｉｌｅｔｈｅｏｔｈｅｒｓｔａｔｉｓｔｉｃｍｅｔｈｏｄｓｏｆ ｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．Ｗｈａｔｉｓｍｏｒｅ，ｔｈｅｃｈｏｉｃｅｏｆｃｏｒｐｕｓａｎｄｐｏｔｅｎｔｉａｌｒｅｓｅａｒｃｈｐｒｏｂｌｅｍｓａｒｅｄｉｓｃｕｓｓｅｄ．Ａｔｌａｓｔ，ｔｈｉｓｐａｐｅｒ ｓｕｍｍａｒｉｚｅｄｔｈｅｓｔａｔｕｓｑｕｏｏｆａｐｐｌｉｃａｔｉｏｎａｎｄｐｏｉｎｔｅｄｏｕｔｔｈｅｄｉｒｅｃｔｉｏｎｏｆｆｕｔｕｒｅｒｅｓｅａｒｃｈ． Ｋｅｙｗｏｒｄｓ Ｗｅｂｔｅｘｔｓ，ｓｅｎｔｉｍｅｎｔｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｓｕｒｖｅｙ，ｓｕｂｊｅｃｔｉｖｅｔｅｘｔ 随着互联网的流行，Ｗｅｂ文本成为我们获取信 息、发表观点和交流情感的重要来源。特别是随着Ｗｅｂ２畅０技术的发展，网络社区、博客和论坛给网络用户提供了更宽广的平台来交流信息和表达意见。这些文章和言论往往包含有丰富的个人情感，比如 对某部大片的影评，对某款手机的用户体验等，其中 蕴含着巨大的商业价值。如何从这些Ｗｅｂ文本中进行情感挖掘，获取情感倾向已经成为当今商务智能领域关注的热点。所谓情感分析（ｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓ），就是确定说话人或作者对某个特定主题的 — １３９—
分类目录用户研究综述 1.分类目录研究现状 1.1分类目录的功能和优势 网络分类目录是应用分类的方法对巨大的网络资源进行组织和揭示的有效 手段。它可以提供浏览方式的信息查询途径，具有直观、易检的优点。分类目录的使用，可以使得用户更易查找到所需信息。 分类检索是以分类目录浏览方式提供信息查询途径, 一般称为网络分类目录。由专家选取一些网页, 以某种分类方法进行组织, 建立主题树分层目录, 并将采集、筛选后的信息分门别类地放人各大类或子类下面, 用户通过层层点击, 随着范围的缩小与查询专指度的提高, 最终满足用户的查询需求。网络分类目录在检索方面有以下优势： 1.分类浏览方式直观。在检索目的不明确、检索词不确定时, 分类浏览方式更有效率, 适合网络新手。 2.检准率高。网络分类目录由人工抓取、标引, 网页学术性强, 检索效果好。另一方面用户参与程度高, 在分类目录的指导下, 逐步明确用户的检索需求, 检索目的性更强更明确, 检索效率提高。尽管网络分类目录较检索法具有一定的优势, 但是, 要提高检全率、检准率, 采用科学的分类方法是至关重要的。分类标准是提供优质检索服务的重要保障。 1.2 中文搜索引擎分类目录状况 目前中文搜索引擎有70多种。其中, 只有“网络指南针”是采用《中图法》建立网络目录的。目前也只有两级类目的框架、内容不够丰富, 其他的中文搜索引擎都是自编的网络分类目录。由于缺乏统一的网络信息分类标准, 各搜索引擎的分类体系无法兼容, 用户检索需要适应各个搜索引擎不同的网络分类方法。例如, 搜狐的分类目录包括18个大类. 从这些搜索引擎网站分类目录状况可以得出以下结论： 1.网上搜索引擎应用的分类方法较文献分类法检索有其优越性。 2.在分类体系上, 采用以主题、事物为主的聚类方法, 替代了以学科为中心的聚类方法。即围绕某一主题、某一事物集中关于这一主题、这一事物的相关信息。例如, 在“雅虎”分类目录中查找“因特网”方面的信息,进人“电脑与因特网”
毕业论文 题目：文本分类方法研究 姓名：贾云璠 院系：理学院物理系 专业：物理学 年级： 2013级 学号： 201341021 指导教师：郑伟 二〇一七年六月
摘要 近些年来，随着信息技术的发展与应用，互联网上的数据错综复杂，面对如此纷繁复杂的数据，需要借助数据挖掘对数据进行处理来实现对数据的分类，以便查询和搜索，实现数据的最大利用价值。 文本分类在信息处理方面占有重要的作用，到目前为止，有很多种方法：KNN SVM 决策树，以及贝叶斯等算法可以帮助我们快速的对文本进行自动分类，本文主要研究KNN SVM两种方法，在比较这两种分类对中文文本分类的基础之上，分析了K 临近算法和支持向量机的优缺点，因SVM和KNN具有互补的可能性，提出了SVM和KNN组合[1]的算法。实验表明：SVM和KNN有很好的分类效果。 关键词：文本分类，SVM、KNN，线性组合
Abstract In recent years, with the development of information technology and application, the complexity of the data on the Internet in the face of so complicated data, need with the help of data mining, data processing to implement the data classification, in order to query and search, and realize the maximum utilization of the data value. Chinese text classification plays an important role in Chinese information processing, for example, Chinese information retrieval and search engine, KNN SVM decision tree, and the bayesian algorithm can be applied to Chinese text classification, based on the research analysis compares the two kinds of KNN and SVM classification method, and the experimental comparison of the two algorithms of Chinese text classification effect, on the basis of analyzing the K near the advantages and disadvantages of the algorithm and support vector machine (SVM), found that the SVM and KNN has the possibility of complementary, SVM and KNN algorithm of linear combination is presented. Key words: Text classification, SVM, KNN, linear combination
引文文本分类与实现方法研究综述 引文文本一般是指引文脚注所在的句子或与上下文句子的集合[1]，能提供施引文献与被引文献之间关系的重要信息，具有重要的研究价值和意义。目前围绕引文文本的研究主要有引文文本分类、引用动机调查、引文主题抽取3个方向[2-5]。相对而言，引文动机调查和主题抽取的理论和方法比较成熟，而关于引文文本分类的研究文献数量众多，分类标准和实现方法各有不同，没有统一的模式[6]。近几年来，国内关于引文文本的研究文献逐渐增多，如文献[6]对引文文本分析方法的主要步骤和相关研究进展进行了综述；文献[7]概述了引文文本类型识别的步骤和实践进展；文献[8]尝试从概念、研究范畴、步骤和功能系统地构建引用内容(文本)分析的理论。然而这些文献中较少对不同的引文文本分类标准的特点进行归纳，对不同的分类方法的优缺点也没有系统梳理和对比。因此，本文拟在前人研究的基础上对中英文相关文献进行研读、梳理，系统总结归纳现有引文文本的各种分类标准及特点，对比分析引文文本分类实现方法的优缺点，理清引文文本分类的主要应用领域，剖析当前存在的问题，并对未来的研究重点进行展望。 1 引文文本的分类标准
引文文本的分类标准，主要是指科学家对引文文本进行内容分类分析时采取的角度或维度。在对引文文本分类的相关研究中，1993年，M.X.Liu[2]将相关研究的分析目的归纳为3个方面：提高检索效率，研究引用功能，研究引用质量。2004年，H.D.White[9]从情报学和语言学的不同学科角度，探讨了不同学科对引文文本分类方法的不同研究角度。2013年，祝清松等[7]在对引文类型标注方法进行综述的基础上将分类标注定为引用功能和观点倾向两类。笔者通过对主要综述性文献的比较和其他相关文献的广泛研读，认为引文文本的分类方式主要可分为以下5种类型。 1.1 基于引用功能的分类 引用功能是指被引文献在施引文献中起到的作用和产生的意义，早期对引用功能的研究以描述性讨论为主，功能定义比较单一，主要观点认为引文是对前人研究工作价值的肯定，是对知识产权的维护[10-14]。其中，具有代表性的是M.J.Moravicsik 与P.Murugesan[15]从4个不同维度对引文文本进行分类，特别是第一个维度——将引文文本分为概念性引用、操作性引用和其他功能的引用，超过一半的引用(53％)为概念的引用，仅有7％的引用属于其他功能的引用。其对引用功能的划分比较粗略，没
分类算法综述（一） 摘要：分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖 掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。 1 概述 分类是一种重要的数据挖掘技术。分类的目的是根据数据集的特点构造一个分类函数或分类模型（也常常称作分类器），该模型能把未知类别的样本映射到给定类别中的某一个。分类和回归都可以用于预测。和回归方法不同的是，分类的输出是离散的类别值，而回归的输出是连续或有序值。本文只讨论分类。 构造模型的过程一般分为训练和测试两个阶段。在构造模型之前，要求将数据集随机地分为训练数据集和测试数据集。在训练阶段，使用训练数据集，通过分析由属性描述的数据库元组来构造模型，假定每个元组属于一个预定义的类，由一个称作类标号属性的属性来确定。训练数据集中的单个元组也称作训练样本，一个具体样本的形式可为：（u1,u2,……un;c）；其中ui表示属性值，c表示类别。由于提供了每个训练样本的类标号，该阶段也称为有指导的学习，通常，模型用分类规则、判定树或数学公式的形式提供。在测试阶段，使用测试数据集来评估模型的分类准确率，如果认为模型的准确率可以接受，就可以用该模型对其它数据元组进行分类。一般来说，测试阶段的代价远远低于训练阶段。 为了提高分类的准确性、有效性和可伸缩性，在进行分类之前，通常要对数据进行预处理，包括： (1) 数据清理。其目的是消除或减少数据噪声，处理空缺值。 (2) 相关性分析。由于数据集中的许多属性可能与分类任务不相关，若包含 这些属性将减慢和可能误导学习过程。相关性分析的目的就是删除这些不相关或冗余的属性。 (3) 数据变换。数据可以概化到较高层概念。比如，连续值属性“收入”的 数值可以概化为离散值：低，中，高。又比如，标称值属性“市”可概化到高层概念“省”。此外,数据也可以规范化,规范化将给定属性的值按比例缩放,落入较小的区间,比如[0,1]等。 2 分类算法的种类及特性 分类模型的构造方法有决策树、统计方法、机器学习方法、神经网络方法等。按大的方向分类主要有：决策树，关联规则，贝叶斯，神经网络，规则学习，k－临近法，遗传算法，粗糙集以及模糊逻辑技术。 分类算法综述（二）－－－决策树算法 2.1 决策树（decision tree）分类算法 决策树是以实例为基础的归纳学习算法。它从一组无次序、无规则的元组中推理出决策树表示形式的分类规则。它采用自顶向下的递归方式，在决策树的内部结点进行属性值 的比较，并根据不同的属性值从该结点向下分支，叶结点是要学习划分的类。从根到叶结点的一条路径就对应着一条合取规则，整个决策树就对应着一组析取表达式规则。1986年