08-01 结合类频率的关联中文文本分类
- 格式:pdf
- 大小:534.23 KB
- 文档页数:7
中文信息学报第18卷第6期JOURNAL OF CE WSE INFORMATION PROCESSINGVol. 18 No. 6
文章编号:1003一0077(2004)06一0030一07结合类频率的关联中文文本分类
钱铁云‘,王元珍‘,冯小年2 ((t.华中科技大学计算机学院数据库与多媒体技术研究所,湖北武汉430074; 2中国电力财务有限公司华中分公司,湖北武汉430077) 摘要:该文提出一种词类频率和关联中文文本分类相结合的算法ARCTC。此算法将文档视作事务,关健词视作项,并针对文本事务的特性,提出利用词的类频率筛选与分类相关性不大的词汇,然后将改进的关联规则挖掘算法用于挖掘项和类别间的相关关系。挖掘出的规则用于形成类别特征词的集合,可用来和类标号未知文档的词的集合求交集,交集元素个数最多者即为所分类别。实验证明,该算法在提高训练时间和刚试时间的同时具有较好的召回率、准确率和F-Measure. 关键词:计算机应用;中文信息处理;基于关联的分类;中文文本分类;词类频率;类别特征词集合 中图分类号:TP311.13文献标识码:A
Integrating Class Frequency Into Association RulesBased Chinese Text CategorizationQM Tie}yun' , WANG Yusn-zhen' , FMC, Xiao-rd耐(1. Computer Science Department, Huazhong University of Science and Technology, Wuhan, Hubei 430074, China;2. China Power Finance Company, Huazhong Branch, Wuhan, Hubei 430077, China
Abstract: In this paper, a new algorithm that integrates class frequency into association rules based document classificationis introduced into Chinese text categorization. This algorithm views each document as a transaction and each term as anitem. The class frequency of a term is used to filter the words that are irrelevant to classification, and the mining algorithmof association riles is used to mine the correlation between item and category. Class character words sets are formed basingon the rules, and unlabeled documents are classified厉intersecting with these sets. Experiments confirm that this methodhas a promising recal, precision rate and F-Measure while speeding up both training and test time.Key words: computer application; Chinese information processing; association based classification; chinese text categoriza-tion; term class frequency; class character term set
1引言 自动文本分类是指计算机将一篇文章自动地分派到一个或多个预定义的类别中去,它属于信息检索IR和机器学习ML的交叉学科。相关研究早在上个世纪六十年代已经展开,但是直到上世纪九十年代才成为信息学科的主要分支,其原因在于Web文档和电子出版物的大量涌现使得自动文本分类的迫切性凸现了出来。在英文文本自动分类领域已经提出了多种成熟
收稿日期:2004一04一08 基金项目:科技部科技电子政务系统关键技术及应用系统的研究资助(2001 BA1101301) 作者简介:钱铁云(1970-),女,博士研究生,研究方向为数据挖掘和信息检索.
30
万方数据的分类方法。国内中文文本分类技术的研究主要有:基于机器学习的方法D]; VSM[2I , SVM[31 ,KNN[41和Boosting[51,关联规则挖掘算法最初用于挖掘大型事务数据库中项与项间的有趣关系,后来Bing Liu等设计出基于关联的分类规则挖掘算法CBA[6[。文献[7〕提出的CMAR的算法,利用加权ZX计算规则前件和后件的相关度,以选择合适规则区分测试数据,文献「8〕通过挖掘词和类别之间的关联规则进行分类,文献「9]讨论了利用关联规则实现Web文档聚类的方法。文献「10]通过挖掘XML文档中子结构的频繁项进行分类。王元珍等将关联分类应用于中文文本分类,方法是将文本看作事务,词看作项,并直接挖掘词和类别之间的分类关联规则,然后用类别区分度方法对类标号未知的文档进行区分,实验结果表明基于关联规则的中文文本分类同样具有较高的准确率和较快的训练时间。 本文分析了将CBA算法[6]用于中文文本分类领域时所存在的问题并提出了解决方法,针
对文档事务的特征,本文设计的预处理算法利用词的类频率将许多分类无关项加以过滤,大大减少了项数、事务长度以及事务数据库元组个数。(dominance factor)在对新文档进行区分时,现有的最高置信度方法[6]分类准确率较低,而尹,,及支配因子[[8l尽管在准确率方面有所提高,但计算过程缓慢,类别区分度方法则存在计算复杂和F-Mess。综合指标偏低的缺陷,针对上述问题,本文提出的类别特征词方法利用分类关联规则形成类别特征词集合,然后将新文档所含的词与类别特征词集合求交集,交集元素个数最多的类别即为所求类别。实验结果证明这种方法的分类精度远大于最高置信度方法,F-Measure指标也高于类别区分度方法,而且计算过程极为简单。
2文本预处理过程 在基于关联规则的文本分类中,每篇文档被视作一个事务,而文档中所包含的字或词(在此我们统一称之为关键字)被作为项,经过分词后将文档转化为事务数据。分词我们采用中科院计算所提供的汉语词法分析系统ICTCLAS。首先我们按照词性去除虚词和形容词,一般只保留名词和动词。 预处理的基本工作是要实现从文档号劝事务号以及关键字幼项号的两个映射关系。每个文档对应一个事务号,每个独特的关键字则赋予唯一的项号,在此过程中可以同时完成词频统计。
3文本事务数据库的过滤3.1文本事务数据的特征 在文档事务数据库中,任意一个文档所含有的词数目都会很大且词的分布很广,使得所形成的事务数据库相当稀疏,并进一步导致挖掘算法效率极为低下。中文文档的这一特征更加明显,在我们的实验语料中,仅保留的名词和动词就有34372个,形成的事务数据库有723734条元组,但是单项支持度在0.05以上的词数只有448个。在如此稀疏的事务数据库中有效挖掘关联规则决非易事。为解决这一问题,本文首次引人词汇的类频率概念,用以过滤对分类意义不大的词汇。实验证明,词汇类频率的引人,不仅极大地改善了基于关联规则的自动文本分类算法的效率,对分类准确率的提高也具有显著的作用。 根据词在各个类别的文档中出现的频率,我们可以把词分为几类:停用词、稀疏词、模糊词和区分词。停用词是指那些特别常用的,作为必不可少的语法单位在几乎所有类别的所有文档中都出现的词,如表1中的“进行”,这样的词对分类没有意义,应该加以过滤;稀疏词是指因
31
万方数据为偶然因素仅在某个文档中出现的词,如表1中的“解放路”,这些词对分类的意义不大,也应该过滤掉,;模糊词是指在多个类中都有出现的词,但是它们只对其中的一个或两个类有分类意义,而在其它类别中的出现只会带来干扰,如表1中的“坦克”,对这样的词,应该消除它们的干扰出现;区分词则是指类别特征非常明显,而且只可能出现在特定类别中的词,如表1中的“污染源”,这些词应该加以保留。 表1词频特征表\产鹦0类
交通1类
体育2类
军事3类医药4类政治5类
教育6类
环境7类经济8类
艺术 9类计算机
进行47183111
52192
104541058695
解放路1
坦克134
22
污染源28
3.2过滤方法的选择 特征词选择问题历来是信息检索领域的一个研究重点,Yiming Yang在文献〔12」中指出,文档频率DF常常被误认为只能作为一种提高性能的辅助手段,而实际上它可以作为特征选择的一种简单而可靠的度量标准,特别是在IG, CHI才计算代价太大的时候。由于在将文档转化为事务数据时已经同时完成了词频的统计,因此在对中文文本事务数据库进行过滤时,我们利用改进的DF方法进行分类特征词的选择,一方面并不需要增加额外的开销,同时也可以取得良好的效果。3.3 TCF过滤算法 词的文档频率DF反映一个词在一个文档中出现的次数,用于文档特征词的选择。所包含的基本思想是:对区分文档最有意义的词语应该是在本文档中出现频率足够高,但是在其它文档中出现频率足够低的词语。事实上,这个思想同样可以应用到类别特征词的选择上,我们首先引人如下定义:定义1词类内频率InnerTCF [ i:一个词在类别i的多少个文档中出现。定义2词类间频率OuterTCF:一个词在多少个类别中出现。 通过对停用词、稀疏词、模糊词和区分词词频特征的规律总结,我们认为在过滤词的时候,首先应该考虑OuterTCF,的作用。一般地,如果一个词在一半以上的类别中都有出现,则认为该词应该属于停用词。但是如果直接使用词类间频率进行过滤未免显得“粗放”,而且会丢掉一些本来可以用作某个类的特征词的词汇。为了避免那些因为偶然出现而导致的OuterTCF计数上升情况,我们采用tnteOuterTCF计数。 定义3词真实类间频率:rueOuterTCF:一个词在多少个类别中真实出现。当且仅当In-nerTCF [ i ] / nmeanTCF>二0.1时称该词在类别i中真实出现。
rneanTCF二 1OccurTinw名InnerTCF [ i]
习(i)
OccurFunction ( iInneelse