Web文本分类中特征项权重的研究

第10卷 第2期2010年 2月科 技 和 产 业Science Technolog y and IndustryV ol 10,N o 2Feb., 2010Web 文本分类中特征项权重的研究刘 辉,邵良杉(辽宁工程技术大学工商管理学院;辽宁葫芦岛125105)摘要:Web 数据挖掘的主要研究内容是如何快速有效地在异构的、半结构化的、动态的W eb 信息资源获取有用信息,而Web 文本分类是W eb 数据挖掘的核心。

通过分析Web 文本的特点,本文提出一种改进的T F IW F 特征项权重计算方法来对w eb 文本进行分类。

实验表明,该方法提高了w eb 文本分类系统的分类性能,具有较好的正确率和召回率。

关键词:W eb 数据挖掘;文本分类;特征项权重;T F IWF中图分类号:T P274 文献标志码:A 文章编号:1671-1807(2010)02-0122-03收稿日期:2009-11-17作者简介:刘辉(1977 ),男,河北新乐人,辽宁工程技术大学,讲师,管理科学与工程硕士,研究方向为信息管理与信息系统;邵良杉(1961 ),男,辽宁朝阳人,辽宁工程技术大学副校长,教授,管理科学与工程学科博士生导师,研究方向为管理企业信息化。

伴随着Internet 的广泛应用,Web 上的信息资源得以急速膨胀。

Web 上浩如烟海的信息包含图像、音频、视频和文本等,这些都是异构的、半结构化的、动态的数据。

其中,文本资源占到了整个信息资源量的80%以上。

如何有效地从这些Web 文本内容中获取有用信息,进行分类、聚类、趋势预测等,即Web 文本挖掘,已经成为一个具有重要用途的研究课题。

Web 文本分类是在预定义的分类体系下,根据文本的特征,将给定文本与一个或多个类别相关联的过程。

从数学上看,文本分类是一个映射过程,它将未标明类别的文本映射到已有的类别中,且这种映射可以是一对一的,也可以是一对多的,用数学语言可以描述为:对于每个<d i ,c k > DXC(其中d i 属于文本集D 中的一个文本,C={c 1,c 2,!,c n }是预先定义的类别集),判断其布尔值,若为真(T ),表示文本d j 属于类别c i ,否则不属于类别c i 。

比较常用的分类方法主要包括支持向量机(SVM )、K 近邻(KNN )、神经元网络(Nnet)、线性最小二乘方估计(LLSF)和贝叶斯算法(Bayes)等[1]。

其中大部分分类方法都采用向量空间模型(VSM )表示文本,而该模型以特征项权重的计算为核心。

通过分析Web 文本的特点,本文提出一种改进的T F IWF 特征项权重计算方法。

实验表明,该方法提高了文本分类系统的分类性能,具有较好的正确率和召回率。

1 Web 文本表示要对Web 文本分类,首先要做的是如何在计算机中表示文本。

与一般数据库中的机构化数据相比,W eb 上的文本表现为一个有文字和标点符号组成的字符串,没有标准结构。

要使计算机能够高效地处理这些文本,就必须找到一种理想的形式化表示方法,这种表示一方面要能够真实地反映文本的内容(主题、领域或结构),另一方面,要有对不同文本的区分能力,这就是文本表示[1]。

目前文本表示通常采用向量空间模型(VSM ),是20世纪60年代末期由G Salton 等人提出的。

在VSM 模型中,特征项是最小的不可分的语言单位,可以是字、词或者短语。

一个文本D 的内容被看成是它含有的特征项t i 组成的集合:D =D(t 1,t 2,!,t n )。

每一个特征项t i 依据一定的原则被赋予一个权重w i ,表示它在文本中的重要程度[2]。

这样一个文本D 可用它含有的特征项及特征项所对应的权重来表示:D =D(t 1,w 1;t 2,w 2;!,t n ,w n )。

文本的向量空间模型如图1所示。

图1 文本的向量空间模型2 特征权重计算方法特征权重用于衡量某个特征项在文本表示中的122重要程度或区分能力的强弱。

权重的计算方法是利用文本的统计信息,主要是词频,给特征项赋予一定的权重[3]。

常用的特征权重函数有以下几种:1)布尔权重函数w ij=1,如果tf ij>00,如果tf ij∀0(1)2)倒排文本频度IDF权重函数w ij=tf if#lo g Nn i(2)3)归一化的TF IDF权重函数w ij=tf ij#log(N/n i)∃tiDj[tf ij#lo g(N/n i)]2(3)4)ITC权重函数w ij=log(tf ij+1 0)#log(N/n i)∃tiDj[log(tf ij+1 0)#lo g(N/n i)]2(4)5)T F IWF权重函数w ij=tf ij#log ∃Mi=1nt int i2(5)上述公式中,w ij表示特征项t i在训练文本D j中的权重;tf ij表示特征项t i在训练文本D j中出现的频度;N是训练集中总的文本数;n i是训练集中出现特征项t i的文本数;M为特征项的个数;nt i为特征项t i 在训练集中出现的次数。

在上面的几个权重函数中,T F IDF权重计算方法比较常用,其基本思想是特征项的权重与特征项在文本中出现的频率成正比,与在整个训练文本集中出现该特征项的文本数成反比。

但TF IDF过分倚重特征频度[4]。

在T F IDF算法的基础上,R Basili于1999年提出了TF IWF权重算法,其与T F IDF有两点不同:1)TF IWF算法中用特征频率倒数的对数值IWF代替IDF。

2)T F IWF算法中采用IWF的平方来平衡权重值对特征频度的倚重。

3 改进的TF IWF权重计算方法众所周知,一个特征项在文本中出现的位置不同,这个特征项相对于这个文本的重要性来说,也是不一样的。

如果把一个文本分为标题、摘要和正文三部分,实际上,出现在这三个位置的特征项的重要性是依次降低的[5]。

根据这一认识,本文在T F IWF 特征项权重计算函数中,加入了位置因子tp。

这样,将进一步降低特征项权重对特征项频率的过分倚重。

改进的T F IWF权重函数为:w ij=tf ij#lo g∃Mi=1nt int i2*pt i(6)其中p t i为特征项ti在文本D中的位置因子。

如果文本的标题、摘要和内容中都出现了特征项,则位置因子p t i等于2;如果特征项只在标题、摘要或者内容中出现,则p t i的值为1。

虽然特征项出现在标题中,位置因子的值应该大于1,但根据实际情况,如果特征项只在标题中出现而没在内容中出现时,很可能这个文本的标题和内容不相符。

也就是说,只有当特征项出现在标题或者摘要中,同时还要出现在文本内容中时,它的位置因子才会大于1。

位置因子p t i 具体取值如表1所示,其中T表示该位置出现了特征项,F表示该位置没有出现特征项。

表1 位置因子pti取值表标题T T T T F F F摘要F T F T T F T内容F F T T F T Tp t i11 11 62111 44 实验测试与分析为了验证本文提出的改进的T F IDF权重计算方法的有效性,从新浪(http://w w /)网站选取了2000篇文档,共分为娱乐、体育、国际政治、游戏、手机数码5大类,每个类别400篇。

从每个类别中随机选取300篇文档作为训练文本集合,另外100篇作为测试文本集合。

针对不同的目的,衡量文本分类系统性能的评估方法有召回率、正确率和F-测度值等。

召回率越高,表明分类器将输入文本错误地排除在某个分类之外的可能性越小。

正确率越高,表明分类器越有可能将输入文本错误的分类到某个类别。

F-测试值则兼顾了以上两个方面,其数学公式如下:F1=召回率*正确率*2召回率+正确率(7)试验测试结果如表2所示,从表中可以看出,使用改进后的T F IWF权重函数,Web文本分类的召回率和查全率得到明显提高。

123Web文本分类中特征项权重的研究表2 实验结果数据表娱乐体育游戏国际政治手机数码T F IW F召回率90 1%92 6%91 3%83 6%89 6%本文改进的T F IWF召回率92 3%94 5%91 6%85 5%90 8% T F IW F正确率87 3%89 6%92 4%83 9%89 5%本文改进的T F IWF正确率87 6%90 1%91 7%86 1%90 2% T F IW F的F-测度值88 7%91 1%91 8%83 7%89 5%本文改进的T F IWF的F-测度值89 9%92 2%91 6%85 8%90 5%5 结束语本文探讨了Web文本分类过程中的关键技术,提出了一种加入特征项位置因子的改进的T F IDF 权重计算函数,并对真实Web文本进行了分类测试和评估。

实验表明,加入特征项位置因子的权重计算方法,能够明显提高文本分类的正确率和召回率。

与现有的同类方法相比,本文的特征项权重计算方法在Web文本分类中具有更好的实际应用价值。

参考文献[1]苗夺谦,卫志华.中文文本信息处理的原理与应用[M].北京:清华大学出版社,2007:224-228.[2]张东礼,汪东升,郑纬民.基于VSM的中文文本分类系统的设计与实现[J].清华大学学报:自然科学版,2003,43(9):1289 -1291.[3]宗成庆.统计自然语言处理[M].北京:清华大学出版社,2008:346-349.[4]陈治纲,何丕廉,孙越恒.基于向量空间模型的文本分类方法的研究与实现[J].计算机应用,2004,24(6):277-279. [5]李慧娟.基于粗糙集的文本分类算法研究[D].长春:东北师范大学,2007.The Study on Feature Items Weight of Web Text C lassificationLIU H ui,SH AO Liang shan(Liaoning Techn ical U nivers ity,H uludao Liaon ing125105,China)Abstract:Web Data M ining major research how to g et valuable in formation from heterogen eous,s emi structu red,dynamic W eb information r e s ou rces qu ickly and efficiently,and W eb text classification is th e core of W eb data min ing.By analyzing th e characteristics of Web text,this pap er proposes a modified T F IW F featu re items w eight calcu lation method.E xperim ental results sh ow that,this meth od improves the Web text classifi cation system performance and has good precision and recall rate.Key words:W eb data mining;text class ification;featur e items w eigh t;T F IW F(上接第118页)参考文献[1]中华人民共和国政府采购法[G].北京:法律出版社,2003.[2]李存才.政府集中采购情况利弊谈[N].中国财经报,2007-10-17.On Urgent Problems in the C entralized Purchasing of Equipments for theUniversities by the Government and Ifs CountermeasuresLI Ling yi(Yongzh ou Vocational C ollege,Yon gzhou Hu nan425006,Chin a)Abstract:Snics the Government Procreant S ara w as issued,the T eac w ig equipments and au kinas of materials of infr astru cture projects has keen g radually in cooperated into th e unified p rocurement biddin g by the government centre of the government.T heo paper analys es th e outstanding problem s in th e muffed bidding and purch asing of th e equipm ents of universities b y the government and put forw ard in tidal s olitaire.Key words:u nivers ity equ ipmen t;procu rement;p rob lem s and solution124科技和产业 第10卷 第2期。