文本分类中的特征选择方法分析

文本分类方法总结

李荣陆

(复旦大学计算机与信息技术系，上海，200433)

E-mail: lironglu@

一、Swap-1方法

1，特点：

 特征选择：将只在某一类中出现的词或短语作为这一类的特征，词频作为权重。

二、n-gram方法

1，N-Gram-Based Text Categorization

（1）特点：

 n-gram项的生成：为了得到字符串中结尾部分的字符串，对不够n的字符串追加空格。如：Text的3-gram项为_Te、Tex、ext、xt_、t__。

 类的表示：先计算类别中所有训练文本的n-gram项的词频，然后按词频对其由大到小进行排序，最后保留从第n（实验中等于300）项开始的k个n-gram项作为此类的特征值。

 相似度计算：

（2）优点：容错性强，可以允许文本中有拼写错误等噪声。

（3）用途：

 区分测试文档是何种语言，即语言分类；

 自动文本分类

2，CAN Bayes(Chain Augmented Naive Bayes)

Bayes分类器是一个性能很好的线性分类器，但是它假设文档的每个分类特征属性间是相互独立的，这显然是不成立的。假设di={wi1,wi2,…,win}为一任意文档，它属于文档类C={c1,

c2,…, ck}中的某一类cj。根据Bayes分类器有：

)()|()()()|()|(jjiijjiijcPcdPdPcPcdPdcP，其中rkjikjicwPcdP1)|()|(。

如果使用Bayes网络来描述特征属性间的联系，则失去了Bayes模型的简单性和线性特征。我们使用了统计语言学中的N-Gram模型，它假设一个词在文档中某个位置出现的概率仅与它之前的n-1个词有关，即：

)|()|(11121ininiiiiwwwwPwwwwP。

我们可以得到在某个类别c的文档集中，w1,w2,…,wT出现的概率为：

第２５卷第１期　海南大学学报自然科学版　２００７年３月　ＮＡＴＵＲＡＬ　ＳＣＩＥＮＣＥ　ＪＯＵＲＮＡＬ　ＯＦ　ＨＡＩＮＡＮ　ＵＮＩＶＥＲＳｎ１Ｙ　Ｖｏｌ＿２５　Ｎｏ．１　Ｍａｒ．２Ｏ０ｒ７　

文章编号：１００４—１７２９（２００７）０１—００６２—０５　

文本分类中特征降维方式的研究　

伍建军，康耀红　

（海南大学信息科学技术学院，海南海口５７０２２８）　

摘要：首先介绍了几种常见的特征选择和特征抽取方法，并结合Ｋ一近邻分类算法对４种特征选择方法进　行了分类测试，同时通过测试分析，提出了一些改进的、可行的互信息评价函数．　关键词：文本分类；特征降维；特征选择；互信息　

中图分类号：ＴＰ　３９１　文献标识码：Ａ　

随着网络技术的高速发展，网络上的电子文档也迅速增长，如何有效地帮助用户查找、过滤和管理这　

些海量数据已显得越来越重要，因此，文本分类（基于文档内容，把一篇新文档分类到预定义好的类别中）　

在许多信息组织和管理领域中的应用也越来越广泛．　

文本分类大致可以分为３个步骤：文本的向量模型表示、特征降维和分类器训练．目前大多数使用向　

量空间模型将文本表示成为向量形式，而向量的属性则有可能涉及到中文中的所有词汇，其向量的维数　

是非常巨大的，同时考虑到一篇文章可能只包含极少数词语（比如，一篇文档只由几百个词语组成），因而　

向量表示文档具有稀疏性．这样高维的特征空间对文本分类的运算时间和空间复杂性是很不利的，因此，　

在进行文本分类之前需要对文本进行特征降维，以最大程度地提高文本分类的精度，同时高效的特征降　

维能够节省更多的存储空间、提高分类速度．特征降维的主要方法有特征选择、特征抽取．下面分别对几　

种不同的特征降维方法进行介绍．　

１　特征选择　

特征选择指的是从特征总集中挑选出一部分有用的、对分类类别有贡献的词条组成特征子集，其一　

般的方法是使用某种评估函数独立地对每个特征词打分，然后把特征词按照分值高低排队，取最高分的　

文本分类特征选择方法

在文本分类任务中，特征选择是一个关键的步骤，它能够帮助我们从原始文本数据中提取出最具有代表性和区分性的特征，从而提高分类模型的性能和效果。本文将介绍几种常见的文本分类特征选择方法。

词频特征是最常见的文本特征表示，它表示每个词在文本中出现的频率。在文本分类中，可以使用词频特征选择方法来选择最具有区分性的特征词，常见的方法有：

1. 互信息（Mutual Information）

互信息是用来衡量两个随机变量之间的相关性的度量。在文本分类中，互信息可以用来衡量一个词和分类之间的相关性。相关性越高，互信息值越大，表示该词对分类起到了更大的区分作用。因此，可以根据互信息值来选择最具有代表性和区分性的特征词。

2. 卡方检验（Chi-Square Test）

卡方检验是用来检测两个分类变量之间的独立性的统计方法。在文本分类中，可以使用卡方检验来衡量一个词和分类之间的独立性。如果一个词在一些分类中出现的频率远高于其他分类，那么该词对于该分类就有更强的区分能力，可以选择作为特征词。

3. 信息增益（Information Gain）

信息增益是一种用来衡量特征对于分类任务的重要性的指标。在文本分类中，信息增益可以用来衡量一个词在整个文本集合中的分布情况和在一些特定分类中的分布情况之间的差异。信息增益越大，表示该词对于分类起到了更大的区分作用。 除了词频特征之外，文档频率也是一种常用的文本特征表示方法。文档频率表示一个词在多少个不同的文本中出现过，可以用来衡量一个词的普遍性和独特性。在文本分类中，可以使用文档频率特征选择方法来选择最具有代表性和区分性的特征词，常见的方法有：

1. 逆文档频率（Inverse Document Frequency）

逆文档频率是一种用来衡量一个词的独特性和代表性的指标。逆文档频率越高，表示该词在文本中的普遍性越低，具有更强的区分能力。因此，可以根据逆文档频率来选择最具有代表性和区分性的特征词。

２０Ｏ７年１２月　第２２卷第４期　山东师范大学学报（自然科学版）　Ｊｏｕｒｎａｌ　ｏｆ　Ｓｈａｎｄｏｎｇ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ）　Ｄｅｃ．２００７　Ｖ０１．２２　Ｎｏ．４　

基于类别相关性及遗传算法的文本特征选择＊　

李桂芳　刘培玉　

（山东师范大学信息科学与工程学院，２５００１４，济南∥第一作者３２岁，女，硕士生）　

摘要针对文本特征选择中原始特征空间维数过高，提出一种基于类别相关性及遗传算法的文本特征选择方法．有效地降　低了特征空间的维数，提高了分类准确率．实验验证了该方法的有效性．　

关键词类别相关性；遗传算法；特征选择　

中图分类号１Ｐ　３０１　

自动文本分类就是在给定的分类体系下，让计算机根据文本的内容确定与它相关联的类别．自动文本分类算法遇到的很　

大的挑战就是高维的特征空间．目前，在信息处理方向上，文本的表示主要采用向量空间模型（ＶＳＭ），向量空间模型的基本思　想是以向量（１１３１，＇１１３２，＇１１３３，…，　）来表示文本，其中　为第　个特征项的权重，一般选择词作为特征项．文本转换成文本特征向　

量以后，特征的维数通常高达几万维，但是只有其中的很少一部分特征对分类有关．因此，文本分类面临的首要问题就是降　

维，即从众多的特征项中选出最有效的特征以提高分类处理的速度和效果．　

从大量的候选特征中找出代表问题空间的最优特征子集实际上可以看作是一个组合优化问题．遗传算法　模仿生物进　

化过程的自然选择和进化机制，是一种基于群体的全局随机优化算法，在组合优化问题中得到了广泛的应用．目前基于遗传　

算法的特征选择问题也越来越得到研究者的重视．但是原始特征空间维数一般很高，若直接对原始特征集合采用遗传算法进　

行特征选择，染色体编码长度过长，搜索空间太大，影响遗传算法的有效性和实用性．而且还有可能收敛到分类性能较差的局　

部最优解．本文提出了一种基于类别相关性及遗传算法相结合的特征选择方法．首先用改进的互信息方法计算每个特征与类