第11章 文本分类
(1) 文本。 本书泛指一般的文本或者文本中的段落、 句 群或者句子, 通常指的是一篇文章。 尽管文本可以是多媒体 对象, 但是在本书的讨论中, 只认为是文本对象。
(2) 特征项。 文本的内容由一些特征项来表达, 一般由文 本所含有的基本语言单位(字、 词、 词组或短语等)来表示, 即文本可以表示为D(t1, t2, …, tn), 其中, tk表示各个特征项, 每 个特征项表示文本的一个维度。
第11章 文本分类
(5) 相似度度量。 两个文本D1和D2之间的相关程度常常 Sim(D1, D2)来度量。
在向量空间模型下, 可以借助向量之间的某种距离来表示 文本间的相似度。 常用的是采用向量之间的内积来计算相似 度, 定义式如下:
n
Sim(D1, D2 ) w1k w2k k 1
(11-2)
第11章 文本分类
文本分类中, 通常使用的特征评估函数有信息增益 (Information Gain)、 期望交叉熵(Expected Cross Entropy)、 文档频率(Document Frequency)、 文本证据权(the Weight of Evidence for Text)、 开方拟合检验(χ2-statistic)、 优势率 (Odd Ratio)、 互信息(Mutual Information)等。 每一种特征 选择方法对应一种特征评估函数。
第11章 文本分类 wik tfik idfk
(11-4)
式中: tfik是一个局部统计量, 它在不同文本中有不同的值; 反 向文档频率idfk是一个全局统计量, 反映了一个给定的词条在整 个文档集中的分布情况。IDF
N
idfk
log