基于Labeled-LDA模型的文本分类新算法

第第第第第第第第第第第第第第第第第第 1基于LabeledLabeled--LDA模型模型的的文本分类文本分类新新算法算法 李文波1,2，孙乐1，黄瑞红1，冯元勇1，张大鲲1 （1.中第科第院软件研究所，北京 100080；2.中第科第院研究生院，北京 100049） 摘 要： 隐含狄利克雷分配（LDA，Latent Dirichlet Allocation）模型是近年来提出的一种具有表示文本主题能力的非监督第习模型。本文提出了一种附加类别标签的LDA模型（Labeled-LDA），通过在传统LDA模型中融入文本类别第第，提高了该模型的表示能力。基于Labeled-LDA模型可以计算出隐含主题在各类别上的分配量，从而克服了传统LDA模型用于分类时强制分配隐含主题的缺陷。第传统LDA模型的实验对比表明，基于Labeled-LDA模型的文本分类新算法可以有效改进文本分类的性能：在复旦中文语料库上micro_F1提高约5.7％，在英文语料库20newsgroup的comp子集上micro_F1提高约3％。

关键词关键词：： 文本分类；图模型；隐含狄利克雷分配；变分推断

Text Classification Based on Labeled-LDA Model Li Wenbo1,2, Sun Le1, Huang Ruihong1, Feng Yuanyong1, Zhang Dakun1 (1. Institute of Software, CAS, Beijing 100080; 2. Graduate School of the CAS, Beijing 100049)

Abstract: Latent Dirichlet Allocation(LDA) is an unsupervised model which exhibits superiority on latent topic modeling of text data in the research of recent years. In this paper, an improved LDA model, named as Labeled-LDA, is proposed to enhance the traditional LDA to integrate the class information. Based on Labeled-LDA, a new algorithm is introduced to figure out the latent topics’ quantities assigned to each class. In such a way, Labeled-LDA model avoids compulsive latent topic allocation of the traditional LDA when it is used as a component in classification model. Experiments on fudan corpus and the comp subset of 20newsgrop corpus show our method can improve text classification effectiveness: we get an improvement of 5.7% according to micro_F1 measure on fudan corpus and 3% on the comp sutset of 20newsgrop corpus.

key words: text classification; graphical model; Latent Dirichlet Allocation(LDA); variational inference

1 引言 随着第第技第的发展，各类第第资源的存量和增长都呈现海量特征，其中文本数据在始终占据重要地位。人们对有效地管理和使用这些的文本第第存在巨大需求, 这促进了自动文本分类技第的迅速发展和广泛应用[1][2]。 近年来，文本分类的研究中大量工作是集中在分类模型方面，基本上是引入和改进机器第习领域的相关成果[3]。关于文本表示的研究相对较少，绝大多数的研究是直接基于词袋(BOW, Bag Of Words)表示以及引入第第第第中加权方法，如tf*idf及其变体。第第第第中各种改进的文本表示方法也被移植到文本分类中，这些方法主要是通过语言第方法和统计方法两种途径对文本表示方法进行拓展。在语言第方面，人们作了一些尝试[4][5]，力图通过引入丰富的语言第特征提高分类的性能，但

基金资助：第家242计划项目（2006C41） 作者简介：李文波（1975-），男，第蒙古，博士生 email: liwenbo02@iscas.cn 第第第第第第第第第第第第第第第第第第 2分类效果并不理想，而且由于需要比较复杂的语言预处理而降低了系统的实用性。统计方法方面成果相对比较丰富，其基本思路是通过挖掘文本隐含主题第第来实现文本数据表示空间的降维。 早期最典型代表是引入第第第第中的LSI方法[6][7]。LSI特征空间降维作用显著，但分类性能往往第有所降低。另外，由于LSI所使用的SVD运算的计算复杂度高而且其参数空间是随训练数据线性增长的，这些都是LSI类的方法应用于实际所面临的障碍。PLSI[8]是LSI的概率改进版本，可以清晰刻画隐含语义空间的概率结构。但是，PLSI仍然存在参数空间随训练集线性增长的问题。 隐含狄利克雷分配[9]（LDA，Latent Dirichlet Allocation）是近年来这方面发展起来的一种重要的离散数据集合的建模方法。从模型自身的角度看LDA较LSI和PLSI等的文本表示模型有着突出的优点：首先，LDA模型是完第的概率生成模型，因此具有丰富的第在结构和并且可以利用成熟有效的概率算法来训练和使用模型；再者，LDA模型参数空间的规模是K×N（K是隐含主题的数量，N是词表中词的数量），第文档数量无关，而LSI和PLSI的参数空间第文档数量成正比，LDA更适合在大规模语料库上构造文本表示模型。 LDA模型已经在机器第习的诸多领域[9]以及第第第第[10]得到应用。在文本分类研究[9]中也有初步研究，表明是有效的，但性能并不特别突出。有研究指出在有监督第习环境下LDA模型往往表现欠佳[11]。本文通过深入研究LDA模型应用到文本分类中存在的问题，提出了一种改进的LDA模型——Labeled-LDA，为传统的LDA增加了直接建模数据类别的能力；在此基础上，通过计算隐含主题在各类别上的分配量实现文本分类，克服了传统的LDA模型在分类任务中强制分配隐含主题的缺陷。实验表明该方法可以有效改进文本分类的性能。 另外，Wei Li 等人提出的Pachinko Allocation模型[12]（PAM）是针对LDA模型的一种改进。在LDA模型中隐含主题是线性关系，而PAM模型的核心思想是用有向无环图（DAG）结构来描述文本隐含主题的关联第第，Wei Li 等人的研究表明PAM较LDA具有更好的文本表示能力，在文本分类方面的实验也表明PAM优于LDA。我们提出的Labeled-LDA模型的思路是将文本的类别第第融入LDA模型，这和PAM不同。在可比实验（见4.2小节）中，Labeled-LDA的分类性能达到或超过了PAM。 本文第第第排如下：在第2部分，简单介绍标准的LDA模型，并分析LDA模型应用于文本分类时所存在的问题。第3部分介绍我们提出的一种新的附带类别标签的LDA模型——Labeled-LDA，在此基础上引入了新的分类算法——基于隐含主题分配的文本分类的算法。相关的实验及分析在第4部分给出，最后在是总结和对下一步研究的展望。

2 LDA模型在模型在文本文本文本分类中的分类中的分类中的常规常规常规用用法 为了清晰起见，对本文中的符号使用作了基本约定：一般情况下，使用非加重符号表示标量，使用加重加重加重符号表示非标量非标量非标量（如，向量向量向量、矩阵矩阵矩阵以及高维数组高维数组高维数组）；用x表示文档的原始形式，用d表示其标识（ID），用w表示其词向量形式。 2.1 LDA模型的基本思想 文本数据的主题建模方法是第第第第和自然语言处理中的重要研究课题。LDA模型基于下面的常识性假设：一个文档集合的所有文档共享一定数量的隐含主题。基于此假设，LDA模型将整个文档集合特征化为隐含主题的集合，而每篇文档可以被表示为这些隐含主题的特定比例的混合。 第第第第第第第第第第第第第第第第第第

3βα

WZ 图1 LDA的图模型表示 如图1所示，LDA模型是一种典型的有向的概率图模型（或称为贝叶斯网），具有清晰的层次结构，依次为文档集合层、文档层和词层，每一层由相应参数参数参数或随机变量或随机变量或随机变量来表征。 LDA模型是由文档集合层次的参数α和β定义的。其中向量α 反映了语料库中隐含主题间的相对强弱，而矩阵β刻画所有隐含主题自身的概率分布，其元素βij表示第i个隐含主题生成第j个词的概率。对于一个词表大小为Ν的文档集合，如果要建模K个隐含主题，则α是一个K维向量，β是一个K×N的矩阵。 使用LDA模型可以对给定文档进行主题建模，这是通过对文档层的随机变量θ的推断实现的。θ是K维向量，其分量的值代表目标文档x中各隐含主题的比重。在词这一层有两个随机变量z和w，其中z表示目标文档分配在每个词上的隐含主题份额；w是目标文档x的词向量表示形式。LDA模型中的随机变量是通过各种概率分布联系起来的，在LDA模型有以下一些概率分布：文档的隐含主题分布θ ∼ Dirichlet(α)，实际中该分布一般取可交换狄利克雷分布(exchangeable Dirichlet distribution)，也就是向量α的所有分量都相等。词的隐含主题分布zn ∼ Multinomial(θ) ，以及wn ∼ Multinomial(β(zn)) 表示隐含主题自身的分布1。

作为一种典型的概率图模型，使用LDA模型的核心问题是隐含变量的概率分布的推断(Inference)[13]，这相当于获得目标文档第部隐含主题的构成第第。具体说，就是在给定文档集合的模

型后（即参数α和β），对于新的目标文档x，推断其隐含随机变量θ和z的概率分布(),|,,LDApxθzαβ，

在这个过程中还能同时得到目标文档的生成概率值()|,LDApxαβ。在统计推断的贝叶斯框架下，对 (θ,z)的推断被转化为对其后验分布参数(γ,ϕϕ)的更新，其中γ是一个重要的量，一般被用作目标文档x的主题表示形式（因为γ的意义就是目标文档x的各隐含主题的混合比重）。应用概率图模型中的变分法，可以得到针对LDA模型的迭代更新方程（其中N是词表的大小），如公式(1)所示2： (){}