改进的LDA算法及秩限制问题研究

基于LDA模型的网络评论情感分析研究近年来，随着互联网的普及和社交媒体的盛行，网络评论已经成为一个人们广泛关注的话题。

通过网络评论，人们可以在社交媒体平台或者网站上，对商品、电影、文章、政治事件等各种事物进行评价和反馈。

然而，由于评论的匿名性和言语自由度，网络评论也经常伴随着各种恶意言论、谣言甚至造谣等现象，严重影响着人们的心理健康和社会秩序。

因此，需要研究一种有效的网络评论情感分析方法，来识别和筛选出有意义的评论，为人们提供更加清晰和客观的信息。

一种基于LDA（Latent Dirichlet Allocation）模型的网络评论情感分析方法，得到了广泛的关注和应用。

LDA作为一种常用的文本主题分析方法，在分析文本数据方面有着广泛的应用。

而在网络评论情感分析方面，利用LDA模型可以将各种评论的主题进行提取，并根据主题的分布来判断评论的情感倾向。

实现这一方法的基本思路是，首先对评论集合进行主题模型的训练，得到各个主题的词语分布和主题分布，然后将每个评论映射到一个多项式分布上，利用主题分布来表示评论的情感倾向。

在LDA模型中，文本被看做是由多个主题混合而成的。

对于每个主题，有着一定的词语分布的概率，也就是每个单词出现的条件概率。

在模型训练时，通过对已知的数据集进行参数估计，可以得到各个主题的词语分布和文本中各个主题的分布情况。

在应用中，将每个评论看作是一个多项式分布，由各个主题的出现概率组成，即可计算出该评论的情感倾向。

比如如果评论中包含较多与“物流”、“发货”等主题相关的单词，则可以判断该评论的情感为“物流好”。

接下来，我们来分析一下LDA模型在网络评论情感分析中的优势和应用场景。

首先，LDA模型具有较好的主题发现能力，能够在不需要明确知识领域的情况下对文本进行主题提取。

此外，LDA模型可以发掘出有指导性的关键词、热点和话题，从而帮助人们更好地理解网络评论中隐藏的情感和信息。

另外，由于LDA模型的计算复杂度较低，能够较快地处理大量的评论数据，因此适合用于大规模、海量的评论分析。

基于LDA改进的K-means算法在短文本聚类中的研究冯靖;莫秀良;王春东【摘要】在短文本聚类的过程中,常发现特征词的稀疏性质、高维空间处理的复杂性.由于微博的内容长度限制和特征稀疏性,特征向量的高维度被执行,导致模糊聚类结果.本文使用了Latent Dirichlet Allocation主题模型,对训练数据进行建模,并将主题术语扩展原始微博的特征,从而丰富了聚类文本特征,提高聚类效果.实验结合K-means和Canopy聚类算法对文本数据进行处理,提出了LKC算法,弥补了K-means算法对初始聚类中心点选取的敏感性,结果实现了更高的精度和聚类F1-measure的测量值.F1值提高了10％,准确度提高了2％.%In the process of short text clustering,the sparse nature of the characteristic words,the complexity of the high-dimensional space processing are often found.Due to the content length limitation of the micro blog and its feature sparsity,the high dimensionality of feature vectors is performed,resulted in obscured clustering results.A Latent Dirichlet Allocation (LDA)theme model is proposed to the training data,and extend the subject term into the characteristics of the original micro blog,such that to enrich the category features to improve the clustering consequent.Our experiment combines K-means and Canopy clustering algorithm to process the text data and the results achieve higher accuracy and F1-measure.The F1 value improved by 10％,and the accuracy improved by 2％.【期刊名称】《天津理工大学学报》【年(卷),期】2018(034)003【总页数】5页(P7-11)【关键词】短文本;LDA;K-means聚类;Canopy聚类【作者】冯靖;莫秀良;王春东【作者单位】天津理工大学计算机科学与工程学院天津市智能计算及软件新技术重点实验室,天津300384;天津理工大学计算机科学与工程学院天津市智能计算及软件新技术重点实验室,天津300384;天津理工大学计算机科学与工程学院天津市智能计算及软件新技术重点实验室,天津300384【正文语种】中文【中图分类】TP391.1自媒体时代[1]，除了新奇的交流体验，微博也产生了大量的冗余或无用的短文本内容.微博数据在舆情监控方面得到广泛的应用，它在舆情信息工作中扮演着不可忽视的角色.传统的K-means算法能够有效地处理大数据集而被广泛使用，但对于微博短文本聚类时通常存在以下局限：（1）聚类的数目和聚类的初始中心点的选取比较敏感.（2）微博的表达非常口语化，语法的使用不规范，通常使用图像、视频、链接和其他多媒体技术.因此，数据收集和预处理过程变得更具挑战性.（3）针对短文本特征关键词词频过低，使用传统的向量空间模型Vector Space Model 模型会陷入维度过高，产生大量的0值，从而不能真实的描述文本.目前，针对短文本特征信息少，只有少量的字可以被分析使用的特性，国内外对短文本聚类[2-3]已经进行了比较深入的研究，文献[4]提出通过结合语义改进K-means短文本聚类算法，通过语义集合表示短文本缓解了短文本特征关键词的稀疏性问题.但是文中语义距离的计算忽略了上下文语境，语义距离的计算不够精确.文献[5]提出一种结合上下文语义的短文本聚类算法，首先通过发现词语间共现关系引入上下文语义信息对传统的TF-IDF权重计算进行修改然后进一步结合潜在语义分析方法降维到潜在语义空间完成短文本聚类，改善了短文本特征不足及特征高维稀疏问题.文献[6]提出基于语义特征选取与改进K均值算法的文本聚类，在对文本进行预处理过程采用语义特征选择进行优化，且改进K-means初始聚类个数，减少了整个聚类算法的时间，提高聚类精度.文献[7]构造了一种针对中文网络短文本的特征表示，构建动态网络，用其支持聚类，可以获得满意的聚类结果.由于短文本，固有的缺陷，为了解决短长度、弱信号和小特征的问题，文献[8]中提出了一种用于短文本分类的语义词典方法.从文本中提取主题是具有挑战性的，文献[9]提出了一种通用框架，可以通过创建lager伪文档的原始文档来创建短文本的主题建模.在最初的实验过程中使用原始的TF-IDF计算权重值发现其并不适用于微博短文本，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的.考虑到传统主题模型在处理大规模文本时存在的局限性，本文使用LDA主题模型做文本特征抽取，其有效解决了文本挖掘中的特征稀疏等问题.1 聚类算法描述1.1 K-means算法K-means[10]算法是一种top-down的思想，它首先要解决的问题是，确定cluster数量，也就是K的取值.在确定了K后，再来进行数据的聚类.其具体实现过程如下所陈述：输入：待聚类文本数N，聚类数目k，最大迭代次数Stepmax，迭代终止条件m. 输出：k个聚类和迭代次数.1）从N个待聚类的文本选择K个聚类质心点为初始质心，例如c[0]=data[0]，...c[k-1]=data[k-1]；将data[0]...data[n]，分别与 c[0]...c[k-1]比较，若与 c[i]差值最少，就标记为i；2）Repeat.把剩下的点分配到最近的质量中心，形成k团.重新计算每个集群的质心，直到集群中心的质点没有变化或达到最大迭代次数.基于不同的算法，可以利用不同的指标来确定聚类算法的优缺点.对于文本聚类，K-means算法简单有效.但传统的K-means算法对初始聚类中心敏感，结果不同.它很容易进入局部最优，此外，它对噪声和异常值很敏感.因此，本文提出了一种基于LDA主题模型和canopy-kmeans算法的短文本聚类算法.1.2 Latent Dirichlet Allocation模型本文使用LDA文本主题空间模型，对文本特征进行抽取.LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，包含特征词、隐含主题和文档三层结构. 图1 LDA主题模型三层结构图Fig.1 Three-tier structure diagram of LDA theme model在判断文档相关性的时候需要考虑到文档的语义，而语义挖掘的利器是主题模型，LDA[11]就是其中一种比较有效的模型.它可以将文档集中每篇文档的主题以概率分布的形式给出，从而通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类.LDA是一种非监督机器学习技术，可以用来识别大规模文档集或语料库中潜藏的主题信息.本文中利用LDA模型代替传统的VSM模型来提取隐藏的微博主题信息，并进行聚类分析.其有向概率图如下所示：图2 LDA概率图Fig.2 Latent dirichlet allocation model图2中，参数α反映出文本集中不同隐含主题间的相对强弱关系，参数β则代表主题自身的概率分布.z表示隐含主题，w表示词表的每个词，即观察值，θ代表文本-主题概率分布.对于给定的文本集D，包含M个文档，T个主题，而每个文档d中又包含N个词.LDA的主要工作是根据给定的一篇文档，推测其主题分布.LDA定义生成任意一个文本dj的过程陈述如下：1）选择一个N，N表示整个文档集中不同词语的个数；2）选择一个θ，θ是主题分布所服从的多项分布的参数；3）对于文档找那个的每一个词wn：（1）选择一个主题zn；（2）在选定主题zn后，在该主题对应的词分布中选择一个单词 wn，它的概率是p（w|zn，β）.1.3 相似度判定文本聚类的相似度计算使用余弦距离，假设三角形的三条边为a、b和c，边所对应的三个角为A、B和C，那么角A的余弦为：如果将三角形的边当成向量对待，则公式等价于：其中＜b，c＞是向量的内积，|b||c|是向量长度乘积.文本X和文本Y经过结构化处理后对应向量分别是：X1，X2，...X1000和 Y1，Y2，...，Y1000，则两文本间的余弦距离就可以用这两向量的余弦值来表示：在文本相似度判定中，由于文本特征向量定义的特殊性，其cosθ范围为[0，1]，即如果cosθ越接近于1时，两个文本越相似；当cosθ等于1时，则这两个文本是完全重复的；cosθ越小，则两个文本相关度越低.余弦相似度适用于短文本，用余弦距离计算文本的相似度首先基于词频统计的，根据公式（4）也可以看出，该距离的计算难度是随着文本的增多而增大的，因为文本变多，维度也随着提高了. 1.4 LKC聚类算法实现过程任何基于文本的系统都需要文档的一些表示，并且适当的表示取决于要执行任务的种类.聚类[12]是通过合适的策略把相似的对象聚到一个集合，该集合中的对象在某个方面有着相似的属性.本文选用K-Means method结合Canopymethod[13].K-Means是经典的基于原型的目标函数聚类方法，它试图找到最小的一组普通误差标准函数.但其初始K值的选择是随机性的，这会影响到后续实验聚类的结果.所以第一阶段首先使用Canopy算法选择合适的K个点作为初始质心，并排除与大部分数据点相差甚远的数据点.本文LKC聚类算法实验流程如下：图3 聚类算法流程图Fig.3 The flow chart of LKC clusteing alorithm2 实验结果及评价2.1 数据准备实验数据来自微博200万情感短文本.0到3分别对应不同类别的感情，0代表喜悦，1代表愤怒，2代表厌恶，3代表低落.在实验过程中，把这四类情感倾向分为两大类，0为积极，1、2和3为消极.实验中会对文本数据预处理主要使用Python进行文本预处理，包括文本分词，过滤停用词，词频统计，特征选择，文本表示等.中文文本一般需要用分词算法完成分词，它是没有类似英文空格的边界标志，不能像西方语言那样可以根据空格和标点符号完成分词.文本分词是一个处理的关键，词是最小的能够独立运用的语言单位，它的定义非常抽象且不可计算.网上已有许多开放的分词引擎，例如 BosonNLP、IKAnalyzer、NLPIR、SCWS、结巴分词、盘古分词等多款分词系统.停用词（Stop Words），最简单的如汉语中的“啊”、“的”、“啦”等词，它们没有具体的意义，不能体现文本所表示的内容，但几乎在所有文本中都出现，如果在聚类中考虑这些词，那么文本之间的相似性不能表现出内容的相似性，而是一些无意义的相似性，这不是我们所希望的.为此我们建立一个中文停止词词表，通过这个词表去掉短文本中的停用词.使用十分广泛，甚至过于频繁的一些单词，如果分词前就把停用词剔除，会导致分词不准.所以本文在分词后再根据停用词表把字符串中的停用词删掉.2.2 评价标准采用F1值和准确率（Accuracy）来衡量聚类算法的有效性.其中F1的值又取决于精确率（Precision，Pr）、召回率（Recall，Re）.精确率和召回率的计算公式如下：式（5）中：nj表示识别出的个体 j的总数；ni表示测试集中存在的个体总数；nij 表示正确识别的个体总数.F1-measure的值可以定义为（参数β=1时）：准确率（Accuracy）指在一定实验条件下多次测定的平均值与真值相符合的程度.2.3 实验结果与分析为了充分验证本文改进算法的有效性，重复抽取数据进行实验，在一定程度上缓解了短文本表征中固有的高维度高稀疏性问题.为了降低实验的误差，对数据进行多次重复性实验.表1是取自迭代次数为300时的11次试验结果，因为每次的数据选取都是随机的，排除了与平均值相差较大的几个数据点.表1 两种算法运行结果对比表Tab.1 Comparison results of two algorithms实验序号标准K-means算法改进算法F1值 Acc F1值 Acc 1 0.550 7 0.533 0 0.625 8 0.511 5 2 0.551 6 0.530 4 0.626 5 0.512 6 3 0.552 1 0.530 7 0.625 3 0.510 4 4 0.553 1 0.530 1 0.625 1 0.511 2 5 0.553 5 0.529 6 0.623 6 0.508 56 0.552 5 0.529 3 0.6227 0.507 1 7 0.549 1 0.532 9 0.6238 0.5079 8 0.5537 0.530 1 0.628 1 0.512 3 9 0.552 4 0.530 3 0.625 6 0.510 9 10 0.553 5 0.5296 0.624 3 0.510 4 11 0.552 2 0.529 6 0.626 3 0.512 8平均值 0.552 2 0.530 5 0.625 1 0.510 5通过图4可以清晰的看出，相对于标准的K-means聚类算法，本文提出的改进的算法在F1-measure值上有明显的提高.从图4中可以看出，第8次重复性实验的结果中F1值为0.6281，较为理想.图4中F1值整体走势相对平缓，证明了基于LDA主题模型改进的K-means聚类算法在短文本数据处理上有一定的可行性. 图4 F1-measure值对比图Fig.4 Comparison diagram of F1-measure value 通过图5可以清晰的看出，本文算法在准确率上较标准的K-means聚类算法有明显的提高.其中在第6次实验中，精确率为0.507 1结果比较优秀.但是，从整体来看，本文改进算法的精确率走势不是特别稳定.由此可见，改进算法在精确率的稳定性上有待提高.图5 Acc值对比图Fig.5 Comparison diagram of Accuracy value图6和图7数值为迭代次数50到400的对比图，其中不同的迭代次数都进行20次重复实验取其平均值，为确保数据的准确性.通过图6和图7可以清晰看出，标准K-means算法和本文改进算法在不同迭代次数时，其F1-measure值和精确率均较标准算法有所提高.经过实验验证本文改进的算法在迭代次数为300时，F1-measure为0.625和精确率为0.51达到最优解.其中在迭代次数为200时，精确率为0.529 8与标准算法相差很少.图6 不同迭代次数F1值对比Fig.6 Comparison of F1values for different iterations图7 不同迭代次数Acc对比Fig.7 Comparison of Accuracy values for different iterations3 结论K-means的时间复杂度是线性的O（n*k*t），其中n为数据对象，k为指定的类别数，t为迭代次数上限，算法简单且收敛速度快，所以更适用于处理大规模文本.但是也存在对噪声和离群点敏感，容易达到局部最优等缺点.实验结果证明，改进的算法虽然在F1值和精确率上较传统算法均有所提高，但是稳定性较差.为了确保实验的准确性，进行了多次重复实验，每次实验数据从38万条数据里随机挑取10%的数据进行实验.在未来的工作中，将使用MapReduce框架来实现K-means 聚类算法.参考文献：［1］Pääkkönen P，Jokitulppo J.Quality management architecture for social media data［J］.Journal of Big Data，2017，4（1）：6.［2］ Xu J，Xu B，Wang P，et al.Self-Taught convolutional neural networks for short text clustering［J］.Neural Netw，2017，88：22-31. ［3］ Sun J G，Liu J，Zhao LY.Clustering algorithms research［J］.Journal of Software，2008，19（1）：48-61.［4］邱云飞，赵彬，林明明，等.结合语义改进的K-means短文本聚类算法［J］.计算机工程与应用，2016，52（19）：78-83.［5］张群，王红军，王伦文.一种结合上下文语义的短文本聚类算法［J］.计算机科学，2016，43（S2）：443-446.［6］何晓亮，宋威，梁久桢，等.基于语义特征选取与改进k均值算法的文本聚类研究［M］.重庆：《计算机科学》杂志社，2012.［7］贺涛，曹先彬，谭辉.基于免疫的中文网络短文本聚类算法［J］.自动化学报，2009，35（7）：896-902.［8］ Tang H J，Yan D F，Tian Y.Semantic dictionary based method for short text classification［J］.Journal of China Universities of Posts and Telecommunications，2013，20（13）：15-19.［9］ Bicalho P，Pita M，Pedrosa G，et al.A general framework to expand short text for topic modeling［J］.Information Sciences，2017，393（C）：66-81.［10］ Bai L，Cheng X，Liang J，et al.Fast density clustering strategies based on the k-means algorithm［J］.Pattern Recognition，2017，71：375-386.［11］ Sun Y.The collocation model based on LDA［C］//International Conference on Electronics and Information Engineering.SPIE：Bellingham WA，2015.［12］ Liu Y，Li Z，Xiong H，et al.Understanding of Internal Clustering Validation Measures［C］//IEEE International Conference on Data Mining.IEEE：Piseataway，2010：911-916.［13］ Zhao Q.Efficient algorithm of canopy-kmean based on hadoop platform［J］.Electronic Science and Technology.2014，27（02）：29-31.。

基于改进PCA和LDA的特征提取⽅法⽬录第1章绪论 (1)1.1 研究背景和意义 (1)1.2国内外研究现状 (1)1.3 主要研究内容与论⽂组织结构 (3)1.3.1 主要研究内容 (3)1.3.2 论⽂组织结构 (4)1.4 本章⼩结 (4)第2章相关知识 (5)2.1 PCA及其相关算法 (5)2.1.1 PCA (5)2.1.2 KPCA (6)2.1.3 KPCA-L1 (7)2.2 LDA (8)2.2.1 LDA (8)2.2.2 LDA-L1 (9)2.3 本章⼩结 (10)第3章基于样本选取和加权KPCA-L1的异常检测 (11)3.1 样本选取 (11)3.2 加权KPCA-L1 (13)3.3 异常检测 (15)3.4 模型的更新 (15)3.4 实验结果 (16)3.4.1 ⼈⼯数据集 (16)3.4.2 标准数据集 (18)3.4 本章⼩结 (21)第4章基于L p范数最⼤化的LDA (22)4.1 LDA-Lp算法的推导过程 (22)4.2 实验结果 (24)4.2.1 ⼈⼯数据集 (24)4.2.2 标准数据集 (26)4.3 本章⼩结 (28)第5章总结与展望 (29)参考⽂献 (30)致谢 (33)攻读学位期间取得的科研成果 (34)第1章绪论第1章绪论1.1 研究背景和意义在机器学习和模式识别研究领域，主成分分析（principal component analysis, PCA[1]）和线性判别分析（linear discriminant analysis, LDA[2]）是常⽤的维数约减⽅法，PCA和LDA算法的改进，对数据的⾼效利⽤、提⾼分类器的性能、增强机器学习和模式识别模型的泛化能⼒有重要的意义。

基于L2范数的距离度量对噪声点⽐较敏感，为了提⾼核主成分分析（kernel PCA, KPCA）的抗噪声能⼒，xiao等[3]提出了基于L1范数的KPCA（KPCA-L1)算法，实验结果表明，其抗噪声能⼒优于传统的KPCA算法。

LDA(主题模型)算法&&概念：首先引入主题模型(Topic Model)。

何谓“主题”呢？望文生义就知道是什么意思了，就是诸如一篇文章、一段话、一个句子所表达的中心思想。

不过从统计模型的角度来说，我们是用一个特定的词频分布来刻画主题的，并认为一篇文章、一段话、一个句子是从一个概率模型中生成的。

LDA可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。

它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为易于建模的数字信息。

LDA(Latent Dirichlet Allocation)是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。

所谓生注：每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。

备注：流程（概率分布）：→→许多（单）词某些主题一篇文档/**解释：LDA生成过程*对于语料库中的每篇文档，LDA定义了如下生成过程(generativeprocess): *1.对每一篇文档，从主题分布中抽取一个主题;*2.从上述被抽到的主题所对应的单词分布中抽取一个单词;*3.重复上述过程直至遍历文档中的每一个单词。

**/把各个主题z在文档d中出现的概率分布称之为主题分布，且是一个多项分布。

把各个词语w在主题z下出现的概率分布称之为词分布，这个词分布也是一个多项分布。

&&深入学习：理解LDA，可以分为下述5个步骤：1.一个函数：gamma函数2.四个分布：二项分布、多项分布、beta分布、Dirichlet分布3.一个概念和一个理念：共轭先验和贝叶斯框架4.两个模型：pLSA、LDA（在本文第4 部分阐述）5.一个采样：Gibbs采样本文便按照上述5个步骤来阐述，希望读者看完本文后，能对LDA有个尽量清晰完整的了解。