当前位置：文档之家 › Comparing LDA with pLSI as a Dimensionality Reduction Method in Document Clustering

Comparing LDA with pLSI as a Dimensionality Reduction Method in Document Clustering

  • 格式：pdf
  • 大小：464.50 KB
  • 文档页数：14

ComparingLDAwithpLSIasaDimensionality

ReductionMethodinDocumentClustering

TomonariMasada,SenyaKiyasu,andSueharuMiyahara

NagasakiUniversity,1-14Bunkyo-machi,Nagasaki852-8521,Japan{masada,kiyasu,miyahara}@cis.nagasaki-u.ac.jp

Abstract.Inthispaper,wecomparelatentDirichletallocation(LDA)withprobabilisticlatentsemanticindexing(pLSI)asadimensionalityreductionmethodandinvestigatetheireffectivenessindocumentclus-teringbyusingreal-worlddocumentsets.Forclusteringofdocuments,weuseamethodbasedonmultinomialmixture,whichisknownasanefficientframeworkfortextmining.ClusteringresultsareevaluatedbyF-measure,i.e.,harmonicmeanofprecisionandrecall.WeuseJapaneseandKoreanWebarticlesforevaluationandregardthecategoryassignedtoeachWebarticleasthegroundtruthfortheevaluationofcluster-ingresults.OurexperimentshowsthatthedimensionalityreductionviaLDAandpLSIresultsindocumentclustersofalmostthesamequal-ityasthoseobtainedbyusingoriginalfeaturevectors.Therefore,wecanreducethevectordimensionwithoutdegradingclusterquality.Fur-ther,bothLDAandpLSIaremoreeffectivethanrandomprojection,thebaselinemethodinourexperiment.However,ourexperimentprovidesnomeaningfuldifferencebetweenLDAandpLSI.ThisresultsuggeststhatLDAdoesnotreplacepLSIatleastfordimensionalityreductionindocumentclustering.

1Introduction

Documentclusteringisaclassicproblemoftextmining.Inrecentyears,cluster-

ingisprovedtobeeffectiveinsummarizingasearchresultorindistinguishing

differenttopicslatentinsearchresults[29][7][5].Withrespecttothistypeofapplication,clusteringisexpectedtoprovidearesultatquerytime.Incontrast,

enterprisedocumentsstoredintheintranetorthepatentdocumentsrelatingto

aspecifictechnicalfieldformadocumentsetwhichisnotsosmallasasearch

resultand,simultaneously,notsolargeasthosetargetedbyopenWebsearch

services[12][15][18].Inthispaper,weconsiderapplicationsmanagingthistype

ofdocumentset,i.e.,adocumentsetofmiddle-rangesizeandfocusonlatent

Dirichletallocation(LDA)[10]alongwithprobabilisticlatentsemanticindexing

(pLSI)[17],whichareapplicabletosuchdocumentsetsinrealisticexecution

time.Thesetwomethodssharethefollowingspecialfeature:topicmultiplicity

ofeachdocumentisexplicitlymodeled.Therefore,wecanconsidertopicmix-

tureforeachdocument.ThisfeaturemakesLDAandpLSIdifferentiatefrom

multinomialmixturemodel[24]andalsofromDirichletmixturemodel[21][19].

T.TokunagaandA.Ortega(Eds.):LKR2008,LNAI4938,pp.13–26,2008.c󰀁Springer-VerlagBerlinHeidelberg200814T.Masada,S.Kiyasu,andS.Miyahara

However,LDAemployesaBayesianinferenceframework,whichmakesLDA

moretheoreticallyattractivethanpLSI.

Inthispaper,weuseLDAandpLSIfordimensionalityreductionoffeature

vectorsindocumentclusteringandcheckifLDAcanreplacepLSIforthistask.

Ouroriginalfeaturevectorshavefrequenciesofwordsastheirentriesandthus

areofdimensionequaltothenumberofvocabularies.BothLDAandpLSI

reducethedimensionofdocumentvectorstothenumberoftopics,whichisfar

lessthanthenumberofvocabularies.Roughlyspeaking,wecanregardeach

entryofthevectorsofreduceddimensionasatopicfrequency,i.e.,thenumber

ofwordsrelatingtoeachtopic.Weinvestigatetheeffectivenessofdimensionality

reductionbyconductingaclusteringonfeaturevectorsofreduceddimension.

OurexperimentusesfourdifferentsetsofJapaneseandKoreanWebarticles.

Eacharticlesetconsistsoftensofthousandsofdocuments,i.e.,adocumentset

ofmiddle-rangesize.Weuseaclusteringmethodbasedonmultinomialmixture

withEMalgorithmforparameterestimation.Multinomialmixtureiswell-known

asaneffectiveframeworkfortextminingapplications,e.g.junke-mailfiltering[26].Whilewehavealsotestedk-meansclusteringmethod,thisdoesnotgive

clustersofsatisfyingqualityincomparisonwithmultinomialmixture.Therefore,

wedonotincludethoseresultsinthispaper.Inevaluatingclusterquality,we

comparethequalitybeforeandafterdimensionalityreductionviaLDAandpLSI.

Further,wecomparethesetwomethodswithrandomprojection[9],whichwe

regardasthebaselinemethodinthispaper.Weusethecategoryassignedto

eacharticleasthegroundtruthforevaluatingclusterquality.Therefore,wetry

torecoverdocumentcategoriesbasedonthetopicfrequenciesobtainedbythe

twomulti-topicdocumentmodels,LDAandpLSI.Whiletheinferenceofthe

correctnumberofclustersisimportant,thisisbeyondourscope.Wehaveused

thetruenumberofclustersasaninput.

Therestofthepaperisorganizedasfollows.Section2givespreviouswork

concerningapplicationsofLDAtoreal-worlddata.Section3includesashort

descriptionofLDA.SincepLSIhasalreadybecomemorewidelyacceptedthan

LDA,weomitthedetailsaboutpLSIfromthispaperandrefertotheoriginal

paper[17].TheresultsofevaluationexperimentispresentedinSection4.Section

5drawsconclusionsandgivesfuturework.

2PreviousWork

Recently,manyapplicationsofLDAtoreal-worldproblemsareproposed,e.g.

multimodalinformationintegration[8][20],topic-authorrelationshipanalysis

合集下载

高维数据的降维方法

高维数据的降维方法

- 1 - 高维数据的降维方法

随着数据的爆炸式增长，高维数据的处理越来越受到关注。然而，高维数据的处理也带来了一些挑战。首先，高维数据的存储和计算成本很高。其次，高维数据的可视化和分析也变得更加困难。为了解决这些问题，一些降维方法被提出。

降维方法的目标是将高维数据映射到低维空间，同时尽可能地保留数据的关键信息。主要的降维方法包括主成分分析(PCA)、线性判别分析(LDA)、t-SNE等。PCA是一种无监督学习方法，通过找到数据中的主要成分来降低数据的维度。LDA则是一种有监督学习方法，它将数据映射到一个低维空间，使得在该空间中不同类别的数据点能够被更好地区分。t-SNE是一种非线性降维方法，它通过在高维空间中保持数据点之间的相对距离来将数据映射到低维空间。

除了上述方法，还有一些其他的降维方法，如多维缩放(MDS)、局部线性嵌入(LLE)等。这些方法在不同的数据集和应用场景中都有着广泛的应用。在实际应用中，我们需要根据数据的特点和应用需求来选择合适的降维方法。

PLSA的简单概念

PLSA的简单概念

PLSA的简单概念

PLSA (概率潜语义分析) 是基于 双模式 和 共现 的数据分析⽅法延伸的经典的统计学⽅法。概率潜语义分析 应⽤于信息检索，过滤，⾃然语⾔处理，⽂本的机器学习或者其他相关领域。概率潜语义分析 与 标准潜语义分析 的不同是，标准潜在语义分析是以 共现表（就是共现的矩阵）的奇异值分解的形式表现的，⽽概率潜在语义分析却是基于派⽣⾃ LCM 的混合矩阵分解。考虑到word和doc共现形式，概率潜语义分析 基于 多项式分布 和 条件分布 的混合来建模共现的概率。所谓 共现 其实就是 W和D 的⼀个矩阵，所谓 双模式 就是在 W和D 上同时进⾏考虑。PLSA的缺点：

PLSA有时会出现过拟合的现象。所谓过拟合（Overfit），是这样⼀种现象：⼀个假设在训练数据上能够获得⽐其他假设更好的拟合，但是在训练数据外的数据集上却不能很好的拟合数据。此时我们就叫这个假设出现了overfit的现象。出现这种现象的主要原因是训练数据中存在噪⾳或者训练数据太少。

解决办法，要避免过拟合的问题，PLSA使⽤了⼀种⼴泛应⽤的最⼤似然估计的⽅法，期望最⼤化。PLSA中训练参数的值会随着⽂档的数⽬线性递增。PLSA可以⽣成其所在数据集的的⽂档的模型，但却不能⽣成新⽂档的模型。 关于SVD：

LSA的基本思想就是把⾼维的⽂档降到低维空间，那个空间被称为潜在语义空间。这个映射必须是严格线性的⽽且是基于共现表（就是那个矩阵啦）的奇异值分解。PLSA是LSA的概率学延伸，所以我们⾸先要知道LSA的算法。

LSA的算法：

假设有N篇的document，D={d_1, … ,d_N}，和M个words，W={w_1, … ,w_M}，再设置K个潜在类Z={z_1, … ,z_K}。

⾸先，建⽴⼀个N*M的项——⽂档矩阵，统计频率。矩阵A中的每⼀项分别对应了DiWj出现的频率。这个就是前⾯说的共现表。

接着，对这个矩阵做奇异值分解。这个是奇异值分解的公式。A(n*m) = U(n*n) E(n*m) VT(m*m)

偏最小二乘回归分析

偏最小二乘回归分析

- 1 - 偏最小二乘回归分析

偏最小二乘回归分析（PLS）是一种统计分析技术，用于建立一个或多个解释变量（X）与一或多个响应变量（Y）之间的关系，以帮助研究者分析一个系统的影响因素，并确定响应变量的变化。偏最小二乘回归分析还可以用来准确预测给定的解释变量可能会产生的响应变量。

偏最小二乘回归分析是为了弥补线性回归分析（LRA）的不足而开发的一种技术。 LRA假定解释变量之间没有非线性关系，而PLS可以更好地模拟非线性关系。它也可以用于处理多元线性回归的解释变量间的相关性，以及用于处理一组试验组和一组参照组时的相关性。

偏最小二乘回归分析的优势主要体现在其对异常值敏感性低，可以简化计算，处理较大数据量，以及对模型表现和预测准确性更好等方面。

PLS的基本思想是将解释变量和响应变量分解成“属性”和“指标”，并计算属性和指标之间的相关性。属性是构成解释变量和响应变量的基本成分，而指标是利用属性对响应变量的解释能力的衡量指标。PLS可以用来计算属性与特定指标的相关性，也可以用来识别有助于预测响应变量值的最相关属性。

建立一个偏最小二乘回归模型的过程很复杂，但是要建立一个模型，需要一些基本步骤。首先，需要收集一组代表解释变量和响应变量的实际数据。对于每一对变量，需要对它们的关系进行分析，以获得拟合系数，以及预测响应变量的准确性，并考虑可能的异常值。接 - 2 - 下来，需要调整解释变量的权重，以便尽可能准确地得出每一个变量的重要性。最后，需要使用正确的统计技术来评估模型。

总而言之，偏最小二乘回归分析是一种统计分析技术，可以用来建立一个或多个解释变量（X）和一个或多个响应变量（Y）之间的关系，并确定响应变量的变化。它可以在包含多个解释变量的试验中实现更准确的解释和预测，而且可以在任何数据集中成功运行，即使存在异常值也是如此。因此，偏最小二乘回归分析可以提供更精确的结果，可以帮助研究者在其研究中发现有效的特定关系。

光谱数据降维

光谱数据降维

光谱数据降维

光谱数据降维是一种常用的数据分析方法，用于减少数据集的维度，同时尽可能保留其原始结构。在光谱分析中，由于光谱数据通常具有较高的维度和复杂的结构，因此进行降维处理对于后续的数据分析和处理是非常必要的。

常用的光谱数据降维方法包括主成分分析（PCA）、线性判别分析（LDA）、核主成分分析（KPCA）等。其中，PCA是最常用的一种方法，它通过将数据投影到由数据集的主成分构成的主子空间上，使得投影数据的方差最大化。这样，可以将高维数据转化为低维数据，同时保留其原始结构。

在具体实现上，PCA可以通过以下步骤来完成：

1. 对数据进行标准化处理，即对每个特征进行零均值和单位方差的归一化。

2. 计算数据的协方差矩阵。

3. 计算协方差矩阵的特征值和特征向量。

4. 将特征向量按照其对应的特征值大小进行排序，将特征向量按照从大到小的顺序排列，得到主成分。

5. 选择前k个主成分，将数据投影到这些主成分所构成的主子空间上，得到降维后的数据。

通过PCA降维后的数据，可以更好地进行后续的数据分析和处理，例如分类、聚类等。同时，降维还可以减少数据的复杂性和噪声干扰，提高模型的泛化能力和稳定性。