当前位置：文档之家 › 基于LDA模型的主题演化分析：以情报学文献为例

基于LDA模型的主题演化分析：以情报学文献为例

  • 格式：pdf
  • 大小：6.56 MB
  • 文档页数：7
I t shows th a t the to p ic o f sem antic a n alysis draw s m ore and m ore a tte n tio n in th e fie ld o f C hinese
in fo rm a tics.
Key words：e v o lu tio n o f t o p ic ; to p ic in te n s ity ; to p ic c o n te n t; la te n t D ir ic h le t a llo c a tio n
(同济大学经济与管理学院，上 海 200092)
摘 要 ：为了掌握科研动态和追踪研究热点，需要挖掘文献中的主题及其变化规律，因此，提出了一种基于隐性狄 利克雷分布（latent D irichlet allocation，L D A )的主题演化分析模型.首先，在整个文本集合上使用L D A 模型识别主 题及其关键词，并计算每个时间窗口中文档-主题概率分布;然后，对各个时间窗口下的文本集合分别使用L D A 模 型计算出主题-词汇概率分布，并计算不同时间窗口下不同主题的相似度，从而得出主题强度的演化趋势;最后，通 过相似主题下的词汇的概率分布得到主题内容的变化.可观察到中文情报学领域，“语义分析”等主题的关注度具 有持续上升的趋势.
Abstract：T o le a rn a b o u t th e tre n d a n d m o n ito r th e h o t to p ic o f r e s e a rc h ，m in in g e v o lu tio n o f to p ic
in te n s ity from papers plays an im p o rta n t ro le . A m odel based on La ten t D iric h le t A llo c a tio n (L D A ) was p ro p o s e d . F ir s t ly ，th e c o lle c tio n s o f a ll th e p a p ers b y u s in g L D A to fin d o u t to p ic s a n d th e ir k e y w o rd s ， and p ro b a b ility d is trib u tio n o f d o cu m e n ta tio n -to p ic on d iffe re n t tim e w indow s was o b ta in e d . S e co n d ly， L D A w as a p p lie d in p a p e rs o n e v e ry s in g le tim e w in d o w to g e t p r o b a b ility d is tr ib u tio n o f to p ic -w o r d ， th ro u g h w h ic h s im ila rity o f to p ics fro m d iffe re n t tim e w indow s w ere co m p u te d . T he tre n d o f to p ic in te n s ity was fig u re d o u t, and the w ords p ro b a b ility o f s im ila r topics can h e lp fig u re out the tren d o f to p ic c o n te n t.
1048
北京工业大学学报
2018 年
题强度的演化2 个方面进行,主题内容演化体现了
D ir ic h le t a llo c a tio n ,O L D A )模 型 ，通过演化矩阵记录
对主题演化的研究可以从主题内容的演化和主
收稿日期：2017-02-07 基金项目：国家自然科学基金资助项目（71371144,71771177,71701085) 作者简介：朱茂然（1972—)，男，副教授，主要从事信息系统与电子商务方面的研究，E -m a il：zhumaoran@
关键词：主题演化；主题强度；主题内容；隐性狄利克雷分布
中图分类号：T P 391. 1
文献标志码：A
文章编号：0254 -0037(2018.11936/bjutxb2017020005
Evolution of Topic Using LDA Model：Evidence From Information Science Journals
科 技 文 献 是 研 究 成 果 的 载 体 ，也 是 知 识 传 播 的 媒 介 ，因 此 ,通过动态跟踪科学领域主题演化规 律 可 发 现 新 知 识 增 长 点 .科 技 文 献 由 标 题 、作 者 、 摘 要 、关 键 词 、正 文 和 参 考 文 献 组 成 ，其中蕴含了
大量有价值的信息.文本挖掘和自然语言处理为 海量文献的主题挖掘与演化研究提供了技术支 撑⑴.
第44卷 第 7 期 2018年 7 月
北京工业大学学报
JOURNAL OF BEIJING UNIVERSITY OF TECHNOLOGY
V o l.44 No.7 Jul. 2018
基 于 L D A 模 型 的 主 题 演 化 分 析 ：以 情 报 学 文 献 为 例
朱茂然，王奕磊，高 松 ，王洪伟，张晓鹏
Z H U M a o r a n ，W A N G Y i l e i ，G A O S o n g ，W A N G H o n g w e i，Z H A N G X ia o p e n g
(School of Economics and Management，Tongji U n ive rsity，Shanghai 200092，C hina)

合集下载

基于LDA的主题发现及演化规律的可视化研究

基于LDA的主题发现及演化规律的可视化研究


逆 文 档 概 率 ．综 合 逆 文 档 概 率 和 词 语 隶 属 主 题 的 概 率 来 挑 选 出该 主题 的 主题 词 簇 在 Ｌ Ｄ Ａ挖 掘 ¨ ： 不 同时 问 片 的 主题 词簇 的 基 础 上 ．计 算 相 邻 时 间 片 的 主 题 相 似
度和主题强度 ． 分 析 主 题 演 化 的连 续 性 和停 断性 最 后 利用上述计算 结果 ． 用 主题 流 展 示 主 题 演 化 规 律 ． 文 亨 云 展 示 时 间 片 内 的 主题 词 簇
领 域 提 出 了很 多 的分 析 技 术 ．但 由于 主题 挖 掘 的结 果 通 常 是 一 堆 同簇 ． 结果 复杂 ． 因而 越 来 越 多 的 研 究 者 将 主题 挖 掘 和 可 视 化技 术Ｉ ４ １ 结 合 在 一 起
本 文 对 微 博 数 据 进 行 了去 噪 和 分 组 ． 做为 Ｌ Ｄ Ａ 模 型的输入 ． 输 出 各 个 时 间 片 的 主 题 词 簇 对 于 Ｌ Ｄ Ａ 挖 掘 技 术 中 主题 词簇 中 的 词 语 排 列 顺 序 只 是 按 词 语 隶 属 该 主 题 的概 率 大 小评 估 的 ．在 实 际实 验 过 程 中发 现 往
观 点 等 方 面 的 综 合 表 现 网 络所 具 有 的开 发 性 和 虚 拟 性 使 得 民 意 表 达 得 更 加 顺 畅 ．同 时 也 可 能 在 一 个 热 点
个 词 语 比较 不 常 见 ．但 是 它 在 这 个 文 档 巾 山 现 了 较
多 次 数 的话 ．那 么 这 些 词 语 是 最 能 反 映 该 文 档 的 巾 心 思 想 的 ．也 是 我 们 想 要 发 现 的 主 题 词 簇 所 以 在 Ｌ Ｄ Ａ
开 发 案 例
文章编号 ： １ ０ ０ ７ — １ ４ ２ ３ （ ２ ０ １ ７ ） ０ ７ — ０ ０ ４ ２ — ０ ３
基于LDA主题模型的信息服务文献主题 提取与演变研究

基于LDA主题模型的信息服务文献主题 提取与演变研究

Research on Subject Extraction and Evolution of Information Service Literature Based on LDA Topic
Model
作者： 钱旦敏[1];郑建明[2]
作者机构： [1]南通大学医学院,南通226001;[2]南京大学信息管理学院,南京210023
出版物刊名： 数字图书馆论坛
页码： 16-22页
年卷期： 2019年 第10期
主题词： 信息服务;LDA主题建模;TF-IDF;主题演变
摘要：运用LDA主题模型梳理近22年来国内信息服务研究主题演化情况,为该领域的可持续发展提供借鉴和指导。

以中国知网(CNKI)为信息源,以信息服务为主题检索CSSCI期刊,排除不符合论文,共检索到8908篇论文,并按年文献量趋势划分为4个阶段。

基于TF-IDF构建LDA主题模型,利用MindMapper绘制主题演变图,比较分析信息服务研究主题的持续、弱化、转移与新兴。

模型结果显示,1998年以来我国信息服务领域持续研究主题包括图书馆服务、信息产业服务、资源服务及学科服务;图书馆服务模式和信息伦理研究逐渐弱化、转移;移动信息服务、智库大数据、专业领域信息以及图情计量成为近年来该领域研究热点。

基于LDA主题模型的文献特征项多重共现可视化方法

基于LDA主题模型的文献特征项多重共现可视化方法

基于LDA主题模型的文献特征项多重共现可视化方法作者：翟君伟瞿英郭菲刘滨来源：《河北科技大学学报》2022年第02期摘要：文献计量学是运用数学和统计学方法对文献知识单元进行定量分析、揭示文献内部知识内容的一门科学。

共现网络分析是文献计量研究中分析文献特征项数据关系的一种可视化方法，根据被分析特征项的数量分为单重共现网络分析和多重共现网络分析。

与单重共现网络分析相比，多重共现网络分析增加了特征项的维度，对文献知识的呈现更加深入。

但是，由于被分析特征项维度的增加，导致共现网络中的节点数量增多，节点间连线重合度和交叉频率过大，降低了文献计量可视化的效果。

因此，目前文献计量共现网络分析主要以单重共现为主，多重共现网络分析可视化效果尚有待提升。

为解决多重共现网络中节点过多、连线密度过大、不利于发现数据价值以及可视化效果较低等问题，引入LDA主题模型，采用空间划分的方法，将特征项全域可视化的问题转化为子空间可视化问题。

首先，使用SATI文献题录信息分析软件抽取文献关键词，进行TF-IDF计算，以计算结果作为实验数据;其次，使用Python构建主题模型，对目标文献集合进行主题聚类分析;最后，使用Ucinet软件对不同主题子空间文献进行多重共现分析，并将子空间分析结果叠加和重构，完成多重共现可视化系统的结构化表达。

结果表明：与原多重共现可视化方法相比，在内容呈现等价的前提下，基于LDA主题模型的多重共现可视化改进方法由于缩小了多重共现网络分析系统的规模，即子空间文献数量与特征词数目，因而降低了共现网络中的节点数量和节点间连线密度，使得多重共现可视化系统的结构更为清晰，增加了数据的可读性，突出了数据价值，有效提升了多重共现可视化效果。

因此，多重共现可视化改进方法在一定程度上可以推进文献构成元素在多重组合知识挖掘方面的深入研究，提高不同领域文献计量的实证研究质量。

关键词：管理计量学;LDA主题模型;多重共现分析;Ucinet;可视化中图分类号：G353.1 文献标识码：AAbstract：Bibliometrics is a science to quantitatively analyze literature knowledge units by using mathematical and statistical methods and reveal the internal knowledge content of literature.Co-occurrence network analysis is a visual method to analyze the data relationship of document characteristic items in bibliometric research.According to the number of analyzed characteristic items，it can be divided into single co-occurrence network analysis and multiple co-occurrence network pared with single co-occurrence network analysis，multi co-occurrence network analysis increases the dimension of feature items and presents literature knowledge moredeeply.However，due to the increase of the dimension of the analyzed feature items，the number of nodes in the co-occurrence network increases，and the connection coincidence degree and crossover frequency between nodes are too large，which reduces the visualization effect of literature measurement.Therefore，at present，the bibliometric co-occurrence network analysis mainly focuses on single co-occurrence，and the visualization effect of multiple co-occurrence network analysis needs to be improved.In order to solve the problems of too many nodes，too large connection density，disadvantage of discovering the value of data and low visualization effect in multi co-occurrence network，LDA topic model was introduced and the method of spatial division was adopted to transform the global visualization problem of feature items into subspace visualization problem.Firstly，the key words were extracted by using sati document title information analysis software，and the TF-IDF calculation was carried out.The calculation results were taken as the experimental data.Secondly，Python is used to construct a topic model for topic cluster analysis of the target literature set.Finally，Ucinet software was used to analyze the multiple co-occurrence of subspace documents with different topics，and the subspace analysis results are superimposed and reconstructed，so as to complete the structural expression of the multiple co-occurrence visualization system.The results show that compared with the original multi co-occurrence visualization method，the improved multi co-occurrence visualization method based on LDA topic model reduces the number of nodes in the co-occurrence network and the connection density between nodes due to the reduction of the scale of the multi co-occurrence network analysis system，that is，the number of documents and feature words in the subspace.It makes the structure of the multi co-occurrence visualization system clearer，increases the readability of the data，highlights the data value，and effectively improves the multi co-occurrence visualization effect.To a certain extent，this study can promote the in-depth research on knowledge mining of multiple combinations of literature constituent elements，and then improve the quality of empirical research on literature metrology in different fields.Keywords：management metrology;LDA topic model;multiple co-occurrenceanalysis;Ucinet;visualization文献计量学是指运用数学和统计学的方法，定量分析一切知识载体的交叉科学[1]，其分析对象包括文献量（各种出版物，尤以期刊论文和引文居多）、作者数（个人、集体或者团体）、词汇数（各种文献标识，其中以叙词居多）。

国内LDA模型研究现状可视化分析

国内LDA模型研究现状可视化分析

第11期(总277期)No. 11(Serial No. 277)2020 年 11 月Nov. 2020情报探索Information Research 国内LDA 模型研究现状可视化分析*收稿日期:2020-03-26*本文系国家社会科学基金一般项目“面向知识流分析的中文文本主题生成模型构建及应用研究”（项目编号：18BTQ069）成 果。

作者简介:陈博（1993—）,男，2019级硕士研究生，研究方向为图书馆知识服务;马秀峰（1963—）,男，硕士，教授，研究方向为图书馆知识服务。

陈博1马秀峰2（1.曲阜师范大学传媒学院 山东日照 276826）（2.曲阜师范大学继续教育学院山东曲阜273165）摘 要：［目的/意义］旨在对今后我国LDA 模型研究提供指导。

［方法/过程］利用文本挖掘方法及可视化研究工具 Citespace ，对CNKI 数据库中2009—2019年发表的有关LDA 模型研究的357篇CSSCI 期刊论文，从发表年份、作者、作者机构及关键词等几个方面进行计量分析。

［结果/结论］我国LDA 模型研究在近10年一直呈现岀上升趋势,处于发展阶段，在未来仍 有较大的发展空间；国内研究人员及团队的研究较为分散，没有形成较大的合著网络并且在研究主题上过于单一;研究大多集 中在算法和模型的开发上，较少涉及在线文本数据方面的应用研究，但随着互联网技术的发展社会网络分析逐渐成为研究热 点,过多集中于模型和算法上的状况有所好转;大数据与LDA 模型进一步融合将是未来的发展方向。

关键词：LDA 模型;热点主题;研究现状;Citespace中图分类号：G350 文献标识码:A doi ：10.3969/j .issn.1005-8095.2020.11.019Visualization Analysis of the Status Quo of Researches on LDA Model in ChinaChen Bo 1 Ma Xiufeng 2(1. School of Communication, Qufu Normal University, Rizhao Shandong 276826)(2. School of Continuing Education, Qufu Normal University, Qufu Shandong 273165)Abstract : [ Purpose/significance ] The paper is to provide guidance for the future LDA model research in China. [ Method/process ] The paper uses text mining method and visualization tool Citespace to make a biblimetric analysis of 357 CSSCI articles on LDAmodel published in CNKI database in 2009—2019 from the aspects of publication year, author, author institution and keywords. [ Re ­sult/c onclusion ] The LDA model research in China has been showing an upward trend in recent ten years, is in the development stage,and there is still a large space for development in the future. The research of domestic researchers and teams is relatively scattered, andthere is no large-scale coauthored network, and the research topic is too single. Most of the research focuses on the development of algo ­rithms and models, less on the application of online text data, how-ever, with the development of Internet technology, social network a ­nalysis has gradually become a research hotspot, and the situation of too much focus on models and algorithms has been improved. Fur ­ther integration of big data and LDA models will be the future development direction.Keywords :LDA model ； hot topic ； research status ； Citespace0引言随着互联网技术的发展,互联网上的数据呈指数式增长，科研人员如何从这些海量文献中全面、快速、准确地识别出研究主题，并探索其演化趋势，一 直以来都是情报学的研究重点茁。