基于主题的关键词提取方法对比研究(上)

基于主题的关键词提取方法对比研究 - I - 摘 要 关键词提供了文档的概要信息，在信息检索、文本聚类和分类系统中受到了越来越多的应用，关键词的提取算法也受到了越来越多的重视。传统的方法主要依靠词汇的统计信息进行关键词提取，本文在回顾关键词提取的算方法的基础上，从文档主题的角度，综述了基于主题的关键词提取的三种算法--潜在语义分析(LSA)、概率潜在语义分析（PLSA）、隐含狄利克雷分布（LDA）。 LSA方法将文档从稀疏的高维词汇空间映射到一个低维的向量空间，主要通过奇异值分解SVD的方式来求解。PLSA方法它用概率的方法来表示LSA，在文档和词汇之间引入一个潜在语义层（即主题层）。LDA的基本思想是: 利用概率推导等方式可以将单个文档表示为这些潜在主题的集合，对于主题而言，它又可以看成是若干词汇的概率分布。 为了验证这三种方法的性能的优越与否，将理论与实践结合，本文通过实验将三种基于主题的关键词提取算法与TF-IDF方法进行对比，对实验结果进行总结归纳；实验证明，这三种方法无论是从召回率上还是从准确率上都优于TF-IDF方法，能够有效推荐关键词。

关键词：关键词提取；LSA；PLSA；LDA 基于主题的关键词提取方法对比研究

- II - Research on Algorithms of Topic Based Keyword Extraction Abstract Keywords provide semantic metadata producing an overview of the content of a document. They are widely used in information retrieval, text clustering and classification system. As a result, people pay a lot of attention to keyword extraction algorithm. Traditional methods for keyword extraction simply rank keywords according to the statistical information of words. After reviewing some methods of keyword extraction, this article summarizes three topic based methods of keyword extraction which are Latent Semantic Analysis (LSA), Probability Latent Semantic Analysis (PLSA), Latent Dirichlet Allocation (LDA). LSA maps the document from sparse high dimension space to a low dimensional vector space, mainly through the singular value decomposition (SVD). PLSA brings in a latent semantic layer which is called theme layer between documents and words. It explains LSA in a probabilistic way. The basic idea of LDA is: document can be regarded as the combination of several potential themes. A single document can be described as the collection of the underlying theme in a probabilistic way. To prove whether the topic based keyword extraction algorithms are efficient，this article combines theory with practice. After experiment, it compares these three algorithms with the traditional TF-IDF algorithm. It proves that both the recall and the precision get improved. The three topic based keyword extraction algorithm dose well in keyword extraction.

Key Words：keyword extraction; LSA; PLSA; LDA 基于主题的关键词提取方法对比研究

- III - 基于主题的关键词提取方法对比研究

–1– 1 绪论 1.1 研究的背景和意义 1.1.1 研究背景 随着网络信息量的激增，人们对信息质量的需求不断地提升，促使信息的组织和获取方式发生了极大的变化也面临着极大的挑战。信息量的剧增，信息内容的丰富多样、信息结构的复杂多变，信息传递的速度加快；用户范围宽广，需求多样化，处理信息的方式透明化、易用化等这些成为新型互联网环境下的主要特点[1]。2012年1月16日，中国互联网络信息中心(CNNIC)发布《第29次中国互联网络发展状况统计报告》(下简称报告)。报告显示，截至2011年12月底，中国网民规模突破5亿，达到5.13亿，全年新增网民5580万（见下图1.1）。随着网络表达和传递信息的渠道和形式不断丰富，传播方式更具互动性、自主性、多样性，这也促使网络媒体的发展更加活跃，而各类网络资源使用情况也在不断增长。

图1.1中国互联网络信息中心（CNNIC）发布《第29次中国互联网络发展状况统计报告》图 网络门户网站层出不穷，网页浏览量也呈几何倍数不断地增加。国内著名的门户网站有“新浪”、“搜狐”等。门户网站的主要特色在于提供及时滚动的分类新闻，以此来满足不同兴趣爱好的资讯浏览者的浏览需求。信息总量的增长速度呈现指数上升，对于浩渺无穷的网页，如果不能有效地组织和分类，很难吸引用户的眼球;而分类组织有序，重点主题突出的门户网站才是用户的首选。信息环境的这一巨变确实为用户提供了海量的信息，但同时却使得用户辨别和选择适合自己的信息带来了很大的困难。因此，在保证及时性的同时，如何按照用户兴趣来分类组织新闻信息并以快速、醒目的方式(如关基于主题的关键词提取方法对比研究 –2– 键词、标签)表示出来，最大限度地吸引用户眼球，是门户网站需要考虑的重要问题。信息迅速发展的速度与用户获取信息的能力不匹敌，人们面临着众多的信息资源无从下手，很难找到和他们的需求最相关的信息，用户不得不通过浏览大量的网页来查找所需信息。当人们在浏览信息时, 一些内容很有价值而标题却不够醒目的信息易于被忽略。此外, 仅仅从检索到的模糊的概括, 人们很难确定是否是自己所需的资讯。因此，解决这些问题的有效方法就是给出资源内容的关键词。 在最为理想的情况下，关键词应该是人为给出的。如今，我们已经进入了Web2.0时代，相对于web1.0，Web2.0 则更注重用户的交互作用，用户既是网站内容的浏览者，也是网站内容的制造者。每一个用户不再仅仅是互联网的读者，同时也成为互联网的作者；不再仅仅是在互联网上冲浪，同时也成为波浪制造者，从而更加人性化！许多网站给用户提供了进行标签的功能，使用户能够对他们感兴趣的资源进行标注，包括：图片、视频、文章等，因此社会标签（social tags）应运而生。广义上来说，社会标签也是关键词的一种。 关键词作为对文章内容的简要概括[2]，它可以帮助用户通过一种有意义的方式来对信息进行分类。关键词可以帮助提高搜索结果的质量，通过筛选得出特定关键词，可以辅助人们快速了解文章的主要内容，节省浏览的时间。此外，关键词在信息检索、自动摘要、文本聚类和主题搜索领域中也起了很大的作用。然而, 当前互联网上的众多新闻网页没有提供关键词，人工编辑关键词不仅耗费时间而且还具有很强的主观性。因此, 使用人工智能的方法对网页、文本等进行关键词的自动提取成为一个重要的而又有意义的研究课题。

(a) (b) 图1.2 关键词的示例 基于主题的关键词提取方法对比研究 –3– 如上图1.2所示，图(a) 为百度文库某篇文章上的关键字 ；图(b)为新浪博客中作者为自己的博文添加的标签。百度文库中的关键词有5个，而新浪博客中的标签有9个，这些关键词都很好地体现了文章的主题。

1.1.2 研究的意义 文本的关键词提取是文本挖掘的有效方法之一，其目的都是为了能提高文本信息检索的效率和准确率，既是对文本集知识的获取，也是对文本集的处理。对文本集进关键词提取研究有重要的意义，其研究意义主要有以下几点： （1） 关键词提取是文本信息管理的基础 以文本作为信息的载体是Internet上信息资源的主要形式，在海量的文本信息中，要快速准确的找到自己所需要的信息是相当困难的。因此，解决这个问题是人们迫切需要的。对于大量的文本信息，构建一个清晰的框架结构和简要的文本内容说明对于文本集的存储和管理是非常必要的。对于文本信息基本处理的学术研究和应用在近些年来非常活跃，如数字图书馆、搜索引擎、电子商务和微博等，虽然文本挖掘技术在这些领域中对取得了相当大的进展，但仍然存在一些问题有待于解决，如处理过程需要人为的帮助，缺少对文本主题内容的描述，处理结果不是十分的令人满意等。所以，对文本进行聚类和关键词提取作为文本挖掘的基础性工作就显得格外重要。 （2） 关键词提取是对信息检索的有效手段 信息检索是指从海量的信息集合中寻找用户需要的相关信息的一种重要手段。为了能使用户在最短的时间内从海量的文本信息中找到真正有用的信息，就需要自动化的工具来提高信息检索的效率。对于大量杂乱无章的文本进行关键词提取，检索范围有所减小，搜索的准确率相应会有所提高。对于搜索引擎返回的结果按照主题进行聚类，推荐给用户比较感兴趣的相关文本，有助于用户更合理的利用文本信息。信息检索主要是通过关键词进行检索，关键词能够反映文本的主要内容。用户根据文本的关键词进行索引查找相关文本信息，可以快速筛选过滤掉大量无关文本，大大降低了文本索引的工作量。对于文本搜索引擎技术，文本的关键词提取始终是基础性的关键技术。 （3） 关键词提取可以减少文本处理的人为因素和工作量 文本关键词是对文本主题的简要概括，有助于用户更快的了解文本信息，有助于文本的自动摘要生成、文本聚类、文本分类、文本索引等文本处理工作。对于一些没有文本关键词的文本信息，无法简单的表达文本的主题，而且在用户使用、信息检索等方面都很不方便。自动生成文本的关键词，降低了手工选择关键词的人为主观因素，同时也 减少了人力的工作量，提高了工作效率。