大数据时代基于统计特征的情报关键词提取方法尝试

龙源期刊网 http://www.qikan.com.cn
大数据时代基于统计特征的情报关键词提取
方法尝试
作者：杨新华 付萍萍
来源：《工业设计》2017年第06期

摘 要：本文对大数据时代基于统计特征的情报关键词提取方法展开了相关的探究工作，
首先就大数据的概念与特征进行了简要介绍，进而具体分析了目前情报关键词提取领域的发展
现状与存在的主要问题，并最终提出了基于语义方法、基于统计方法、基于机器学习方法、基
于复杂网络方法等关键词提取方法，旨在为有关研究人员提供一些新的研究思路与方法。

关键词：大数据；统计特征；情报关键词；提取方法
引言
随着当前相关科学技术的快速化发展，以互联网技术为代表的信息技术已经广泛渗透到了
人们日常生活的方方面面，大数据时代已经悄然来临。由此也使得网络情报研究工作面临着前
所未有的挑战与机遇，针对目前的现状情况，相关科研人员怎样能够在极度复杂的网络信息当
中高效获取具有研究价值的重要议题将异常关键，对此，本文将就大数据时代基于统计特征的
情报关键词提取方法展开相关的研究工作。

1概述
大数据也被称之为巨量数据集合，是指无法在一定的时间范围当中采用一般性的软件工具
所获取、管理及处置的数据集合，必须要借助于新型处理模式方可达到更加强大的决策能力、
洞察发现能力以及对流程优化改造能力的海量、高增长率以及多样化的信息资产。大数据的主
要特征可概括为6V特征：

⑴Volume：数据容量大，大数据所具备的大容量是其与传统数据最为明显的一项特征差
异。传统的一般关系型数据库处理其数据量级往往在TB级左右，而反观大数据所数据的数据
量级经常可达到PB级别以上。

⑵Variety：数据类型多，大数据所进行处理的计算机数据类型已经不仅再局限于一般性的
文本形式亦或是结构化的数据库表格，其同时还含括了音频、视频、文字、BLOG、微博等多
种复杂的数据结构。
龙源期刊网 http://www.qikan.com.cn
⑶Velocity：数据流动快，与传统的数据相比高速化同样也是大数据的一项重要特征，在
面对接近于无穷尽的海量数据时，针对所获取到的数据信息分析处理效率越快越好，数据的处
理效率将直接决定着组织命运。

⑷Value：数据潜在价值大，利用强大的智能学习机制与高级分析可更加高效的完成对数
据价值的“精炼萃取”，将大数据的潜在价值尽可能多的挖掘出来，科学应用大数据，以低成本
来创造出高价值。

⑸Veracity：数据真实性高，由于大数据所包含的数据容量十分庞大，其可通过多个不同
的维度来实现对数据的分析与处理，因此最终所提炼出的目标数据具有较高的真实性。

2现状及问题
一般情况下，关键词是在所表述文章当中对其核心内容具有实质性价值的一类词汇，是为
了实现对文章更加便捷的标引与检索而从文章的题目、摘要，以及正文当中所精选出的词汇或
词组。在本次研究中将关键词的概念界定为可反映出互联网网页核心内容的有关词汇。对于关
键词的提取则主要是利用对核心词汇的统计以及其语义内涵的分析，进而由各个独立的网页亦
或是网页集当中挑选出合理的，可以将文章主旨思想精确表述的特征集选取过程。关键词是表
述网页主旨内涵最为基础的一个单位，因此就通常在信息检索、自主问答、内容追踪等相关信
息处理领域内均需进行关键词的提取，并且对于关键词的提取也将会对情报监测与跟踪产生出
极其关键的线索价值，并使得情报工作的方向逐步变得确定。

受到大数据本身特点的影响，采取传统情报关键词提取方法难免会出现一些问题情况，其
中主要就包括了：（1）进行关键词的提取往往都会带有一定的目的性，因此数据本身的代表
性便至关重要，若所提取的关键词代表性不强，则很有可能导致最终的结论不够客观；（2）
在关键词提取时还必须充分考量到大数据相关性有可能会产生的误差，切忌仅关注于表面，如
某地区的网页数据量十分庞大，这是否就代表了该地区的网络形象较好？很显然并不一定，也
很有可能会存在着大量的负面信息，因此在进行关键词的提取时还应当就信息相关性予以充分
考量；（3）在提取关键词时还必须将信息当中所含括的个人隐私予以充分考量，在大数据当
中所涵括的内容十分复杂而且来源途径众多，其中必然会涉及到大量的个人隐私，因此在实施
大数据关键词提取时应尽可能回避这一问题。

3大数据时代情报关键词提取方法及构造
3.1关键词提取方法
3.1.1基于语义方法
龙源期刊网 http://www.qikan.com.cn
基于词典的辅助，利用句法和词法来实施自动分词与词性标注，可促使计算机能够更加全
面的掌握各类信息片段、词汇间的语义相关性，并进一步可借助于复杂计算来提取相应关键
词。

3.1.2基于统计方法
利用词语统计信息来进行关键词的提取，其中应用最普遍的方法是词频—逆向文本频率指
标以及N-gram方法，这一种类型的方法仅需对有关词汇的应用频率及过滤技巧加以统计即
可，但其缺点也较为明显，即精度性相对较差。有研究人员就提出了一种经改进处理的TFIDF
网页关键词提取方法，其可实现与网页内容结构与词汇特征的综合权衡，可建立起一个候选特
征词汇综合评价公式来进行对关键词的提取。

3.1.3基于机器学习方法
借助于针对大规模训练语句资料库的训练，便可得到相关的系统参数与模型，而后再借助
于模型来运用到测试语言资料库当中并对关键词的提取结果予以验证。在训练集当中，可将关
键词的提取视作为是具备监督作用的一种分类问题。一般可经常应用到的就包括了支持向量
机、最大熵、决策树等模型。

3.1.4基于复杂网络方法
依据预备选取特征词间的相关性，依据现有规则建立起一个复杂网络亦或是加权复杂网络
模型，采用计算节点权重系统与介数来代表节点的综合性价值，选取其中价值较大的即可确定
为关键词。这一方法通常所需要的计算量十分庞大，在应对大规模的文档信息或是网页内容
时，此方法的缺陷便会暴露无遗。

3.2关键词提取方法构造
3.2.1中文词语特征和自动分词
中文语句的构成包括了单字与词语，其语句的主干通常是由动词、名词、代词、量词、形
容词等具有实际意义的词汇所组合而成，其中介词、连词与助词等虚词由于不具备实际意义，
因此通常无法在语句中担当主要构成部分。因此在开展中文关键词的提取工作时应尽可能的把
虚词与单字排除在外。

在英文语言体系下其各个词汇间有着天然的分隔符，单字便可充当一项关键词。而反观中
文词汇的构成基本不会少于两个单字，而且语句是连续书写，由此也就需要在进行文本自动分
析前，首先把一整句语句分割为若干个小的词汇单元，也就是中文分词。这同时也是在进行自
龙源期刊网 http://www.qikan.com.cn
然语言处理时较为困难的一项内容，当前相对较为成熟的分词系统就包括了CRF中文分词系
统、ICTCLAS系统等。

3.2.2词语过滤
在将虚词完全过滤后，文本集内仍然会存在有不少的噪声词。这一种类型的词汇大都适合
文本主题没有密切相关性的词汇，例如“人民”、“国家”、“西部网”等。通常情况下这一种类型
的词汇在文本当中会有较高的出现频率，并且在文本集内出现较高频率的词汇亦为噪声词。对
此可采用词频与文本频率乘积的离散系数方式来进行噪声词过滤。

3.2.3词共现概率分布及偏度
伴随着信息技术的快速化发展，词共现分析的重要性也愈发突出，其含义为在某学科领域
当中某两个关键词在同篇文献当中所出现的频率越高，即代表此两个关键词存在有特殊的内在
相关性。因而，便可利用建构关键词共现矩阵的以及应用多元统计方法来实施期刊评价与学科
结构分析。

在单一文本当中往往包括了多个语句，各语句间往往是利用句号、问号、感叹号等加以区
分。若两词汇在单个语句内同时出现，即认定其共现一次。应用于对候选关键词进行表示的集
合，可表示出候选关键词的数量，相应的候选关键词共现矩阵便可利用任意两项候选关键词于
单个文本亦或是集合内出现的频次来充当元素构成。

4结语
总而言之，随着大数据时代的来临，一方面大数据的出现与应用可促使情报研究工作延伸
至更为广阔的范围领域，应用新的技术与方法，实现了对情报研究工作价值的重新定义；另一
方面，大数据也促使社会各个行业都更加关注于情报研究工作。对此，本文就通过对大数据时
代情报关键词提取的现状与问题分析，提出了一些大数据时代情报关键词提取的方法与构造，
希望能够为相关的研究人员提供一些参考。

参考文献：
[1]刘志辉，郑彦宁.基于作者关键词耦合分析的研究专业识别方法研究[J].情报学报，
2013，32（8）.

[2]刘自强，王效岳，白如江等.语义分类的学科主题演化分析方法研究——以我国图书情
报领域大数据研究为例[J].图书情报工作，2016，（15）.

[3]李树青，孙颖.基于加权关键词共现时间元的个性化学术研究时序路径发现及其可视化
呈现方法[J].情报学报，2014，33（1）.
龙源期刊网 http://www.qikan.com.cn
[4]翁胜斌.CNKI数据源的关键词共现分析与多维尺度分析的现实方法[J].现代情报，
2013，33（4）.

[5]陈卫静，郑颖.基于作者关键词耦合的潜在合作关系挖掘[J].情报杂志，2013，32（5）.
[6]杨建林.关键词选择策略及其对共词分析的影响[J].情报学报，2014，（10）.