深度文本匹配综述_庞亮

自然语言处理（NLP）技术是一种通过计算机对自然语言进行分析、理解和生成的技术。

随着人工智能技术的不断发展，NLP技术在各个领域的应用也越来越广泛。

文本匹配是NLP技术中的一个重要应用领域，它主要用于比较两个文本的相似度，以及寻找文本中的相似部分。

本文将介绍利用自然语言处理技术进行文本匹配的方法与技巧。

一、基本概念在进行文本匹配时，首先需要了解一些基本概念。

文本匹配主要涉及到两个文本之间的相似度计算，以及相似部分的抽取。

相似度计算通常采用余弦相似度、Jaccard相似度等方法，这些方法可以根据文本的词频、词向量等特征进行计算。

而相似部分的抽取则需要用到文本对齐、模式匹配等技术，以找出两个文本之间的相似部分。

在进行文本匹配时，还需要考虑到文本的长度、语法结构等因素，以确保匹配的准确性和鲁棒性。

二、文本预处理在进行文本匹配之前，需要对文本进行预处理。

文本预处理主要包括分词、词性标注、去停用词等步骤。

分词是将文本分割成词语的过程，词性标注是确定每个词语的词性，去停用词是去除文本中的常用词语，如“的”、“是”等。

这些预处理步骤可以提取文本的特征，以便后续的相似度计算和相似部分的抽取。

三、特征提取在进行文本匹配时，需要提取文本的特征，以便进行相似度计算。

文本的特征可以包括词频、词向量、语法结构等。

词频是指文本中每个词语出现的次数，词向量是将词语映射到高维空间中的向量，语法结构是指文本中词语之间的语法关系。

这些特征可以用于计算文本之间的相似度，以及找出文本中的相似部分。

四、相似度计算相似度计算是文本匹配的核心步骤。

常用的相似度计算方法包括余弦相似度、Jaccard相似度、编辑距离等。

余弦相似度是指两个向量之间的夹角余弦值，它可以用于计算文本之间的相似度。

Jaccard相似度是指两个集合的交集与并集之间的比值，它也可以用于计算文本之间的相似度。

编辑距离是指将一个字符串转换成另一个字符串所需的最少编辑操作次数，它可以用于计算文本之间的相似度。

第 42 卷第 4 期2023年 7 月Vol.42 No.4Jul. 2023中南民族大学学报（自然科学版）Journal of South-Central Minzu University（Natural Science Edition）基于BERT与主题模型联合增强的长文档检索模型覃俊，刘璐，刘晶*，叶正，张泽谨（中南民族大学计算机科学学院& 湖北省制造企业智能管理工程技术研究中心& 农业区块链与智能管理湖北省工程研究中心，武汉430074）摘要尽管将BERT运用在Ad-hoc文档检索领域能够提升任务精确度，但也存在两个显著缺陷：第一，由于BERT存在输入限制，对长文档进行截断会导致文档信息丢失；第二， Ad-hoc文档检索任务的数据集中存在相当数量的领域特定词，而BERT不能较好地学习这些特定词的特征.而利用LDA主题模型不存在输入限制，可以表示完整的语义信息的优点，将其引入联合增强模型，且对文档中的领域特定词及语义内涵进行学习表征，弥补了BERT模型的不足.为此提出RWT-BERT联合增强模型通过对BERT和LDA主题模型的表征构建交互网络，对查询语句和长文档进行更深层次的特征挖掘.实验结果表明：该模型在3个数据集的主要指标上都有不同程度的提升，尤其在Core17数据集上，与目前效果最好的句子级Ad-hoc文档检索模型Birch相比，nDCG@20指标提高了4.01%.关键词文档检索；预训练模型；长文档；主题模型；信息检索中图分类号TP391 文献标志码 A 文章编号1672-4321（2023）04-0469-08doi：10.20056/ki.ZNMDZK.20230406Long document retrieval model based on the joint enhancement ofBERT and topic modelQIN Jun，LIU Lu，LIU Jing*，YE Zheng，ZHANG Zejin（College of Computer Science & Hubei Provincial Engineering Research Center for Intelligent Management ofManufacturing Enterprises & Hubei Provincial Engineering Research Center of Agricultural Blockchain andIntelligent Management， South-Central Minzu University， Wuhan 430074， China）Abstract BERT has been widely used in the field of Ad-hoc document retrieval， it effectively improves task accuracy but also brings two defects that are hard to ignore. First， due to the input limitation of BERT， truncation of long documents causes the problem of document information loss. And another defect is that there is a significant number of domain-specific words in Ad-hoc document retrieval task datasets， but BERT can not learn the features of these domain-specific words well. In this paper， LDA topic model has no input restrictions and is able to represent complete semantic information， which is introduced into the joint enhancement model to learn and represent domain-specific words and semantic connotations in documents making up for the deficiency of BERT. The RWT-BERT proposed in this paper constructs an interactive network through the representation of BERT and LDA topic model，and carries out deeper feature mining for query statements and long documents. Experimental results show that this model improves the main indicators of three datasets with different degrees， especially in Core17 dataset. Compared with Birch， the most effective sentence-level Ad-hoc document retrieval model，****************************%.Keywords document retrieval； BERT； long document； topic model； information retrievalAd-hoc文档检索是在给定用户查询的情况下，从大型文档库中返回一组与查询相关的文档列表.收稿日期2022-10-12 *通信作者 刘晶，研究方向：自然语言处理，E-mail：***************作者简介覃俊（1968-），女，教授，博士，研究方向：自然语言处理、深度学习，E-mail：****************基金项目国家民委中青年英才培养计划项目（MZR20007）；湖北省科技重大专项（2020AEA011）；武汉市科技计划应用基础前沿项目（2020020601012267）第 42 卷中南民族大学学报（自然科学版）现在的Ad-hoc文档检索通常采用二级或多级排序架构，其中第一阶段检索致力于从大型文档库中召回一组与查询相关的文档候选集，第二阶段或之后的阶段使用重排序器对第一阶段产生的相关性文档候选集进行重新排序.早期一定数量的模型作为重排序器被提出，模型可分为两大类，即传统的基于表示学习的文档检索排序模型［1-3］和基于交互学习的文档检索排序模型［4-7］.最近，BERT［8］和GPT［9］系列等经过预先训练上下文表示的预训练模型在各种自然语言处理任务中效果都有不同程度的提升，其中也包含Ad-hoc文档检索领域.预训练模型利用大量数据的共性对预训练文本编码器进行训练，并在下游任务中根据不同任务数据的特性微调预训练模型，使之更适用于下游任务.尽管预训练模型的引入使得Ad-hoc文档检索任务取得了进步，但是由于 Ad-hoc 文档检索任务中文档库通常由大量的长文本组成，而预训练模型的输入长度限制给Ad-hoc 文档检索任务带来了挑战.早期为了将预训练模型引入Ad-hoc文档检索任务通常对长文档采用截断处理，例如monoBERT［10］.但截取处理显然丢失了文档的大部分信息，并且与查询相关的文档内容有极大可能分散在文档的各个位置，会造成大量假负例的存在.有研究者提出了利用滑动窗口将文档分割为段落［11］，也有研究者提出将文档划分为句子集［12］等方法充分利用文本信息.上述方法虽然在一定程度上缓解了长文本由于截断产生的大量文本信息丢失的问题，但仍存在一定的问题.比如说采用将文档划分为句子集的方法，文档划分为句子后，对于句子集中超过预训练模型输入长度的句子，在读取句子时采用的也是直接截取.本文采用将文档划分为句子集的方法来解决因截断而导致的大量文本信息丢失问题，并针对BERT模型对句子截断引起的文本信息丢失问题，引入以非监督学习的方式对文档的隐含语义结构进行聚类的主题模型［13］来补充句子的完整文本信息，并利用隐含狄利克雷分布（LDA）［13］将集中每篇文档的主题以概率分布的形式给出，然后通过分析分到同一主题下的文档抽取其实际的主题，根据主题分布进行主题聚类或文本分类.主题模型［13］可为Ad-hoc文档检索的查询与句子间的匹配建模提供额外的特征.在Ad-hoc文档检索的第一阶段，研究者们就提出利用主题模型来生成相关性文档候选集的产生［14-15］.由于主题模型已被用于领域自适应［16-17］，因此主题模型对于处理特定领域的词卓有成效.最近神经体系结构方面的研究表明，主题的整合可以改善其他任务，如机器问答［18］、机器翻译［19］、文本摘要［20］和语义相似度检测［21］.因此提出一种融合主题模型和BERT的结构.本文的贡献点如下：（1）提出RWT-BERT，它是一个组合BERT模型、LDA主题模型和R-drop［22］的Ad-hoc文档检索模型.（2）实验证明，LDA主题模型能学习到领域特定词的良好特征作为数据集的额外特征来为Ad-hoc文档检索中查询与句子间的匹配建模提供积极帮助.RWT-BERT在3个Ad-hoc文档检索数据集上取得了进步，在nDCG@20和更严格的指标上都优于Birch［12］和其他基于BERT表征的Ad-hoc文档检索模型.1　相关工作深度学习被引入Ad-hoc文档检索领域，使得Ad-hoc文档检索从简单的基于关键词匹配的检索［23］向深层的语义检索更近了一步.当前基于分布式假设［24-25］的深度文本匹配模型是深度学习Ad-hoc 文档检索研究的主流模型.根据分布式假设，用上下文表示词的语义可以避免很多问题，例如由一词多义引起的误匹配问题等.根据研究侧重点的不同，可将深度文本匹配模型划分为3种：深度语义表示匹配模型［1-3］、深度文本交互匹配模型［4-7］和联合文本匹配模型［26-28］.深度语义表示匹配模型一般采用一个编码器分别对查询和文档进行编码，把代表查询与文档的向量进行融合后，再经过一个浅层的分类器，生成查询与文档的匹配分数.但深度语义表示匹配模型的缺点在于，分别从查询与文档中单独提取特征，很难捕获匹配中的结构信息，缺乏对查询与文档精确匹配信号建模的能力，模型的性能依赖于模型的文本表示能力.随着文本语义表示能力更好的预训练模型的出现，将预训练模型整合到深度语义表示匹配模型中，进一步提高模型的排序性能成了一种自然而然的选择.NOGUEIRA等［10］首次将预训练模型BERT引入Ad-hoc信息检索领域，将查询与文档构造的输入标记（对于超过BERT的输入长度的输入标记采取截470第 4 期覃俊，等：基于BERT 与主题模型联合增强的长文档检索模型断处理）传递给BERT ，为每个标记生成上下文向量表示，并将上下文向量表示作为单层全连接网络的输入，以获得候选文档与查询相关的概率表示.但对于长文档采用直接截断的做法，会丢失大量的文本信息.针对截断引起的大量文本信息丢失的问题，DAI 等［11］将文档划分段落后，估计每个段落的相关性，然后对段落相关性得分进行简单的分数聚合，得出整个文档相关性得分.但笼统地将相关文档中的所有段落归类为相关段落，与实际情况不符.YILMAZ 等［12］提出在训练阶段，通过利用不存在长度问题的数据（即训练数据集中的文档没有超过BERT 的输入长度）来训练模型，然后将这些相关匹配模型转移到Ad -hoc 文档检索任务中，完全避免了文档超过BERT 输入限制而导致的不能使用完整文档微调BERT 的问题.在推理阶段，将估计文档相关性任务转换为估计单个句子的相关性任务，并汇总句子结果分数，但单个句子仍然存在超出BERT 模型输入限制的缺陷.MACAVANEY 等［26］提出CEDR 模型对长文档分割成块，并且BERT 推理被独立地应用于每个块.CEDR 通过平均每个块的［CLS ］表示来创建聚合［CLS ］表示.与深度文本交互匹配模型一样，CEDR 在来自查询的术语和来自候选文本的术语之间构建相似矩阵，然后，将每个块中候选文本的术语上下文嵌入连接起来，形成整个文本的上下文嵌入序列.但由于模型过大，效率不高.2　RWT -BERT 模型在本节中，首先介绍Ad -hoc 文档检索任务的问题说明，然后介绍本文提出的Ad -hoc 文档检索模型RWT -BERT ，最后介绍模型的训练方法及检索方法.2.1　Ad -hoc 文档检索问题说明给定一个查询，Ad -hoc 文档检索的目的是从一个大型语料库中获取一个以与查询相关程度为排序基准的文档排序列表.形式上，给定一个数据集C ={}()Q i ， D in i =1，其中Q i 为用户查询，D i =[]d i 1，d i 2，…，d ik 表示查询Q i 在Ad -hoc 文档检索第一阶段返回的查询相关的文档候选集列表.简单来说，Ad -hoc 文档检索是从C 学习到一个模型，该模型赋予相关性高的查询-文档对高分，赋予不相关的文档对低分.然后对任何一个查询-文档对（q ， d ），模型可以给出score （q ， d ）反映查询q 与文档d 之间的相关性分数，从而可以根据模型预测的分数对语料库C 中的文档进行排序.2.2　RWT -BERT 模型本文研究主题模型是否能在Ad -hoc 信息检索领域提高BERT 模型的性能.针对Ad -hoc 信息检索任务构建了如图1所示的模型.为了解决Ad -hoc 信息检索任务引入BERT 预训练模型带来的输入限制问题，将文档以句子为单位进行划分，即d i =[]S i 1，S i 2，…，S im ，m 为文档的句子数目.根据BERT 模型对输入的长度限制对句子进行截取和填充后为S i =[]t i 1，t i 2，…，t il ，输入的文档为查询q i =[]t i 1，t i 2，…，t jr 和句子s'i .以[CLS ] []t j 1，t j 2，…，t jr [SEQ ] []t i 1，t i 2，…，t il [SEQ ]的形式作为BERT 模型的输入，使用CLS Token 相对应的BERT 模型的最后一层的CLS vec 作为查询与句子的结对表示：CLS vec =BERT (q j ，s'i )∈R d.（1）引入LDA 主题模型［13］来对仅仅使用BERT 产生的文本信息丢失进行补充，将查询q j 和句子s i 分别利用LDA 主题特征编码器进行主题表征，对查询和句子中的每个词进行词语主题表示，每个词T i 都对应一个词主题向量表示，如公式（2）所示：w i =TopicModel (T i )∈R t ，（2）其中，w i 为词T i 对应的词主题向量.再分别对查询和句子的主题词向量表示进行平均以获得整体的查询主题词向量表示和句子主题词向量表示，如公式（3），（4）所示：W Q =∑jr Wq jr∈R t ，（3）W S =∑iL Ws iL∈R t，（4）其中，r 为查询中的单词数目，L 为句子中的单词数目，W Q 为查询主题词向量表示，W S 为句子主题词向量表示.综上，可以获得查询-句子对的BERT 向量表示、查询与句子的LDA 主题模型主题词向量表示，再将得到的向量采取拼接的方式进行组合获得融合向量F ，如公式（5）所示：F =[CLS vec ，W Q ，W s ].（5）在融合了语义信息和主题信息的拼接向量F 基础上，对文本信息进行深入挖掘.构建提取融合浅471第 42 卷中南民族大学学报（自然科学版）层文本的主题特征与BERT 向量表示的深层文本信息的神经网络结构来提取查询与句子相似的特征，并以此特征F'作为模型得分的根据，如公式（6）所示：F'=Relu (W T 2(Relu (W T 1F +b 1))+b 2)，（6）其中，W T 1和W T 2为可学习的权重矩阵的转置，b 1和b 2为可学习的偏置值.将F ’送入Softmax 层得到预测分数y ，如公式（7）所示：y =Softmax (W T 3F'+b 3)，（7）其中，W T3为可学习的权重矩阵的转置，b 3为可学习的偏置值.由于将文档划分为句子集，所以本文选取文档中得分最高的前k 个句子，使用这k 个句子加权求和的分数来代表整个文档的分数.为了进一步提高检索性能，将原始排序分数与RWT -BERT 模型得到的排序分数做线性组合，则最后文档的分数为S f ，计算过程如公式（8）所示：S f =β∙Score init +(1-β)∙Score rerank ，（8）其中Score init 为初始排序分数即使用BM25+RM3［29-30］模型得到的查询对应文档的排序分数，Score rerank 为RWT -BERT 模型输出的排序分数，β表示初始检索模型所占比重，1-β为RWT -BERT 模型所占比重，计算不同的β对检索性能的影响，并选取最佳结果.2.3　模型训练在训练过程中，使用交叉熵损失函数来优化所提出模型中的所有参数，即：L =1N ∑i {-[y i log (p i )+(1-y i )log (1-p i )]}，（9）其中，y i 表示样本i 的标签，p i 为样本i预测为正类的图1 RWT -BERT 模型架构Fig.1　Model architecture of RWT -BERT472第 4 期覃俊，等：基于BERT与主题模型联合增强的长文档检索模型概率.此外，在上述损失中引入一个简单有效的双向Kullback-Leibler（KL）正则化技巧R-drop［22］，引入的R-drop通过最小化两个子模型输出的同一数据样本的两个分布之间的双向KL 散度，使得两个分布是一致的，如公式（10）所示：L co=D KL(P1||P2|+D KL(P2||P1)，（10）其中，P1和P2为RWT-BERT模型输出的同一数据样本的两个分布.综上所述，本文使用的损失函数L last如下：L last=L+αL co，（11）其中L为交叉损失函数；L co为同一数据样本的两个分布之间的差距，α是超参数，经过初步实验探索，α取值为4.3　实验结果与分析3.1　实验设置3.1.1　数据集及评估指标本文在Robust04、Core17、Core18三个标准的TREC评测数据集上进行了端到端的Ad-hoc文档检索排序实验.表1总结了3个TREC数据集的相关信息.本文使用3个评估指标来对模型的有效性进行测试：平均准确率均值（MAP）、Top-20准确率（P@20）和归一化折算累计增益（nDCG@20）.3.1.2　模型配置实验使用Anserini工具包进行第一阶段检索.对于第二检索阶段，根据初步探索将k设置为3；对于查询与句子将其拼接长度填充到512个词.在本阶段检索中，首先在MS MARCO数据集和MB数据集上使用经过微调的BERT Large模型，该模型的所有参数为340 M.在微调过程中采用AdamW算法进行优化，初始学习率为1×10-5，衰减指数为0.1，Epochs 为5，batch_size为16；然后，在经过微调的BERT Large 模型上进行RWT-BERT模型的实验推理，推理过程中采用AdamW算法进行优化，初始学习率为1×10-7，衰减指数为0.1，batch_size为16.3.2　模型对比在本小节中，将RWT-BERT与现有基线进行对比，包括：BM25+RM3［29-30］：该模型采用BM25经典概率检索模型，加上RM3作为扩展查询，以此作为文档检索任务的一个强基准模型，实验中采用Anserini默认参数.BERT-MaxP［11］：该模型利用滑动窗口将长文档划分成段落，将划分后的段落与对应查询输入BERT中，取分数最大的段落作为整个文档的分数. Birch［12］：该模型将长文档划分为以句子为单位的句子集，并且利用BERT具有强大的域转移特性.利用其他数据集学习到的相关性特征，再在目标数据集上进行测试.RWT-BERT：该模型为本文提出的模型，实验中直接加载已经在MS MARCO数据集和MB数据集上微调过的预训练模型.如表2所示，RWT-BERT模型在3个数据集上对于nDCG@20和P@20的评价指标，都有不同程度的提高.表1　实验数据集的统计信息Tab.1　Statistics of the experimental datasets数据集Core17 Core18 Robust04查询数5050250文档数4812643995144679句子总数2270789247987610621659表2　模型对比Tab.2　Model comparison数据集Core18Core17Robust04模型BM25+RM3MaxPBirchRWT-BERTBM25+RM3MaxPBirchRWT-BERTBM25+RM3MaxPBirchRWT-BERTMAP0.3135—0.35220.34360.2823—0.33230.32230.29030.28070.36970.3588P@200.4700—0.49200.50100.5500—0.62000.64000.38210.38940.46690.4702nDCG@200.4604—0.49530.50700.4467—0.50920.54930.44070.45300.53250.5446473第 42 卷中南民族大学学报（自然科学版）综上分析，对于主题模型是如何提高BERT 模型信息检索的性能，认为主要有如下两点原因：首先，由于BERT 模型对输入文本长度的限制，即便将文档划分为句子，也有一定数量的句子单词数超过BERT 的输入长度限制.由于主题模型没有长度限制，所以本实验可以利用主题模型达到保留句子完整语义的目的.其次，由于领域特定词和命名实体词的存在，对于训练前不太可能出现的领域特定词和命名实体词，BERT 模型可能没有学习到好的表征，因此无法做出正确的预测.在这里，主题模型可以作为数据集特定信息的额外来源，具体示例如表3所示.3.3　参数分析3.3.1　主题模型向量表示维度在本文中LDA 主题模型生成的向量维度是一个超参数.因此在Ad -hoc 信息检索任务上，对不同数据集上采用不同向量维度进行了分析，实验随机抽取了各个数据集各五分之一的数据进行实验，通过nDCG@20评价指标的值来探索向量维度不同取值对Ad -hoc 文档检索性能的影响，实验结果如表4所示.根据表4中的数据，实验在Core17数据集上选取向量维度为100，在Core18数据集上选取向量维度为70，在Robust04数据集上选取向量维度为100.3.3.2　初始模型所占比重如图2-4所示β取不同值时，模型的表现有所不同，β表示初始检索模型所占比重，实验通过计算nDCG@20值的变化来探索β不同取值对Ad -hoc 文档检索性能的影响.实验对每个数据集都采用五折交叉验证.通过实验对比，同一个数据集中不同的β取值对结果都有所影响，但β取值的波峰基本在［0.1，0.2］这个区间内，也说明了RWT -BERT 模型的Score rerank 分表3　在Core17中的预测和人工注解Tab.3　Forecast and manual annotation in Core17查询文档目标标签预测人工标注New hydroelectric projectsThe province of Quebec announced today that it would proceed with the $6 billion second construction phase of its huge hydroelectricpower project on James Bay ， which would be the largest installation of its kind when completed.…The announcement by Premier Robert Bourassa comes less than two months after Hydro -Quebec ， the provincially owned power utility ， concluded a deal to sell 130 billion kilowatt -hours of electricity to the New York State Power Authority over 20 years ， starting in 1995.…The New York deal is expected to generate more than $13 billion in revenues for Hydro -Quebec.…TrueBirch ： False RWT -BERT ： True 领域特定词：True 命名实体词：True表4　主题模型向量维度Tab.4　Topic model vector dimension向量维度5060708090100Core170.55180.54560.54760.55680.54100.5657Core180.46480.46400.49380.45290.45580.4691Robust040.50040.49750.50100.49920.49830.5017图2 Core17的β取值Fig.2　βValue of Core17图3 Core18的β取值Fig.3　βValue of Core18图4 Robust04的β取值Fig.4　β Value of Robust04474第 4 期覃俊，等：基于BERT与主题模型联合增强的长文档检索模型数对实验结果影响较大.4　结论本文提出了一个基于BERT联合LDA主题模型的联合学习模型，该模型引入预训练模型来更好地获取查询与句子的交互语义信息，有效地解决了分别从两个对象单独提取特征时很难捕获匹配中的结构信息的问题.该模型通过引入LDA主题模型的文本表征来补充丢失的全句信息，并为LDA主题模型的表征和BERT模型的交互表征建立了联合网络.该模型引入了R-drop来解决对于交互网络中dropout引起的训练和推理阶段之间存在不可忽视的不一致性，使得Ad-hoc信息检索性能得到提升，实现了nDCG@20、P@20精度的提高，并可以推广到不同的数据集.在未来工作中，计划在其他大规模和更复杂的Ad-hoc信息检索数据集上评估所提出的方法，并准备将句子与查询的BERT交互模型替换为双塔结构，在保证模型性能的前提下来提升检索的效率.参考文献［1］HUANG P S，HE X，GAO J，et al. Learning deep structured semantic models for web search using clickthroughdata［C］//CIKM.2013 International Conference on CIKM.San Francisco： ACM， 2013： 2333-2338.［2］SHEN Y， HE X， GAO J， et al. A latent semantic model with convolutional-pooling structure for information retrieval［C］//CIKM.2014 International Conference on CIKM. Shanghai：ACM， 2014： 101-110.［3］PALANGI H， DENG L， SHEN Y， et al. Semantic modeling with long-short-term memory for information retrieval［J］.arXiv Preprint arXiv：1412.6629， 2014.［4］GUO J， FAN Y， AI Q， et al. A deep relevance matching model for ad-hoc retrieval［C］//CIKM.2016 InternationalConference on CIKM. Indianapolis： ACM， 2016： 55-64.［5］XIONG C， DAI Z， CALLAN J， et al. End-to-end neural ad-hoc ranking with kernel pooling［C］//SIGIR.2017International Conference on SIGIR. Tokyo： ACM， 2017：55-64.［6］HUI K，YATES A，BERBERICH K，et al. PACRR：A position-aware neural IR model for relevance matching［J］.arXiv Preprint arXiv：1704.03940， 2017.［7］HUI K， YATES A， BERBERICH K， et al. Co-PACRR：A context-aware neural IR model for ad-hoc retrieval［C］//WSDM.2018 International Conference on WSDM. Marina：ACM， 2018： 279-287.［8］DEVLIN J，CHANG M W，LEE K，et al. Bert：Pre-training of deep bidirectional transformers for languageunderstanding［J］. arXiv Preprint arXiv：1810.04805，2018.［9］BROWN T， MANN B， RYDER N， et al. Language models are few-shot learners［J］. Advances in Neural InformationProcessing Systems， 2020， 33： 1877-1901.［10］NOGUEIRA R，YANG W，CHO K，et al. Multi-stage document ranking with BERT［J］. arXiv Preprint arXiv：1910.14424， 2019.［11］DAI Z，CALLAN J. Deeper text understanding for IR with contextual neural language modeling［C］//SIGIR.2019International Conference on SIGIR. Paris： ACM， 2019：985-988.［12］YILMAZ Z A，YANG W，ZHANG H，et al. Cross-domain modeling of sentence-level evidence for documentretrieval［C］//EMNLP-IJCNLP.2019 International Conferenceon EMNLP-IJCNLP. Hongkong：ACM，2019：3490-3496.［13］BLEI D M，NG A Y，JORDAN M I. Latent dirichlet allocation［J］. Journal of Machine Learning Research，2003（3）： 993-1022.［14］DEERWESTER S，DUMAIS S T，Furnas G W，et al.Indexing by latent semantic analysis［J］. Journal of theAmerican Society for Information Science， 1990， 41（6）：391-407.［15］WEI X， CROFT W B. LDA-based document models for ad-hoc retrieval［C］//SIGIR.2006 International Conferenceon SIGIR. Seattle： ACM， 2006： 178-185.［16］GUO H，ZHU H，GUO Z，et al. Domain adaptation with latent semantic association for named entityrecognition［C］//NAACL.2009 International Conferenceon NAACL. Boulder： ACL， 2009： 281-289.［17］HU Y， ZHAI K， EIDELMAN V， et al. Polylingual tree-based topic models for translation domain adaptation［C］//ACL.2014 International Conference on ACL. Baltimore：ACL， 2014： 1166-1176.［18］FU C. User intimacy model for question recommendation in community question answering［J］. Knowledge-BasedSystems， 2020， 188： 104844.［19］XIE Q，ZHANG X，DING Y，et al. Monolingual and multilingual topic analysis using LDA and BERTembeddings［J］. Journal of Informetrics， 2020， 14（3）：101055.［20］RANI R，LOBIYAL D K. An extractive text summarization approach using tagged-LDA based topic modeling［J］.Multimedia Tools and Applications，2021，80（3）：475第 42 卷中南民族大学学报（自然科学版）3275-3305.［21］PEINELT N，NGUYEN D，LIAKATA M. TBERT：Topic models and BERT joining forces for semanticsimilarity detection［C］//ACL.2020 International Conferenceon ACL. Seattle（on line）： ACL， 2020： 7047-7055.［22］WU L，LI J，WANG Y，et al. R-drop：Regularized dropout for neural networks［J］. Advances in NeuralInformation Processing Systems， 2021， 34： 10890-10905.［23］ROBERTSON S，ZARAGOZA H. The probabilistic relevance framework： BM25 and beyond［M］. Hanover：Now Publishers Inc， 2009.［24］SAHLGREN M. The distributional hypothesis［J］. Italian Journal of Linguistics， 2008， 20（1）： 33-54.［25］FIRTH J R. A synopsis of linguistic theory［J］.The Philological Society， 1957，10-32： 1952-1959.［26］MACAVANEY S， YATES A， COHAN A， et al. CEDR：Contextualized embeddings for document ranking［C］//SIGIR.2019 International Conference on SIGIR. Paris：ACM，2019： 1101-1104.［27］HUMEAU S，SHUSTER K，LACHAUX M A，et al.Poly-encoders：Transformer architectures and pre-trainingstrategies for fast and accurate multi-sentence scoring［J］.arXiv Preprint arXiv：1905.01969， 2019.［28］KALCHBRENNER N，GREFENSTETTE E，BLUNSOM P.A convolutional neural network for modelling sentences［J］.arXiv Preprint arXiv：1404.2188， 2014.［29］LIN J. The neural hype and comparisons against weak baselines［C］//SIGIR.2019 International Conference onSIGIR. Paris： ACM， 2019： 40-51.［30］YANG W， LU K， YANG P， et al. Critically examining the" neural hype" weak baselines and the additivity ofeffectiveness gains from neural ranking models［C］//SIGIR.2019 International Conference on SIGIR. Paris：ACM， 2019： 1129-1132.（责编曹东，校对姚春娜）476。

自然语言处理技术(NLP)是一种人工智能技术，它致力于让计算机能够理解、分析和生成人类的自然语言。

在文本匹配方面，NLP技术得到了广泛的应用，比如文档相似性比较、问答系统、信息检索等。

本文将探讨一些利用NLP技术进行文本匹配的方法与技巧。

1. 文本预处理在进行文本匹配之前，首先需要对文本进行预处理。

这包括去除停用词、词干提取、词袋模型等操作。

去除停用词可以提高文本特征的区分度，词干提取可以将词汇统一为其词干形式，词袋模型则可以将文本表示为向量形式，方便进行后续的相似性计算。

2. 词向量表示词向量是NLP中常用的一种文本表示方法，它可以将文本中的词语表示为实数向量。

常见的词向量表示方法包括Word2Vec、GloVe、FastText等。

这些方法可以将词语的语义信息编码为向量，从而方便进行文本匹配和相似性计算。

3. 文本相似性计算文本相似性计算是文本匹配的核心问题之一。

在进行文本相似性计算时，可以使用一些常见的计算方法，比如余弦相似度、Jaccard相似度、编辑距离等。

这些方法可以帮助我们度量两个文本之间的相似程度，从而进行文本匹配。

4. 基于深度学习的文本匹配近年来，深度学习在NLP领域取得了一些突破，比如Siamese神经网络、BERT等。

这些模型可以学习文本之间的语义信息，从而更准确地进行文本匹配。

例如，Siamese神经网络可以学习两个文本之间的语义表示，BERT可以学习文本中的上下文信息，从而提高文本匹配的准确性。

5. 文本匹配应用利用NLP技术进行文本匹配有许多应用场景，比如信息检索、问答系统、推荐系统等。

在信息检索领域，文本匹配可以帮助我们快速找到相关的文档；在问答系统中，文本匹配可以帮助我们找到与用户问题最相关的答案；在推荐系统中，文本匹配可以帮助我们推荐用户感兴趣的内容。

因此，文本匹配的技术和方法对于提高信息检索、问答和推荐系统的效果具有重要意义。

6. 结语总之，利用NLP技术进行文本匹配是一个重要且具有挑战性的问题。

自然语言处理技术（NLP）是一种人工智能技术，旨在使计算机能够理解、解释和处理人类语言。

文本匹配作为NLP领域的一个重要应用，常常被用于信息检索、文档对比、问答系统等领域。

在本文中，我们将讨论利用自然语言处理技术进行文本匹配的方法与技巧。

一、文本预处理文本预处理是文本匹配的第一步，它包括分词、去除停用词、词干化等操作。

分词是将文本切分为单词或短语的过程，常用的分词工具包括jieba、NLTK等。

去除停用词是指去除对文本匹配无意义的词，如“的”、“了”、“是”等。

词干化是将词语变为其词干或词根的过程，如将“running”变为“run”。

通过文本预处理，可以使文本更加规范化、准确化，有利于后续的文本匹配操作。

二、特征提取特征提取是文本匹配的关键步骤，它将文本转化为计算机可处理的特征表示。

常用的特征提取方法包括词袋模型、TF-IDF、Word2Vec等。

词袋模型将文本表示为词频向量，不考虑词语之间的顺序和语义关系。

TF-IDF（Term Frequency-Inverse Document Frequency）是一种用于评估词语在文本和语料库中重要程度的方法，它考虑了词语在文本中的频率和在语料库中的稀有程度。

Word2Vec是一种基于神经网络的词向量表示方法，它能够捕捉词语之间的语义关系。

通过特征提取，可以将文本转化为向量表示，为后续的文本匹配任务提供输入。

三、相似度计算相似度计算是文本匹配的核心内容，它用于衡量两个文本之间的相似程度。

常用的相似度计算方法包括余弦相似度、Jaccard相似度、编辑距离等。

余弦相似度是一种用于计算两个向量之间夹角的相似度指标，它常用于衡量文本语义的相似程度。

Jaccard相似度是一种用于计算两个集合之间相似度的指标，它常用于衡量文本词语的相似程度。

编辑距离是一种用于计算两个字符串之间差异的指标，它常用于衡量文本的拼写相似程度。

通过相似度计算，可以得到文本之间的相似度分数，为文本匹配的结果提供依据。

基于深度学习的中文文本分类综述
高珊;李世杰;蔡志平
【期刊名称】《计算机工程与科学》
【年(卷),期】2024(46)4
【摘要】大数据时代,随着社交媒体的不断普及,在网络以及生活中,各类文本数据日益增长,采用文本分类技术对文本数据进行分析和管理具有重要的意义。

文本分类是自然语言处理领域中的一个基础研究内容,在给定标准下,根据内容对文本进行分类,文本分类的场景应用十分广泛,如情感分析、话题分类和关系分类等。

深度学习是机器学习中一种基于对数据进行表征学习的方法,在文本数据处理中表现出了较好的分类效果。

中文文本与英文文本在形、音、象上都有着区别,着眼于中文文本分类的特别之处,对用于中文文本分类的深度学习方法进行分析与阐述,最终梳理出常用于中文文本分类的数据集。

【总页数】9页(P684-692)
【作者】高珊;李世杰;蔡志平
【作者单位】国防科技大学计算机学院
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于深度学习的中文文本分类方法
2.基于深度学习的文本分类方法研究综述
3.基于深度学习的中文文本分类算法
4.基于深度学习的短文本分类方法研究综述
5.基于深度学习的文本分类研究综述
因版权原因，仅展示原文概要，查看原文内容请购买。

text-to-motion retrieval综述随着科技的飞速发展，文本到运动（text-to-motion）检索已经成为了研究热点。

这一领域主要关注的是从文本描述中提取运动信息，进而实现高效的检索。

本文将对text-to-motion检索进行全面的综述，探讨其发展历程、研究现状、关键技术和未来展望。

一、背景及发展文本到运动检索最初源于文字描述与运动图像的匹配。

随着计算机视觉和自然语言处理技术的发展，这一领域的研究取得了显著的进步。

特别是，深度学习算法的应用，使得text-to-motion检索的性能得到了显著提升。

二、关键技术1.文本预处理：对输入的文本进行预处理，包括分词、去除停用词、语法分析等，以获取有效的运动信息。

2.特征提取：通过对文本描述中的运动信息进行特征提取，如使用词向量表示词汇，使用深度学习模型提取图像特征等，以提高检索的准确性。

3.模型构建：利用深度学习模型，如卷积神经网络（CNN）、循环神经网络（RNN）等，对文本描述和运动图像进行建模，实现高效的运动检索。

4.优化搜索：通过引入启发式或元搜索策略，优化搜索过程，提高检索效率。

5.评估指标：常用的评估指标包括精确度、召回率、F1得分等，用于评估检索结果的性能。

三、应用场景文本到运动检索在多个领域具有广泛的应用，如体育视频推荐、运动教学、健身指导等。

通过文本描述，用户可以快速找到所需的运动视频，提高用户体验。

四、案例分析以某运动健身应用为例，用户可以通过手机客户端输入运动名称或简短描述，系统将自动检索匹配的运动视频。

例如，用户输入“瑜伽俯卧撑”，系统会列出包含该动作的视频推荐。

这一应用充分利用了文本到运动检索的技术优势，为用户提供了便捷的运动学习途径。

五、研究现状及不足尽管text-to-motion检索取得了一定的研究成果，但仍存在一些不足。

首先，现有的方法大多基于深度学习模型，对复杂运动或新运动的识别准确率有待提高。

其次，对于不同类型运动之间的相似性比较，以及不同运动视频的排序问题，尚无明确解决方案。

计算机视觉技术中的文本检测与识别方法综述计算机视觉技术的发展使得计算机能够理解和处理图像中的信息。

文本检测与识别作为计算机视觉的重要分支之一，在图像处理领域发挥着重要作用。

本文将综述计算机视觉技术中的文本检测与识别方法，探讨它们的应用、挑战和发展趋势。

一、背景介绍文本在图像中广泛存在于各种场景，如街景图像中的路牌、卫星图像中的标志等。

文本检测与识别的目标是从图像中准确地定位和识别出文本。

这项技术在自动驾驶、图像搜索、安全监控等领域具有广泛的应用前景。

二、文本检测方法1. 基于自然场景文本检测自然场景文本检测旨在从自然图片中准确地定位和识别出文本。

常用的方法包括基于图像特征的方法和基于深度学习的方法。

前者利用纹理、颜色和形状等图像特征来检测文本，后者通过训练深度学习模型来实现文本检测。

2. 基于场景文本检测场景文本检测是指从复杂背景中准确地定位和识别出文本。

这种文本往往存在于带有复杂背景和噪声的图像中，如商店招牌、海报等。

常见的方法包括边缘检测、角点检测和连通区域检测等。

三、文本识别方法1. 光学字符识别（OCR）光学字符识别是指将图像中的字符转化为可编辑和可搜索的文本。

OCR技术的核心是字符分割和字符识别两个步骤。

字符分割是将文本图像中的字符分离出来，字符识别是将分离后的字符识别为对应的文本。

2. 基于深度学习的文本识别基于深度学习的文本识别是近年来的研究热点。

这种方法将文本识别任务转化为序列识别问题，通过训练深度学习模型来实现文本识别。

这些模型通常由卷积神经网络和循环神经网络组成，能够对不同尺度的文本进行准确的识别。

四、应用与挑战文本检测与识别技术在许多领域都有广泛的应用，如自动驾驶、智能安防和图像检索等。

这些应用对文本检测与识别的准确性和实时性提出了更高的要求。

然而，文本检测与识别面临着一些挑战。

首先，场景中的光线、角度和遮挡等因素会对文本的检测和识别造成影响。

其次，文本的多样性也增加了任务的难度，如各种字体、大小和方向等。

文本匹配任务思路文本匹配任务是自然语言处理中的一个常见任务，主要目的是比较两个文本的相似性或相关性。

以下是进行文本匹配任务的思路：数据预处理：分词：将文本分解成单独的词或子词。

中文可以使用如jieba等分词工具。

去除停用词：例如“的”、“是”、“在”等常见但对语义贡献不大的词。

词干提取或词形还原：将单词简化为基本形式。

特征提取：词袋模型：为每个文本生成一个词频向量。

TF-IDF：为每个文本生成一个权重向量，其中权重表示词的重要程度。

Word2Vec、BERT等：使用深度学习模型学习词的嵌入表示。

匹配算法：余弦相似度：计算两个向量的夹角，用于衡量它们的相似度。

编辑距离：衡量两个文本之间的最小修改次数。

Jaccard相似度：衡量两个集合的相似度。

深度学习方法：如使用Siamese网络或对比学习的方法来比较文本的相似性。

评估指标：准确率：正确匹配的文本对数占总文本对数的比例。

召回率：正确匹配的文本对数占所有可能的匹配文本对数的比例。

F1分数：准确率和召回率的调和平均值。

优化和调整：参数调优：调整模型参数以获得最佳性能。

集成学习：结合多个基模型的方法。

半监督学习或自监督学习：利用未标注数据或使用预训练模型进行微调。

处理大量数据和实时性：分布式处理：使用如Hadoop、Spark等工具处理大量数据。

模型压缩与量化：减少模型大小并加速推理。

近似算法与索引结构：加速文本比较过程。

考虑文本的语义和语境：高级的方法，如使用语义角色标注、依存分析、句法结构等来深入理解文本的语义和语境，可以进一步提高匹配的准确性。

考虑多模态数据和外部知识：如果任务涉及图像、视频或其他非文本数据，需要使用多模态处理方法。

同时，可以引入外部知识图谱或其他形式的语义信息来增强匹配的准确性。

反馈和持续优化：根据实际应用中的反馈，持续优化模型和算法，确保匹配结果始终是最新的和准确的。

隐私和伦理考虑：在处理用户数据时，确保遵循隐私政策和伦理准则，不泄露用户敏感信息。

收稿日期:2018-10-31 修回日期:2019-03-06 网络出版时间:2019-09-24基金项目:中央高校基本科研业务专项基金(18CX 02019A );科技部创新方法工作专项(2015IM 010300)作者简介:张　千(1982-),女,副教授,研究方向为大数据智能处理㊁智慧医疗;王庆玮(1996-),女,在读硕士,研究方向为大数据智能处理㊁智慧医疗㊂网络出版地址:http :// /kcms /detail /61.1450.TP.20190924.1534.006.html基于深度学习的文本特征提取研究综述张　千,王庆玮,张　悦,纪校锋,张宇翔,祝　赫,赵昌志(中国石油大学(华东)计算机与通信工程学院,山东青岛266580)摘　要:文本特征项的选择是文本挖掘和信息检索的基础和重要内容㊂传统的特征提取方法需要手工制作的特征,而手工设计有效的特征是一个漫长的过程,但针对新的应用深度学习能够快速地从训练数据中获取新的有效特征表示㊂作为一种新的特征提取方法,深度学习在文本挖掘方面取得了一定的成果㊂深度学习与传统方法的主要区别在于,深度学习能自动地从大数据中学习特征而不是采用手工制作的特征,手工制作的特征主要依赖于设计者的先验知识,很难充分利用大数据;深度学习可以自动地从大数据中学习特征表示,并包括数以万计的参数㊂文中概述了用于文本特征提取的常用方法,并阐述了在文本特征提取及应用中常用的深度学习方法,以及深度学习在特征提取中的应用展望㊂关键词:深度学习;特征提取;文本特征;自然语言处理;文本挖掘中图分类号:TP 31 文献标识码:A 文章编号:1673-629X (2019)12-0061-05doi :10.3969/j.issn.1673-629X.2019.12.011Review of Text Feature Extraction Based on Deep LearningZHANG Qian ,WANG Qing -wei ,ZHANG Yue ,JI Xiao -feng ,ZHANG Yu -xiang ,ZHU He ,ZHAO Chang -zhi(School of Computer &Communication Engineering ,China University of Petroleum (East China ),Qingdao 266580,China )Abstract :The selection of text feature items is basic and important in text mining and information retrieval.Traditional feature extraction methods require hand -made features ,and manual design of effective features is a long process.However ,for new applications ,deep learning can quickly obtain new and effective feature representation from training data.As a new feature extraction method ,deep learning has made some achievements in text mining.The main difference between deep learning and traditional methods is deep learning can auto⁃matically learn features from large data rather than using hand -made features.Hand -made features mainly rely on designer 's prior knowledge ,which is difficult to fully use large data.Deep learning can automatically learn feature representation from large data and include tens of thousands of parameters.We summarize the common methods of text feature extraction and expound the deep learning methods commonly used in text feature extraction and application ,as well as the application prospect of depth learning in feature extraction.Key words :deep learning ;feature extraction ;text characteristic ;natural language processing ;text mining0　引　言机器学习是人工智能的一个分支,在许多情况下几乎成了人工智能的代名词㊂机器学习系统用于识别图像中的对象,将语音转换成文本,匹配用户感兴趣的新闻㊁文章或产品,并选择相关的搜索结果[1]㊂这些应用程序越来越多地使用了一种叫做深度学习的技术,而传统的机器学习技术在以原始的形式处理自然数据的能力上受到了限制[1-2]㊂几十年来,构建一种模式识别或机器学习系统需要周密的工程和相当大的专业领域知识㊂设计一种特征提取方法,将原始数据(如图像的像素值)转化到一个合适的内部特征向量或表现形式㊂学习子系统往往是一个分类器,可以检测或辨别输入模式分类[1];表示学习是一组方法,它允许机器对原始数据进行反馈,并自动发现用于检测或分类需求的表示[1]㊂深度学习方法是通过组合简单而非线性的模块而获得的有着多层次表现的表示学习方法,每个模块从一个层次(从原始输入)转换到一个更高㊁更抽象的层次表示,由于有足够的这种变换故可以学习到相对复杂的函数[1-2]㊂文本特征提取是一个从文本信息提取到展现文本第29卷　第12期2019年12月 计算机技术与发展COMPUTER TECHNOLOGY AND DEVELOPMENT Vol.29　No.12Dec.　2019信息的过程,是进行大量文本处理的基础[3-4]㊂在特征提取过程中,将删除不相关或多余的特征㊂特征提取作为学习算法的一种数据预处理方法,能更好地提高学习算法的精度并节省时间㊂常用的文本特征提取方法有过滤㊁融合㊁映射和聚类等㊂深度学习的关键在于这些特征层是不需要人设计的,而是使用通用学习程序从数据中学习[1]㊂深度学习只需要很少的手工量,因此可以很容易地利用现有计算和数据量的增加[1]㊂深度学习善于识别非结构化数据的模型和大多数熟悉的媒体,如图像㊁声音㊁视频㊁文本等㊂目前,深度学习的特征表示包括自编码㊁限制Boltzmann模型㊁深度信念网络㊁卷积神经网络和递归神经网络等㊂1　文本特征提取方法文本特征提取在文本分类中起着重要的作用,能直接影响文本分类的准确率[3-5]㊂它是基于向量空间模型(VSM),其中文本被看作是n维空间中的一个点,点的每个维度的数据代表文本的一个数字化特征㊂文本特征通常使用关键字集,它是指在一组预定义关键词的基础上,用一定的方法计算文本中词的权重,然后形成一个数字向量,即文本的特征向量㊂现有的文本特征提取方法包括过滤㊁融合㊁映射和聚类方法等㊂1.1　过滤方法过滤速度快,特别适用于大规模文本特征提取,过滤文本特征提取主要有词频㊁信息增益和互信息法等㊂1.1.1　词　频词频是指一个词出现在文本中的次数㊂通过词频特征选择,即删除频率小于某一阈值的词,以减少特征空间的维数㊂这种方法基于这样一个假设:小频率的单词对过滤的影响很小[3,6-7],而在信息检索的研究中,人们认为有时频率较低的词可能会包含更多的信息㊂因此,在特征选择过程中,仅仅基于词频来删除大量的词汇是不合适的㊂1.1.2　互信息用于计算两个对象相互度量的互信息法(互信息,MI)[8-9]是计算语言学模型分析中常用的方法,用于测量在过滤中从特征到主题的区别㊂互信息的定义类似于交叉熵㊂对于互信息理论进行特征提取是基于如下假设:在某一类中有较大词频的单词但在其他类中词频较小,且类具有较大的互信息㊂通常互信息被用作特征词和类之间的度量,如果特征词属于类,则它们拥有最大数量的互信息㊂由于该方法不需要对特征词与类之间的关系进行任何假设,因此非常适合于文本分类和类特征的注册[9]㊂1.1.3　信息增益IG(信息增益)是机器学习的常用方法㊂在过滤中,它被用来衡量一个已知特征是否出现在某个相关主题的文本中,以及该主题的预测信息有多少㊂信息增益是一种基于熵的评价方法,涉及到大量的数学理论和复杂的熵理论公式㊂它定义为某个特征项能够为整个分类提供的信息量,不考虑特征的熵而是特征熵的差值[10]㊂根据训练数据计算每个特征项的信息增益,并删除基于信息增益的小信息项,其余部分按信息增益降序排列㊂1.1.4　应　用文献[11]中提出一种基于特征聚类算法的无监督特征提取方法,它对利用互信息最大化(MIM)方法寻找合适的聚类特征变换进行了研究㊂UCI数据集的实验表明,该方法在分类精度方面优于传统的无监督方法PCA(主成分分析)和CA(独立分量分析);文献[12]中,针对传统词频索引逆文档频率提取算法(TF-IDF)效率低㊁准确性差的问题,提出了一种基于词频统计的文本关键词提取方法㊂实验结果表明,在关键词提取的查准率㊁查全率等指标方面,基于词频统计的TF-IDF算法均优于传统的TF-IDF算法,且能有效降低关键词提取的运行时间;在参考文献[13]中,提出一种特征选择的组合方法,该方法将基于相关的滤波器应用于整个特征集以寻找相关的特征,然后在这些特征上应用包装器,以找到指定预测器的最佳特征子集㊂1.2　融合方法融合需要特定分类器的集成,在指数增长区间内进行搜索,这种方法时间复杂度高,因此不适用于大规模的文本特征提取㊂加权法是一种特殊的融合方法,在[0,1]以内的每个特征权重都将进行训练并进行调整㊂线性分类器集成的加权方法是高效的,KNN算法是一种基于实例的学习方法[14]㊂1.2.1　加权KNN(k最近邻)Han[15]提出了一种结合KNN分类器的加权特征提取方法,该方法能将每个连续累积值进行分类并具有良好的分类效果㊂KNN方法作为一种基于统计模式识别的无参数文本分类方法,能得到较高的分类准确率和查全率[14-15]㊂1.2.2　中心向量加权法Shankar提出加权中心向量分类法,先定义一种具有区分能力的特征方法,然后利用这种能力有权区分新的中心向量,算法需要多重加权直到分类能力下降㊂1.3　映射方法映射广泛应用于文本分类并取得了良好的效果,它通常用于LSI(潜在语义索引)和PCA中㊂1.3.1　潜在语义分析LSA(或LSI)是一种新型信息检索代数模型,是㊃26㊃ 计算机技术与发展 第29卷用于知识获取和演示的计算理论或方法,采用统计计算的方法对大量文本集进行分析,提取词间潜在的语义结构,利用这种潜在的结构来表示词和文本,从而通过简化文本向量消除词之间的相关性并减少维数[10]㊂潜在语义分析的基本概念是将高维VSM中的文本映射到低维潜在语义空间,这种映射是通过项目或文档矩阵的SVD(奇异值分解)来实现的[14]㊂LSA的应用:信息过滤㊁文档索引㊁视频检索㊁文本分类与聚类㊁图像检索㊁信息提取等㊂1.3.2　最小二乘映射方法Jeno对基于中心向量和最小二乘法的高维数据约简做了研究,他认为由于聚类中心向量反映了原始数据的结构而SVD不考虑这些结构,所以降维比SVD更具有优势㊂1.3.3　应　用文献[16]中提出了一种新的滤波器,这种滤波器基于盖然论的概率特征选择方法,即DFS(基于特征选择)文本分类方法㊂实验对不同的数据集㊁分类算法和成功措施进行了比较,结果表明DFS在分类精度㊁降维率和处理时间方面提供了有竞争力的性能[16]㊂1.4　聚类方法聚类法考虑到文本特征的本质相似性,主要是对文本特征进行聚类,然后使用每个类的中心来替换该类的特性㊂该方法压缩比很低并且分类精度基本保持不变,但是复杂度较高㊂1.4.1　CHI(卡方)聚类法通过每个特征词对每个类(每个特征词得到对每个类的CHI值)贡献的计算,CHI聚类法聚类文本特征词对分类的相同贡献,使它们的共同分类模型取代了传统算法中每个单词对应一维的模式㊂1.4.2　概念索引在文本分类中,概念索引(CI)是一种简单有效的降维方法㊂通过将每个类的中心作为基向量结构的子空间(CI子空间),然后将每个文本向量映射到这个子空间,得到文本向量到子空间的表示㊂训练集所包含的分类量正是CI子空间的维数,通常小于文本向量空间的维数,从而实现向量空间的降维㊂1.4.3　应　用文献[17]对利用遗传算法和模糊聚类技术将大特征空间与有效数字相结合的两种方法进行了描述,最后利用自适应神经模糊技术实现了模式的分类㊂整个工作的目的是实现对人脑肿瘤病变分类的识别,即CT和MR图像所确定的占位性病变㊂2　深度学习方式深度学习是在2006年由Hinton等提出的一类无监督学习,它的概念来源于人工神经网络的研究㊂深度学习结合底层特征形成更抽象㊁更高层次的属性表征或特征,深层次地发现数据的分布特征表示[2]㊂深度学习与表面学习相反,现在很多学习方法都是表面结构算法,而且它们都存在一定的局限,如在有限样本的情况下复杂功能性具有局限,对复杂分类问题的泛化能力受到一定的限制[18]㊂深度学习和传统的模式识别方法间的主要区别是深度学习能够自动地从大数据中学习特征,而不是采用手工制作的特征[2]㊂在计算机视觉发展史上,五年到十年才能出现一个被广泛认可的优良特性,但是针对新的应用,深度学习能够快速从训练数据中获取新的有效特征表示㊂深度学习技术应用在普通的NLP(自然语言处理)任务中,如语义分析㊁信息检索㊁语义角色标注㊁情感分析㊁问答㊁机器翻译㊁文本分类㊁文本生成,以及信息提取㊂卷积神经网络和递归神经网络是常用的两种模型㊂接下来介绍文本特征提取的几种深度学习方法及其应用㊁改进方法和步骤㊂2.1　自编码自编码是一种前馈网络,可以学习数据的压缩分布式表示,通常以降维或流形学习为目标㊂自编码的隐藏层通常具有比输入层和输出层更紧凑的表示,它的单元比输入层或输出层要少㊂输入和输出层通常具有相同的设置,允许自编码进行无监督训练,即在输入端输入相同的数据,然后与输出层的数据进行比较㊂训练过程与传统的反向传播神经网络相同,唯一的区别在于通过输出与数据本身的比较来计算误差[2]㊂堆叠的自编码是编码的深度对应,可以简单的通过堆积层建立㊂对于每一层,它的输入是前层的学习表示,可以学习到比现有学习更为紧凑的表示㊂文献[2]中针对短文本的特点,提出了特征提取和基于深度噪声的自编码聚类算法㊂该算法利用深度学习网络将高维㊁稀疏短文本的空间矢量转换为新的㊁低维的㊁实质性的特征空间㊂实验表明,将提取的文本特征应用于短文本聚类,显著提高了聚类效果㊂文献[2]中提出使用深度学习的稀疏编码自动提取文本特征,并结合深度信念网络形成SD(标准差)算法的文本分类㊂实验表明,在训练集较少的情况下,SD算法的分类性能比传统的支持向量机低,但在处理高维数据时, SD算法比SVM算法具有更高的准确率和召回率;2.2　受限玻尔兹曼机RBM(受限玻尔兹曼机)于1986年由Smolensky 提出,是玻尔兹曼机的可见单元之间或隐藏单元之间没有连接的受限版本[2]㊂该网络由可见单元(可见向量即数据样本)和一些隐藏单元(相应隐藏的向量)组成㊂有形载体和隐向量为二进制向量,即它们取{0,㊃36㊃　第12期 张　千等:基于深度学习的文本特征提取研究综述1}之间的数值㊂整个系统是一个双向图,边缘只存在于可见单位和隐藏单元之间,可见单元之间和隐藏单元之间没有边缘连接(如图1所示)㊂图1　RBM图1中,存在隐藏单元之间(阴影节点)没有连接而可见单元也没有连接(无阴影节点)的限制,Boltzmann 机变成一个RBM ㊂现在的模型是一个双向图㊂培训过程自动要求重复以下三个步骤:(1)在正向传递过程中,每个输入与单个权重和偏置相结合,并将结果发送到隐藏层;(2)在逆向过程中,每个激活与单个重量和偏置相结合,结果被传送到可见层进行重建;(3)在可见层,利用KL 散度对重建和初始输入进行比较,以决定结果质量㊂使用不同的权重和偏差重复上述步骤,直到重建和输入尽可能接近为止㊂2.3　深度信念网络DBN (深度信念网络)是由Hinton 等于2006年提出,他表明RBMS 可以以贪婪的方式堆放和训练[2]㊂DBN 在网络结构方面都可以看作是一个堆栈,隐藏层中可见的受限玻尔兹曼机是该层上的一层㊂经典DBN 的网络结构是由一些RBM 层和一层BP 构成的深度神经网络㊂图2是三层RBM 网络构成的DBN 网络结构㊂DBN 的训练过程包括两步:第一步是分层预训练,第二步是ne 调谐㊂图2　DBN 网络结构DBN 模型的训练过程主要分为两个步骤:(1)分别单独在没有监督下训练RBM 网络各层,并且确保作为特征向量被映射到不同的特征空间,特征信息尽可能保留㊂(2)在DBN 的最后一层建立BP 网络,将受限玻尔兹曼机的输出特征向量作为输入特征向量,并且在监督下训练实体关系分类器㊂每一层的RBM 网络仅能确保自己层的量到该层的特征向量,而不是对整个DBN 的特征向量进行优化㊂因此,反向传播网络传播自上而下的信息到每一层的RBM ,并微调整个DBN 网络㊂RBM 网络训练模型的过程可以看作是一个深度的BP 神经网络权值初始化的过程,能使DBN 克服深度BP 网络权重参数初始化导致的局部最优和长训练时间的缺点㊂步骤(1)称为在深度学习术语中的预训练,步骤(2)称为微调㊂任何基于特定应用域的分类器在BP 网络下都可以应用于有监督学习的层㊂2.4　卷积神经网络卷积神经网络(convolution neural network ,CNN )是近年来发展起来的一种高效识别方法㊂CNN 网是一个多层神经网络,每一层都是由多个二维的表面组成,每个面是由多个独立的神经元组成㊂CNN 是人工神经网络的一种,具有较强的适应性,善于挖掘数据的局部特征㊂网络结构的权重使其更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量,使CNN 在模式识别的各个领域得到了应用,取得了很好的效果㊂CNN 结合本地感知区域,在时间或空间上降低采样来充分利用数据本身包含的诸如区特征之类的特征,并优化网络结构,保证一定程度的位移不变性㊂通过多年的研究,对神经网络的应用越来越多,如人脸检测㊁文件分析㊁语音检测㊁车牌识别等㊂2006年,Kussul 提出将神经网络的置换编码技术应用于人脸识别㊁手写体数字识别和小目标识别技术中,这些技术通过分类系统的一些特殊性能来完成;2012年,研究人员将视频数据中的连续帧作为神经网络输入数据的卷积,以便在时间维度上引入数据,从而识别人体运动㊂2.5　递归神经网络RNN 用来处理时序数据,在传统神经网络模型中,它从输入层到隐藏层再到输出层,这些层是完全连接的,并且每个层的节点之间没有连接㊂对于涉及顺序输入的任务,比如演讲和语言往往会更好地使用它[2](见图3)㊂RNNs 一次一个元素地处理输入序列,在隐藏的单元中保持一个状态向量,隐含地包含关于序列所有过去元素的历史信息㊂当考虑隐藏单元在不同离散时间步长上的输出时,就好像它们是深度网络中不同神经元的输出,从而知道如何运用反向传播算法来训练网络[2]㊂人工神经元(例如,时间t 中的值s t 在节点s 下分组的隐藏单元)在以前的时间步长中从其他神经元获㊃46㊃ 计算机技术与发展 第29卷Vt-1UWV VUUUX t-1XtX t+1Unfold图3　递归神经网络及其正向计算中计算时间的展开得输入(这是用黑色方块表示的,表示在一个时间步长上的延迟)㊂这样,一个递归神经网络就可以将输入序列与X t元素映射成一个带O t元素的输出序列,其中每个元素O t依赖于所有以前的X t'(对于t'<t)[2]㊂每个时间步长使用相同的参数(矩阵U,V,W)㊂反向传播算法(图1)可以直接应用于展开网络的计算图,计算所有状态S t和所有参数的总误差(例如生成正确的输出序列的日志概率)的导数[2]㊂3摇结束语文本特征项的选择是文本挖掘和信息检索的基础和重要内容㊂特征提取是指根据一定的特征提取指标,从测试集的初始特征集提取相关的原始特征子集,删除不相关或多余的特征,从而降低特征向量空间维度㊂特征提取作为学习算法的一种数据预处理方法,能更好地提高学习算法的精度,缩短学习时间㊂与其他机器学习方法相比,深度学习能从特征中检测复杂的相互作用,从几乎未处理的原始数据中学习低级特征,挖掘不易被检测到的特征,处理高基数的类成员和处理未开发的数据㊂与几个深度学习的模型相比,递归神经网络已广泛应用于自然语言处理,但是RNN很少用于文本特征提取,其根本原因是它主要以时间序列为目标㊂此外,由Ian J.Goodfellow于2014提出的生成对抗性的网络模型,短短两年时间在深度学习生成模型领域取得了显著成果㊂文中提出了一种新的可用于估计和生成对抗过程模型的框架,并将其作为无监督学习的一种突破㊂现在它主要用于生成自然图像,但在文本特征提取方面没有取得重大进展㊂深度学习中存在一些瓶颈,如监督感知和强化学习都需要大量的数据支持㊂此外,在推进计划方面表现很差,不稳定的数据质量导致的不可靠㊁不准确和不公平的问题仍需要改进㊂由于文本特征提取的固有特性,每种方法都有其优缺点㊂如果可能的话,可以应用多种提取方法来提取相同的特征㊂参考文献:[1]　LECUN Y,BENGIO Y,HINTON G.Deep learning[J].Na⁃ture,2015,521(7553):436-444.[2]　QIN S,LU Z.Sparse automatic encoder application in textcategorization research[J].Science Technology and Engi⁃neering,2013,13(31):9422-9426.[3]　SINGH V,KUMAR B,PATNAIK T.Feature extractiontechniques for handwritten text in various scripts:a survey[J].International Journal of Soft Computing&Engineering,2013,3(1):238-241.[4]　SUTO J,ONIGA S,SITAR P P.Feature analysis to humanactivity recognition[J].International Journal of ComputersCommunications&Control,2016,12(1):116-130.[5]　MLADENIC D.Machine learning on non-homogeneous,dis⁃tributed text data[D].Ljubljana:University of Ljubljana,1998.[6]　NIHARIKA S,LATHA V S,LAVANYA D R.A survey ontext categorization[J].International Journal of ComputerTrends&Technology,2006,18(3):72-74.[7]　MHASHI M,RADA R,MILI H,et al.Word frequency basedindexing and authoring[M]//Computers and writing.[s.l.]:Springer,1992:131-148.[8]　PANINSKI L.Estimation of entropy and mutual information[J].Neural Computation,2003,15(6):1191-1253.[9]　RUSSAKOFF D B,TOMASI C,ROHLFING T,et al.Imagesimilarity using mutual information of regions[C]//8th Eu⁃ropean conference on computer vision.Prague,Czech Repub⁃lic:Springer,2004:596-607.[10]EVANGELOPOULOS N tent semanticanalysis[J].An⁃nual Review of Information Science&Technology,2013,4(6):683-692.[11]FERCHICHI S E,ZIDI S,LAABIDI K,et al.Feature cluste⁃ring based MIM for a new feature extraction method[J].In⁃ternational Journal of Computers Communications&Control,2013,8(5):699-707.[12]罗　燕,赵书良,李晓超,等.基于词频统计的文本关键词提取方法[J].计算机应用,2016,36(3):718-725.[13]DANUBIANU M,PENTIUC S G,DANUBIANU D M.Datadimensionality reduction for data mining:a combined filter-wrapper framework[J].International Journal of ComputersCommunications&Control,2012,7(5):824-831.[14]ZHOU Yong,LI Youwen,XIA Shixiong.An improved KNNtext classification algorithm based on clustering[J].Journalof Computers,2009,4(3):230-237.[15]HAN E H,KARYPIS G,KUMAR V.Text categorization u⁃sing weight adjusted k-nearest neighbor classification[C]//Pacific-Asia conference on knowledge discovery and datamining.Hong Kong:Springer,2001:53-65.[16]TU A L.A novel probabilistic feature selection method fortext classification research[D].Wuhan:Central China Nor⁃mal University,2012.[17]BHATTACHARYA M,DAS A.Genetic algorithm based fea⁃ture selection in a recognition scheme using adaptive neurofuzzy techniques[J].International Journal of ComputersCommunications&Control,2010,49(8):1421-1422.[18]BENGIO Y.Learning deep architectures for AI[J].Founda⁃tions&Trends in Machine Learning,2009,2(1):1-127.㊃56㊃　第12期 张　千等:基于深度学习的文本特征提取研究综述。