第05章 检索模式扩展

浅谈信息检索中的查询扩展技术滕菁武汉大学信息管理学院【摘要】随着计算机技术、大容量的硬盘存储器以及可共享信息的网络导致人们可利用的数据越来越庞大，为了发掘信息，为人们所用，诞生了信息检索技术。

本文介绍了信息检索的理论以及工作步骤，在总结了前人研究的工作基础上，详细的阐述了关键步骤使用的查询扩展技术。

【关键词】信息检索查询扩展技术一、引言随着计算机、互联网技术的快速发展，其应用越来越广泛，因此，互联网络上的信息也日益增长，网络技术的应用大大的拓宽了人们日常生活中获取信息的通道，但是，海量的信息虽然为人们的工作、生活和学习带来极大的便利，但是也给人们带来了极大的困扰，使得人们在泛滥的海量信息利用过程中，无从下手，不知所措。

目前，如何从海量信息中检索出有用的信息，已经成为诸多科学研究者的研究热点，成为信息检索领域的一个重要的课题。

搜索引擎的诞生为人们进行信息检索提供了便利的工具，但是，由于信息检索过程中，搜索引擎面对的是用户输入的信息，由于各种用户的学识不一，因此其递交的查询信息表达不完整，与网络上的文档信息无法匹配，无法发挥信息检索的优势。

未解决这个问题，一些学者提出了查询扩展技术，该技术可以使用相应的方法和策略，初始化用户查询词，对其进行重构和扩展，从而可以大大的改善信息检索性能，提高信息检索结果的准确性。

本文详细的介绍了现代信息检索理论和相关的查询扩展技术，为人们进行信息检索提供参考，具有非常高的应用价值。

二、信息检索理论信息检索技术以一定的数据组织方式，对数据进行组织和排列，并针对用户的需求定义等输入，查找用户需要的文献信息。

信息检索的本质是用户根据自身的需求，使用检索方法，查找需要的信息，目前在信息检索的过程中，提高信息检索的效率和有效性成为诸多科学工作者研究的重点，许多研究科学工作者已经提出了很多的信息检索分析方法。

信息检索的过程通常由以下几个基本的步骤组成：１．分析检索课题。

信息检索开始，需要审视课题涉及的相关内容。

搜索中的Query扩展技术（二）一、前言这一期我们继续来聊Query扩展的问题，在上一期我们梳理了目前Query扩展技术可以大致分为相关性建模和翻译模型建模两种思路。

（传送门：搜索中的Query扩展技术)在介绍现有Paper工作的同时，结合我们自身场景，如果对文档能够构建概述主旨的concept短语。

那么利用文档中的entity与concept就可以使用贝叶斯一众的概率模型构建一个相关性网络。

随后在Query端，完成实体链接，获取其中的entity，最后利用相关性模型就可以实现Query扩展的功能。

在此基础上，本文将讨论如何进一步改进扩展效果，以及目前在该领域都有哪些工作思路可以借鉴。

二、相关模型 or 生成模型？看到上图，细心的同学一定发现了，相关性模型的基础是Query 中的term，或者如我们使用的entity。

如果Query较短，比如仅包含一个单一实体时，这类方法是比较适合的。

但是当Query较长，包含复杂语义时，再使用相关性模型做Query扩展可能会造成语义偏差过大的情况：所以，我们的结论是，可以根据Query的长度来选择扩展的策略。

当Query较短时，仅包含单一实体时，用户并没有表达出明确的搜索意图，除了满足字面匹配的准确性，Query扩展是为了补充近似于“推荐”的功能；而对于长Query的情况，文本中不仅出现单个实体词，也会存在多个实体，并相互作为限制词、定语，或者描述实体词的属性等。

总的来说，Query越长，用户的意图越聚焦，希望获取的内容越具体，这种情况下，Query扩展是为了实现在准确捕捉语义后，扩展出相同语义的不同表述。

三、捕捉复杂语义所以，当Query存在复杂语义时，具体需要解决哪些问题呢？我们总结了以下三个方面：a. Query中包含多于一个的实体词，或包含除实体词以外的文本。

这种情况通常表达的是对某个实体附加了限定条件（如：HP的治疗方案），或者在表达与多个实体相关的事件（如：上海疫情）。

大模型构建知识库检索的架构和功能示例文章篇一：《大模型构建知识库检索的架构和功能：我的奇妙发现之旅》嗨，大家好！我是一名对大模型充满好奇的小学生。

今天呀，我想跟你们聊聊大模型构建知识库检索的架构和功能，这可超级有趣呢！我第一次接触到大模型的时候，就像走进了一个超级大的魔法城堡。

里面有各种各样神奇的东西，而知识库检索就像是这个城堡里的寻宝地图。

我想知道这个寻宝地图是怎么绘制出来的，也就是知识库检索的架构到底是什么样的。

我去问了我的科学老师。

老师说呀，大模型的知识库检索架构就像是一个超级复杂的大树。

树的根部呢，是最基础的知识数据，就像是大树扎根在土里一样，这些基础数据非常重要。

比如说那些基本的数学公式、语文的字词知识等等。

然后树干就是把这些基础数据连接起来的部分，就像是一个大管道，让知识能够在里面流动。

那树枝呢？那就是不同类别的知识分支啦。

就像我们数学里有几何、代数这些分支一样。

每一个小树枝上挂着的树叶，就是具体的知识点啦。

我当时就想，这可真酷啊！可是这只是个大概的架构，具体是怎么让我们能找到想要的知识呢？这就涉及到功能啦。

我有一个小伙伴叫小明，他特别聪明。

我们一起做一个关于动物习性的研究项目的时候，就用到了大模型的知识库检索功能。

我们想知道为什么长颈鹿的脖子那么长。

我们在大模型的检索框里输入了“长颈鹿脖子长的原因”，然后哇，一下子就出来好多信息呢！这就像是我们在那个知识大树里直接找到了写着“长颈鹿脖子”的那片树叶。

大模型的知识库检索功能就像是一个超级智能的小助手。

它能够快速地在那一大堆知识里找到我们需要的东西。

这让我想到了在图书馆找书。

我们在图书馆里要从那么多书架中找到我们想要的那本书，可费劲了。

可是大模型的检索功能就像是图书馆里有个超级小精灵，一下子就把我们要的书送到我们面前。

我还发现，大模型的知识库检索功能还能根据我们的提问进行智能联想呢。

有一次我在想关于古代建筑的事情，我输入了“故宫的建筑特色”，然后它除了给我关于故宫建筑特色的知识，还推荐了一些其他古代宫殿建筑的知识。

检索增强扩展大模型近年来，随着人工智能技术的飞速发展，大规模预训练模型在自然语言处理领域取得了巨大的成功。

然而，由于预训练模型的尺寸和参数量逐渐增大，使用这些大模型进行检索工作变得越来越困难。

为了解决这个问题，研究人员提出了一种新的方法，即检索增强扩展大模型。

检索增强扩展大模型（Retrieval-Augmented Generation，RAG）是一种结合检索和生成的方法，可以用于对大规模预训练模型进行增强，以提高其检索能力。

RAG模型结合了传统的检索模型和生成模型的优点，可以在处理大规模数据时提供更高效的搜索和生成能力。

RAG模型的核心思想是将检索模型和生成模型相结合，以实现更准确和高效的信息检索。

在RAG模型中，首先使用传统的检索模型对大型语料库进行搜索，找到与查询相关的文档。

然后，通过生成模型对这些文档进行进一步的生成和整理，以提取出与查询相关的信息。

通过这种方式，RAG模型能够同时兼顾检索的准确性和生成的多样性。

为了实现RAG模型，研究人员提出了一种新的预训练方法，即Dense Retrieval Pretraining（DRP）。

DRP模型通过使用密集检索技术，将传统的稀疏检索模型转化为密集向量表示，从而提高了检索的准确性和效率。

同时，DRP模型还引入了多任务学习和对抗训练等技术，以进一步提升模型的性能。

除了DRP模型，研究人员还提出了一种新的生成模型，即Reformulation-Aware Generation（RAG）模型。

RAG模型通过引入查询重述机制，可以将查询重述为更容易理解和生成的形式，从而提高生成的准确性和多样性。

同时，RAG模型还引入了自适应注意力机制和生成-检索协同训练等技术，以进一步优化生成的结果。

通过将DRP模型和RAG模型相结合，研究人员成功地构建了检索增强扩展大模型。

实验证明，这种模型在信息检索任务中取得了显著的改进。

与传统的检索模型相比，RAG模型能够提供更准确和多样的搜索结果。

扩大文献检索的范围的方法
文献检索作为了解当前社会科学研究状况的重要工具，其质量层次决定了研究成果质量和水平。

拓展文献检索范围，让更多优秀论文得到公正评价，是提高广大研究者质量和文献可读性的有效途径。

而随着互联网快速发展，资源繁多、分布不均、日益丰富的现象也凸显出网络检索覆盖范围不齐的问题。

因此本文旨在探讨如何在互联网的基础上，有效扩大文献检索的范围。

首先要充分利用元搜索技术，提取查询不到的相关文献。

扩大目标检索数据库的范围，从知名的文献数据库、扩展数据库和行业特定数据库中找到更多有价值的信息。

同时，可以采取人工搜索的方法，借助谷歌等搜索引擎，对该领域百度百科百度知道等进行深入检索，搜集潜在的更多有价值的信息。

另外，为了提高文献检索的准确性，需要运用智能搜索引擎，识别网络信息质量，建立网络语义检索体系，利用结构信息提取网络数据，推动智能检索、智能抓取技术，增强用户和机器间交互，提升文献检索的命中率和覆盖率。

最后，可以借助RSS流动技术，可以让用户实时观测指定平台内信息及文献变动，定期了解最新文献更新信息，加快文献归纳和分析的效率和准确性。

总之，借助互联网的普及和发展，我们可以有效的拓展文献检索的范围，使更多的优秀文献体现出来，带动研究价值的提升。

凡事必须以技术支撑为前提，才能实现文献检索效率的提升，实现知识管理的全面发挥。

智能检索中基于生成式模型和伪相关反馈的查询扩展方法一、研究背景和意义随着互联网的快速发展，信息量的爆炸式增长使得人们越来越难以从海量的数据中快速准确地找到所需的信息。

智能检索技术作为解决这一问题的关键手段，已经在各个领域得到了广泛的应用。

当前的智能检索系统在处理复杂查询和长尾问题时仍面临着诸多挑战，如语义理解不足、召回率低、准确性差等问题。

为了提高智能检索系统的性能，研究者们提出了许多方法，如基于词向量的检索模型、知识图谱融合等。

尽管这些方法在一定程度上提高了检索质量，但仍然存在一定的局限性。

生成式模型作为一种强大的自然语言处理技术，近年来在文本生成、摘要生成等领域取得了显著的成果。

将生成式模型应用于智能检索领域尚处于起步阶段，本研究旨在探索将生成式模型与伪相关反馈相结合的方法，以提高智能检索系统的查询扩展能力。

通过引入生成式模型，可以更好地理解用户查询的真实意图，从而提高检索结果的相关性和准确性。

利用伪相关反馈机制对生成式模型进行训练和优化，有助于提高模型的泛化能力和鲁棒性。

本研究具有重要的理论和实际意义。

1. 智能检索技术的现状和发展趋势随着互联网的快速发展，信息量的爆炸式增长使得人们越来越难以从海量数据中快速准确地找到所需信息。

为了应对这一挑战，智能检索技术应运而生，并在近年来取得了显著的发展。

智能检索技术主要包括基于内容的检索(CBIR)、语义检索、问答系统、推荐系统等。

这些技术在提高检索效率、准确性和用户体验方面发挥了重要作用，为用户提供了更加便捷的信息检索服务。

尽管智能检索技术取得了一定的成果，但仍然面临着许多挑战。

传统的检索方法往往过于依赖关键词匹配，忽视了语义和上下文信息的重要性，导致检索结果的准确性和相关性有限。

由于知识库的不断扩展和技术的不断进步，检索系统需要不断地更新和维护，这无疑增加了系统的复杂性和维护成本。

随着大数据时代的到来，如何有效地利用海量数据进行智能检索也是一个亟待解决的问题。

利用智能检索系统中一站式浏览界面中的关键词扩展工具进行关键词扩展摘要：智能检索系统自 2021 年上线以来，已逐步取代 S 系统成为专利审查的主要检索系统。

该系统覆盖了 S 系统的核心功能，同时新增语义检索、融合检索、一站式浏览、机器翻译等体现智能化特点的功能。

然而，对于一站式浏览的界面中，有一个关键词的一栏，能够对关键词进行扩展，采用此功能时，当审查原遇到不熟悉的领域案件时，可以通过该功能扩展关键词，从而提升检索效率。

关键词：检索一站式浏览关键词引言对于检索而言，非常重要的一步的就是要采用准确的关键词从而限定最准确的检索范围，然而对于关键词而言，很多关键词的使用如果不当会非常容易发生漏检的问题，虽然分类号是我们在检索时首先使用的检索要素，然而考虑到文献量，不可避免的会使用到关键词，因此如何使用准确的关键词成为了大家的检索效率的重要一环。

在《智能化升级系统（检索部分）用户手册》中指出，一站式浏览的功能具有关键词扩展的功能[1]，而审查员在平式检索的过程中很少会用到一站式浏览的功能，因此多多挖掘该功能具有重要意义。

在智能检索系统的使用与研究中，在一站式浏览的界面里，确实发现了关键词的显示栏，也可以在该显示栏中进行关键词扩展。

下面结合具体案例，展示一站式浏览的关键词扩展的获取，并将该方法获取的关键词与常规的辅助工具中的关键词扩展工具所获得的关键词进行对比，以验证该方法获取的关键词的准确性和有效性。

一、案例分析本申请涉及一种太阳能电池背板用耐候光固化涂料，权利要求1如下：1.权利要求 1 .一种电子束固化的耐候氟涂料，其特征在于，包括以下质量份数的原料：主体树脂：40-65份；颜填料：20-50份；活性稀释剂：10-20份；常规助剂：2-6份；流变助剂：1-4份；下转换纳米粉：0.5-3份，所述主体树脂包括：氟改性环氧丙烯酸酯预聚物、氟改性聚酯丙烯酸酯预聚物、氟改性聚氨酯丙烯酸酯预聚物、丙烯酸六氟丁酯、甲基丙烯酸六氟异丙酯、甲基丙烯酸六氟丁酯、全氟烷基乙基甲基丙烯酸酯、全氟辛基乙基丙烯酸酯、全氟烷基乙基醇中的一种或多种组合。

1 全文检索系统方案1.1全文检索需求1）系统提供模糊检索、分类搜索、高级复合搜索、全文检索、图片内容检索、跨库检索等多种检索途径；2）支持字索引和词索引；3）检索条件具有完整的关键词布尔逻辑运算AND OR NOT能力，支持复合式布尔逻辑运算查询，并且可以配合多组左括号"（"与右括号"）"作关键词查询优先级的设置；4）提供用户多次递进查询的功能，用户可根据上一次查询关键词得到的检索结果集，增加查询关键词与缩小搜索日期范围，而得到更准确的查询结果集；5）能够支持对以上文件中的中文（简体/繁体）、英文、日语、韩语内容实现关键字检索；6）支持对Word TXT PDF等多种主流文档格式全文检索，并提供开发接口以支持特殊文档格式的全文检索；7）在数据源数据发生更新时，能在索引库中反映出来，保证搜索的信息为最新，即支持增量索引机制；8）用户可自行设定时间，让系统自动定时进行更新索引；9）对于百万级记录数的搜索以及结合模糊搜索等查询方式，搜索时间不得超过10秒；10）提供跨数据源、数据格式的搜索；11）同过相关性搜索，能够把和搜索条件相关联的信息搜索出来；12）不但能够对图片的描述信息进行搜索，还能对图片内容的检索；13）提供COM与SOAP勺搜索接口（Interface）可让其它应用程序或查询网页能够提供用户查询入口和查询结果的呈现，用户可通过应用程序或浏览器访问全文检索服务器，提交查询条件，可在浏览器中查看检索结果;14）查询结果集中应包含结果集总数、命中的结果文件的完整路径，以及符合关键词出现的内容片断；15）在搜索结果集中，关键词应被标识出来，用特殊的字体及颜色和其他文字进行区别，查询者可在查询结果片断中一目了然的看到关键词出现的位置；16）查询结果可按照关键词命中次数，命中结果文件的修改时间，大小等条件进行排序；17）可提供用户对检索命中结果文件在索引库中进行标记，从而再次检索时，不在标记过的文件中进行查询；1.2全文检索系统总体方案系统将采用以下全文检索流程。