面向中文知识图谱构建的知识融合与验证

利用AI技术进行知识图谱构建的方法与技巧一、引言在当今互联网时代，知识图谱作为一种强大的信息组织和搜索工具，逐渐成为了研究者关注的焦点。

它可以帮助我们更有效地理解和利用海量的数据，从而实现智能化的知识管理。

AI技术在知识图谱构建中发挥着重要作用，通过利用AI技术的方法与技巧，我们能够构建出更加准确和全面的知识图谱。

二、知识图谱构建方法1. 数据收集在构建知识图谱之前，我们首先需要收集大量的数据作为基础。

这些数据可以来自于多个来源，如互联网上的公开资料、企业内部的文档和数据库、第三方数据提供商等。

收集到的数据应该包含尽可能多的领域和主题相关信息，并且需要进行初步清洗和去重处理。

2. 实体抽取实体抽取是知识图谱构建过程中非常重要的一步。

通过人工智能技术中的实体抽取算法，我们可以从文本数据中自动地识别出各种实体。

例如，在医疗领域中，我们可以使用语义分析算法来自动抽取出疾病、药物、症状等实体。

3. 关系抽取实体抽取完毕后，我们还需要进行关系抽取的工作。

通过分析文本数据中的语义关系，我们可以自动地获取实体之间的关联信息。

例如，在电影领域中，我们可以通过解析剧情简介和演员表来获得演员与电影之间的关系。

4. 知识表示在知识图谱中，我们需要将收集到的数据以一种规范化的方式进行表示。

知识表示方法有很多种，如RDF（Resource Description Framework）、OWL（Web Ontology Language）等。

通过采用适当的知识表示方法，可以使得知识图谱更加容易被机器理解和处理。

三、AI技术在知识图谱构建中的应用1. 自然语言处理自然语言处理是AI技术中非常重要的一个分支，它可以帮助我们对文本数据进行语义分析和理解。

在知识图谱构建过程中，自然语言处理可以用于实体抽取、关系抽取等任务。

例如，在医学领域中，我们可以利用自然语言处理技术从医学论文中自动提取出疾病名称和治疗方法。

2. 图像识别图像识别是AI技术中的另一个重要分支，它可以帮助我们从图像数据中获取有用的信息。

面向语义搜索的知识图谱构建与应用研究随着信息技术的发展，人们在获取信息时面临越来越多的挑战。

传统的搜索引擎只能基于关键词匹配进行搜索，但这种方法忽略了语义信息。

为了更好地满足人们的需求，更准确地获取信息，语义搜索成为了一种热门的技术。

而知识图谱，作为形式化语义网络，可以有效构建语义搜索的基础，成为了一种非常强大的工具。

本文将探讨面向语义搜索的知识图谱构建与应用研究。

一、知识图谱的概念及构建知识图谱的概念起源于Web 3.0的概念，是指一种基于图论思想构建的丰富语义信息网络，其主要目的是让机器理解人类知识的组织方式，以此实现自然语言处理中的全面语义理解。

知识图谱是一个由节点和关系组成的有向加权图，其中节点代表实体或概念，边代表实体或概念之间的语义关系。

知识图谱是一个高度互联的网络，能够展示信息之间的关联和共现性，同时提供了一种全新的信息检索方法，使得人们能够从事实和概念之间的关联性中获得更多的知识信息。

知识图谱的构建需要结合语义抽取、实体识别、关系抽取和知识融合等多个技术，旨在将不同来源的知识整合成一个知识库，并通过对于知识库的持续更新使得知识库得到不断完善。

在现有的研究中，知识图谱的构建主要分为两种方式：手动构建和自动构建。

手动构建需要大量的工作力和耗时，需要专家和领域知识，但在实际应用中，由于数据量庞大，面临更新换代的问题。

这种方式逐渐显得比较无法应对大规模的数据构建和系统维护。

自动构建是采用自然语言处理、机器学习以及图论等技术从非结构化或半结构化数据源中自动提取数据，并将这些数据转化为结构化、具有图谱特征的知识库。

自动构建的优点在于其高效自动化，而缺点则在于存在噪音、误差等问题。

因此，对于知识图谱的构建，应该根据具体情况选择合适策略。

二、面向语义搜索的知识图谱的应用研究由于知识图谱可以实现信息的有机连接和展示，它已经应用于许多领域。

在搜索领域中，知识图谱的应用表现为在关键字来征集所涉及的实体或概念上下文信息，为用户提供更加准确的答案。

第 54 卷第 8 期2023 年 8 月中南大学学报(自然科学版)Journal of Central South University (Science and Technology)V ol.54 No.8Aug. 2023基于知识图谱使用多特征语义融合的文档对匹配陈毅波1，张祖平2，黄鑫1，向行1，何智强1(1. 国网湖南省电力有限公司，湖南 长沙，410004；2. 中南大学 计算机学院，湖南 长沙，410083)摘要：为了区分文档间的同源性和异质性，首先，提出一种多特征语义融合模型(Multi-Feature Semantic Fusion Model ，MFSFM)来捕获文档关键字，它采用语义增强的多特征表示法来表示实体，并在多卷积混合残差CNN 模块中引入局部注意力机制以提高实体边界信息的敏感性；然后，通过对文档构建一个关键字共现图，并应用社区检测算法检测概念进而表示文档，从而匹配文档对；最后，建立两个多特征文档数据集，以验证所提出的基于MFSFM 的匹配方法的可行性，每一个数据集都包含约500份真实的科技项目可行性报告。

研究结果表明：本文所提出的模型在CNSR 和CNSI 数据集上的分类精度分别提高了13.67%和15.83%，同时可以实现快速收敛。

关键词：文档对匹配；多特征语义融合；知识图谱；概念图中图分类号：TP391 文献标志码：A 文章编号：1672-7207（2023）08-3122-10Matching document pairs using multi-feature semantic fusionbased on knowledge graphCHEN Yibo 1, ZHANG Zuping 2, HUANG Xin 1, XIANG Xing 1, HE Zhiqiang 1(1. State Grid Hunan Electric Power Company Limited, Changsha 410004, China;2. School of Computer Science and Engineering, Central South University, Changsha 410083, China)Abstract: To distinguish the homogeneity and heterogeneity among documents, a Multi-Feature Semantic Fusion Model(MFSFM) was firstly proposed to capture document keywords, which employed a semantically enhanced multi-feature representation to depict entities. A local attention mechanism in the multi-convolutional mixed residual CNN module was introduced to enhance sensitivity to entity boundary information. Secondly, a keyword co-occurrence graph for documents was constructed and a community detection algorithm was applied to represent收稿日期： 2022 −05 −15； 修回日期： 2022 −09 −09基金项目(Foundation item)：湖南省电力物联网重点实验室项目(2019TP1016)；电力知识图谱关键技术研究项目(5216A6200037)；国家自然科学基金资助项目(72061147004)；湖南省自然科学基金资助项目( 2021JJ30055) (Project (2019TP1016) supported by Hunan Key Laboratory for Internet of Things in Electricity; Project(5216A6200037) supported by key Technologies of Power Knowledge Graph; Project(72061147004) supported by the National Natural Science Foundation of China; Project(2021JJ30055) supported by the Natural Science Foundation of Hunan Province)通信作者：张祖平，博士，教授，从事大数据分析与处理研究；E-mail ：***************.cnDOI: 10.11817/j.issn.1672-7207.2023.08.016引用格式： 陈毅波, 张祖平, 黄鑫, 等. 基于知识图谱使用多特征语义融合的文档对匹配[J]. 中南大学学报(自然科学版), 2023, 54(8): 3122−3131.Citation: CHEN Yibo, ZHANG Zuping, HUANG Xin, et al. Matching document pairs using multi-feature semantic fusion based on knowledge graph[J]. Journal of Central South University(Science and Technology), 2023, 54(8): 3122−3131.第 8 期陈毅波，等：基于知识图谱使用多特征语义融合的文档对匹配concepts, thus facilitating document was matching. Finally, two multi-feature document datasets were established to validate the feasibility of the proposed MFSFM-based matching approach, with each dataset comprising approximately 500 real feasibility reports of scientific and technological projects. The results indicate that the proposed model achieves an increase in classification accuracy of 13.67% and 15.83% on the CNSR and CNSI datasets, respectively, and demonstrates rapid convergence.Key words: document pairs matching; multi-feature semantic fusion; knowledge graph; concept graph识别文档对的关系是一项自然语言理解任务，也是文档查重和文档搜索工作必不可少的步骤。

知识图谱构建技术的探索路径与演进从知识表达到知识推理知识图谱构建技术的探索路径与演进：从知识表达到知识推理知识图谱是一种结构化的知识表示方法，通过将实体、属性和关系组织成图的形式，为计算机系统提供了一种全面、准确、可扩展的知识存储和推理能力。

知识图谱的构建技术已经取得了长足的进展，从最初的知识表达到如今的知识推理，探索路径也在不断演进。

一、知识表达知识表达是构建知识图谱的第一步，它涉及到将自然语言中的知识转化为计算机可理解的形式。

最早的知识表达方法是基于人工编码的，即由领域专家手动创建知识模式，并将其转化为机器可读的形式。

这种方法面临着知识获取效率低、可扩展性差等挑战。

随着自然语言处理和机器学习的发展，基于数据驱动的知识表达方法逐渐崭露头角。

这种方法通过从大规模文本数据中挖掘知识，将其转为结构化的形式，并构建知识图谱。

这种方法可以大大提高知识获取的效率和覆盖广度，但仍然存在着知识不准确、知识冲突等问题。

二、知识融合由于知识的来源多样性和不确定性，单一的知识表达方式往往无法满足实际应用的需求。

知识融合是解决这一问题的关键技术，它通过将来自不同知识源的知识进行合并和整合，生成更完善、一致的知识图谱。

知识融合技术包括实体对齐、关系抽取、属性合并等。

实体对齐通过比较不同知识图谱中的实体，并找到其在不同图谱中的对应关系，实现知识的一致性。

关系抽取通过从文本中识别出实体之间的关系，丰富知识图谱中的关系信息。

属性合并则是将来自不同知识源的属性进行整合，消除冗余和矛盾。

三、知识推理知识推理是知识图谱的核心能力，它使得计算机能够根据已有的知识进行思考和推断，完成更复杂的任务。

知识推理可以分为基于规则的推理和基于统计的推理两种方式。

基于规则的推理是指通过定义一系列逻辑规则，根据已有的知识进行推理。

这种方法的优势在于其可解释性强，但是需要手动编写规则，且规则的维护和更新成本较高。

基于统计的推理则是通过学习大规模数据中的模式和规律，自动推理出新的知识。

基于多种数据源的中文知识图谱构建方法研究一、本文概述随着信息技术的迅猛发展，大数据时代的到来为知识图谱的构建提供了海量的数据源。

知识图谱，作为一种以图结构形式描述现实世界实体间复杂关系的大型语义网络，对于领域的发展具有深远影响。

它不仅有助于实现知识的有效组织、存储和查询，还能为自然语言处理、智能问答、推荐系统等多个领域提供强大的数据支撑。

本文旨在探讨基于多种数据源的中文知识图谱构建方法。

在深入研究现有知识图谱构建技术的基础上，结合中文语言特性和数据特点，提出了一种融合多种数据源的知识图谱构建框架。

该框架涵盖了数据收集、数据预处理、实体识别、关系抽取、知识融合以及知识存储等多个关键环节，并对每个环节的技术实现进行了详细阐述。

本文的研究不仅有助于提升中文知识图谱的构建效率和质量，还能为相关领域的应用提供有力支持。

通过综合运用多种数据源，可以更加全面地反映中文世界的语义信息，为智能化应用提供更加丰富的知识资源。

本文的研究成果也能为其他语言的知识图谱构建提供有益的参考和借鉴。

二、中文知识图谱的构建方法中文知识图谱的构建是一个系统而复杂的过程，涉及数据的收集、处理、融合和存储等多个环节。

基于多种数据源进行中文知识图谱构建，旨在整合不同来源的信息，提高知识图谱的覆盖率和准确性。

数据收集是构建知识图谱的基础。

中文知识图谱的数据来源广泛，包括结构化数据（如数据库、表格等）、半结构化数据（如百科、新闻等）和非结构化数据（如文本、图片等）。

针对这些不同类型的数据，需要设计相应的爬虫和抓取策略，确保数据的全面性和准确性。

数据处理是构建知识图谱的关键环节。

对于收集到的数据，需要进行清洗、去重、格式转换等操作，以提高数据的质量和一致性。

还需要利用自然语言处理（NLP）技术对文本数据进行实体识别、关系抽取等操作，以提取出结构化的知识。

在数据融合方面，中文知识图谱的构建需要解决实体对齐和关系融合等问题。

实体对齐是指将不同数据源中的同名实体进行匹配和合并，以提高知识图谱的一致性。

知识图谱构建与应用方法介绍与示例知识图谱是一种用于描述和组织知识的技术，它可以将各种不同领域的知识整合在一起，形成一个结构化的知识网络。

知识图谱可以帮助人们更好地理解和利用知识，在许多领域具有广泛的应用前景。

本文将介绍知识图谱的构建方法和应用示例，帮助读者了解并应用这一强大的技术。

一、知识图谱构建方法1. 知识抽取：知识抽取是构建知识图谱的第一步，它包括从文本、数据库或其他数据源中提取结构化的知识。

常用的技术包括自然语言处理、信息抽取和实体识别等。

通过这些技术，我们可以从大量数据中提取出实体、关系和属性等信息，用于构建知识图谱的节点和边。

2. 知识表示：知识表示是将抽取得到的知识转化为计算机可以理解和处理的形式。

常用的表示方法有本体表示、三元组表示和图表示等。

本体表示使用本体语言（如OWL）定义概念和属性之间的关系，三元组表示使用主语-谓语-宾语的形式表示实体之间的关系，图表示使用节点和边的形式表示知识的结构。

3. 知识融合：知识融合是将从不同数据源中抽取得到的知识整合在一起，形成一个统一的知识图谱。

融合知识需要解决实体对齐、关系对齐和属性对齐等问题，常用的方法包括基于规则的匹配、基于语义的匹配和基于机器学习的匹配等。

4. 知识推理：知识推理是对知识图谱进行推理和推断，发现其中的隐藏知识和规律。

常用的推理方法包括规则推理、语义推理和统计推理等。

通过知识推理，我们可以发现新的关系、属性和实体，提高知识图谱的质量和可用性。

二、知识图谱应用示例1. 智能问答系统：知识图谱可以用于构建智能问答系统，帮助用户快速获取有关问题的答案。

通过将问题转化为图谱查询，系统可以在知识图谱中找到相关的实体和关系，并生成相应的回答。

例如，用户可以询问“谁是美国第一位女性总统？”，系统可以通过知识图谱回答“希拉里·克林顿是美国第一位女性总统”。

2. 智能推荐系统：知识图谱可以用于构建智能推荐系统，帮助用户发现符合其需求和兴趣的内容。

知识图谱构建与应用的技术路线研究知识图谱（Knowledge Graph）是一种以图结构表示人类知识的语义模型，可以帮助人们更好地理解和组织各种知识领域中的信息。

它的构建以及在各个领域的应用研究已经引起了广泛的关注和研究。

本文将介绍知识图谱构建与应用的技术路线研究，包括知识图谱构建的方法和工具，以及知识图谱在不同领域中的应用案例。

一、知识图谱构建的方法1. 知识抽取与融合知识抽取是从结构化、半结构化和非结构化数据中提取出关键实体、关系和属性的过程。

常用的方法包括自然语言处理、信息抽取、实体识别和关系抽取等。

融合是将从不同数据源中抽取出的知识进行整合，消除冲突和重复，并统一表示。

常见的融合方法包括同义词消歧、实体链接、关系合并和数据清洗等。

2. 知识表示与建模知识表示是将抽取出的实体、关系和属性表示成计算机可处理的形式。

常用的表示方法包括本体表示、三元组表示和图表示等。

本体表示利用本体语言（如OWL，RDF等）来定义实体、关系和属性的语义；三元组表示使用主谓宾的形式来表示实体、关系和属性之间的关联；图表示则使用节点和边表示实体和关系之间的关系，并利用图算法进行结构化分析。

3. 知识存储与管理知识图谱的存储与管理是在构建阶段将抽取融合后的知识存储到数据库或图数据库中，并提供高效的查询和更新接口。

常用的存储和管理系统包括关系型数据库、NoSQL数据库和图数据库等。

其中，图数据库由于其天然的图结构存储和查询优势，成为知识图谱存储的首选。

4. 知识推理与推理引擎知识推理是基于已有知识进行推理和推断的过程，可以补全和丰富知识图谱中的缺失信息。

推理引擎是进行知识推理的核心组件，常用的推理引擎包括规则引擎、图数据库查询和机器学习等。

推理可以帮助实现知识图谱的自动化和智能化。

二、知识图谱应用的技术路线研究1. 领域知识图谱构建根据不同领域的需求，构建针对特定领域的知识图谱。

例如，在医疗领域中，可以构建医学知识图谱，整合和分析各类医学知识，辅助医疗决策和临床研究。

知识图谱基础知识之三——知识图谱的构建过程前两次介绍了知识图谱的基本概念和知识图谱的构建⽅式，这次介绍⼀下知识图谱系统的构建过程。

1 知识图谱的总体构建思路如图所⽰，从原始的数据到形成知识图谱，经历了知识抽取、知识融合（实体对齐）、数据模型构建、质量评估等步骤。

原始的数据，按照数据的结构化程度来分，可以分为结构化数据、半结构化数据和⾮结构化数据，根据数据的不同的结构化形式，采⽤不同的⽅法，将数据转换为三元组的形式，然后对三元组的数据进⾏知识融合，主要是实体对齐，以及和数据模型进⾏结合，经过融合之后，会形成标准的数据表⽰，为了发现新知识，可以依据⼀定的推理规则，产⽣隐含的知识，所有形成的知识经过⼀定的质量评估，最终进⼊知识图谱，依据知识图谱这个数据平台，可以实现语义搜索，智能问答，推荐系统等⼀些应⽤。

以下对知识图谱构建中的步骤进⾏详细的介绍。

2 知识抽取我们将原始数据分为结构化数据、半结构化数据和⾮结构化数据，根据不同的数据类型，我们采⽤不同的⽅法进⾏处理。

2.1 结构化数据处理针对结构化数据，通常是关系型数据库的数据，数据结构清晰，把关系型数据库中的数据转换为RDF数据（linked data），普遍采⽤的技术是D2R技术。

D2R主要包括D2R Server，D2RQ Engine和D2RRQ Mapping语⾔。

D2R Server 是⼀个 HTTP Server，它的主要功能提供对RDF数据的查询访问接⼝，以供上层的RDF浏览器、SPARQL查询客户端以及传统的 HTML 浏览器调⽤。

D2RQ Engine的主要功能是使⽤⼀个可定制的 D2RQ Mapping ⽂件将关系型数据库中的数据换成 RDF 格式。

D2RQ engine 并没有将关系型数据库发布成真实的 RDF 数据，⽽是使⽤ D2RQ Mapping ⽂件将其映射成虚拟的 RDF 格式。

该⽂件的作⽤是在访问关系型数据时将 RDF 数据的查询语⾔ SPARQL 转换为 RDB 数据的查询语⾔ SQL，并将 SQL 查询结果转换为 RDF 三元组或者 SPARQL 查询结果。

知识图谱综述表示、构建、推理与知识超图理论一、本文概述知识图谱作为一种结构化的知识库，集成了来自多个来源的信息，通过实体、概念和关系来组织和呈现现实世界中的复杂知识。

近年来，随着大数据和技术的快速发展，知识图谱已成为信息抽取、自然语言处理、智能问答、推荐系统等多个领域的研究热点。

本文旨在全面综述知识图谱的表示、构建、推理及其与知识超图理论的联系。

文章首先介绍知识图谱的基本概念和应用背景，随后深入探讨其表示方法、构建技术和推理算法，并在此基础上分析知识超图理论与知识图谱的内在关联。

本文的综述将为相关领域的研究者提供全面、深入的理论支持和实践指导。

二、知识图谱的表示知识图谱的表示是知识图谱构建和应用的关键环节。

它涉及到如何将现实世界中的实体、属性、关系等复杂的信息结构转化为计算机可以理解和处理的数据结构。

知识图谱的表示方式主要分为两大类：符号表示和分布式表示。

符号表示：符号表示是传统的知识表示方法，主要包括一阶谓词逻辑、描述逻辑、语义网络等。

这种表示方式能够清晰地描述实体间的复杂关系，易于人类理解和解释。

然而，符号表示在处理大规模知识图谱时存在效率低下的问题，难以处理模糊和不确定的知识。

分布式表示：为了克服符号表示的不足，近年来分布式表示方法逐渐受到关注。

分布式表示方法将实体和关系表示为低维稠密的向量，通过向量运算来模拟实体间的关系推理。

这种方法能够有效地处理大规模知识图谱，并且在处理模糊和不确定知识方面具有一定的优势。

其中，TransE、TransH、TransR等翻译模型是分布式表示中的代表性方法，它们在链接预测、实体分类等任务中取得了显著的效果。

随着深度学习技术的发展，基于神经网络的知识表示方法也逐渐兴起。

这类方法通过训练神经网络来学习实体和关系的表示，能够捕获更丰富的语义信息。

例如，卷积神经网络（CNN）和循环神经网络（RNN）等模型被应用于知识图谱的表示学习中，取得了良好的效果。

知识图谱的表示方法经历了从符号表示到分布式表示再到基于神经网络的知识表示的发展历程。

第43卷第2期㊀2021年3月㊀湖北大学学报(自然科学版)Journal of Hubei University(Natural Science)㊀Vol.43㊀No.2㊀㊀Mar.2021收稿日期:20200928基金项目:国家自然基金项目(61977021)㊁国家重点研发计划(2017YFB1400602)㊁湖北省技术创新重大专项(2018ACA13)和湖北省教育厅青年人才项目(Q20171008)资助作者简介:单娅辉(1995),女,硕士生;张龑,通信作者,教授,主要研究方向为信息安全㊁数据库,E -mail:zhangyan@文章编号:10002375(2021)02021406面向中文基础教育知识图谱的关系抽取模型单娅辉,田迎,张龑(1.湖北大学计算机与信息工程学院,湖北武汉430062;2.湖北省教育信息化工程技术研究中心,湖北武汉430062;3.绩效评价信息管理研究中心(湖北大学),湖北武汉430062)摘要:在构建中文基础教育知识图谱过程中,使用远程监督的方法能够有效解决训练语料匮乏的问题,同时使用神经网络模型能够提升构建过程中关系抽取的准确率.为了缓解远程监督中引入的错误标签带来的影响,模型通过双向门限循环单元(bidirectional gated recurrent unit)获取双向上下文中的语义信息,同时引入句子层注意力机制,动态降低噪声数据的权重.在基于中文信息技术教材教辅和百度百科的基础上构建的知识库上的关系抽取实验表明,引入句子层注意力机制能够促进模型的关系抽取效果,模型的准确率相比于中文主流关系抽取方法提高了4%~5%,能更好地应用于知识图谱的构建.关键词:中文关系抽取;注意力机制;远程监督;基础教育;知识图谱中图分类号:TB324.1㊀㊀文献标志码:A㊀㊀DOI :10.3969/j.issn.1000-2375.2020.00.007著录信息:单娅辉,田迎,张龑.面向中文基础教育知识图谱的关系抽取模型[J].湖北大学学报(自然科学版),2021,43(2):214-219.Shan Y H,Tian Y,Zhang Y.A relation extraction model oriented to the knowledge graph of Chinese basic education [J].Journal ofHubei University(Natural Science),2021,43(2):214-219.A relation extraction model oriented to the knowledgegraph of Chinese basic educationSHAN Yahui,TIAN Ying,ZHANG Yan(1.School of Computer Science and Information Engineering,Hubei University,Wuhan 430062,China;2.Research Center of Educational Informatization Engineering and Technology,Hubei University,Wuhan 430062,China;3.Research Center of Information Management for Performance Evaluation,Hubei University,Wuhan 430062,China)Abstract :In the process of constructing a knowledge graph of Chinese basic education,the use of remotesupervision can effectively solve the problem of lack of training corpora,and the use of neural network modelscan improve the efficiency of relation extraction during the construction process.In order to mitigate the impactof incorrect labels introduced in remote supervision,the model obtains semantic information in a bidirectionalcontext through a bidirectional gated recurrent unit,while introducing a sentence-level attention mechanism todynamically reduce the weight of noisy data.The relationship extraction experiments on the knowledge basebuilt on the basis of Chinese information technology teaching materials and baidu encyclopedia show that theintroduction of sentence-level attention mechanism can promote the relationship extraction effect of the model.The mainstream relation extraction method is improved by 4%-5%,which can be better applied to the construction of knowledge graph.Key words :Chinese relation extraction;attention mechanism;remote supervision;basic education;knowledge graph第2期单娅辉,等:面向中文基础教育知识图谱的关系抽取模型215㊀0㊀引言随着我国信息技术的发展,通过新兴技术来直接或间接影响传统教育教学方式,已成为教育信息化的新热点.2012年,Google提出 Google Knowledge Graph 后,知识图谱在各个领域受到了广泛的关注,其中教育领域知识图谱更是在近年来成为研究热点.在构建中文教育领域知识图谱的过程中,面对急剧增长的数据,中文实体关系抽取成为其中的难点之一.传统的关系抽取方法主要包括两类,一类是基于规则匹配的方法,另一类是基于深度学习的方法.其中基于规则匹配的方法是定义了一种表达实体关系的规则模版,然后在数据中找到与该模版相匹配的实体及关系.该方式对数据要求较高且灵活性很差[1],已逐渐被深度学习的方法所取代.基于深度学习的方法目前流行的包括有监督的方法和远程监督的方法[2].其中,有监督的关系抽取方法主要是利用深度学习中的神经网络模型能够自动学习文本的特征,改善了经典方法中需要人工特征选择的缺点[3].远程监督的关系抽取方法是将大量无标注的数据自动对准已标注的知识库来自动标注数据来提高关系抽取的效率.该方法的前提是,如果两个实体间存在已定义的某种关系,那么所有包含这两个实体的文本都存在该关系[4].Mintz等[5]提出使用Freebase知识库与维基百科中的文本来对齐,获取实体及其关系的三元组.在该前提下,基于远程监督的关系抽取能够自动获取大量的训练实例,但是同时也不可避免地存在许多噪声数据.王斌等[6]用远程监督的方法进行关系抽取时,通过采用LDA(latent dirichlet allocation)模型㊁对比类型相似度和对关键词进行模式匹配去噪.Surdeanu等[7]提出加入多标签来减少噪声数据对关系抽取性能的影响.Lin等[8]提出在加入注意力机制在训练过程中通过动态调整各实例的权重来降低噪声数据的权重,从而减少错误实例对关系抽取模型性能的影响.以上方式大多是基于英文语料或者中文通用语料上[9]提出的模型,而在中文教育领域,杨玉基等[10]提出在构建领域知识图谱过程中使用有监督㊁无监督㊁远程监督多种方法来进行关系抽取,最后使用大量人工标注来获取高质量数据,耗费时间精力.黄焕等[11]在构建java知识图谱的过程中采用人工定义关系类型,且在识别实体关系的过程中采用手工标注关系的方式,虽然保证了数据的准确性,但适用性不强.本研究提出的实体关系抽取模型适用于中文基础教育中的科目,将高质量的教材教辅通过文本处理成已标注的知识库,通过远程监督能够获取大量数据并自动标注,加入的句子层注意力更能有效减少噪声数据对于关系抽取性能的影响.1㊀远程监督构建关系语料库由于中文领域公开的可供使用的数据很少,而基础教育领域的就更少见,所以首先利用教育部发布的基础教育的教材教辅,将其转换成可供使用的电子文本;然后结合网络爬虫从百度百科上获取的网页数据,通过预处理得到关系实体对以及包含实体对的文本集;最后选取其中一部分数据作为训练数据对关系抽取模型进行训练,另一部分作为测试数据来检测模型关系抽取的效果.构建流程如图1所示.图1㊀构建流程1.1㊀构建信息技术知识库㊀基于教育部发布的基础教育中信息技术学科的教材教辅,利用OCR技术216㊀湖北大学学报(自然科学版)第43卷将图像中的文字转换成文本格式存储,使用词频-逆向文件频率[12](term frequency-inverse document frequency,TF-IDF)算法和TextRank [13]算法对文本集进行关键词抽取,TF-IDF 算法是一个统计词语在该文件中的重要程度的方法,其核心思想是词语的重要性与它在该文件中出现的次数成正比,同时与它在语料库中出现的次数成反比.TF-IDF 算法考虑了词语出现的频率等因素,但是没有考虑与其他词语的关联性,而TextRank 算法就考虑到了词语之间的关联程度.TextRank 算法起源于Google 团队的PageRank 算法,其核心思想是,如果网页节点代表一个字词,那么这个词语的重要性与连接其他词语的多少和与它连接的词语权值的高低成正比.分别使用以上两种算法对文本进行关键词提取,得到了 数据库 信息安全 信息资源管理 计算机病毒 等核心概念,但同时也得到了一些出现频率高,却不是核心概念的词,如 学生 方法 过㊀㊀㊀㊀程 等.结合信息技术领域专家的指导,得到最终的学科实体并且定义了基础教育领域信息技术中实体的2种属性关系: 同级 父级 .如表1所示,构建了包括2种属性关系及其对应的3563个实例的知识库.表1㊀关系及其对应实例关系名称实例父级<数据库,数据库管理>同级<音频,视频>1.2㊀构建关系实例集㊀在远程监督构建关系实例集中,如果我们文本集中的句子包含的实体对在知识库中有对应的关系,那么我们认为该句子可以描述此关系.以关系实体对<信息技术,传感技术,父级>为例,可以在文本集中找到包含 信息技术 和 传感技术 的句子:1)[传感技术]同计算机技术与通信一起被称为[信息技术]的三大支柱;2)[信息技术]包括[传感技术],通信技术和电子计算机技术等,将这两个句子分别提取出来,作为 父级 关系的两个实例, 信息技术传感技术父级传感技术同计算机技术与通信一起被称为信息技术的三大支柱 , 信息技术传感技术父级信息技术包括传感技术,通信技术和电子计算机技术等 ,为了方便模型训练,我们将关系实例的各个部分用空格符分割,这些关系实例构成我们使用的关系实例数据集.图2㊀模型训练流程2㊀关系抽取模型设计本研究提出一种面向中文基础教育知识图谱的关系抽取模型,基于权威教材教辅和远程监督构建的关系数据集,转化成词向量模型供模型训练,通过双向门限循环单元获得句子上下文语义,引入句子层注意力机制来动态降低句子噪声权重,提升了关系抽取模型的准确率.模型训练算法如图2所示.2.1㊀词向量映射训练㊀为了将数据转换成模型可识别的形式,我们需要将文本数据向量化.Mikolov 等[14]提出了分布式的词向量表征word2vec,即一个词用一个低维向量来表示,词与词之间的相似性可以通过向量之间的相关性表示,其中包括2个模型,连续词袋(Continuous Bag-of-Words,CBOW )模型和Skip-Gram 模型,由于Skip-Gram 模型在语义关系识别方面效果较好,所以本研究采用word2vec 中的Skip-Gram 模型来对词向量模型进行训练,使用知识库中所有的三元组来进行训练,其中模型参数设置的窗口数为5,向量维度为200.2.2㊀BI-GRU ㊀传统的循环神经网络通过权重矩阵使神经网络具备了记忆功能,但是由于梯度爆炸和梯度消失的存在,它不能记忆太前和太后的内容.GRU 网络是由Chung 等[15]对LSTM 网络(一种循环神经网络)进行改进得到的一种结构,由于门控机制,很大程度上弥补了梯度爆炸或梯度消失所带来的第2期单娅辉,等:面向中文基础教育知识图谱的关系抽取模型217㊀图3㊀GRU 内部结构损失,同时它简化了LSTM 网络,只有更新门(update gates)和重置门(reset gates)两种门结构,因此参数更少,也更容易收敛㊂其内部结构如图3所示.其更新表达式为:h t =z t h t -1+(1-z t ) hᶄ(1)h t-1包含了前一时刻节点的相关信息,z t 表示更新门,hᶄ表示当前时刻节点的相关信息,主要是包含了当前的输入x t .从公式中可以得到,z t 能控制遗忘和记忆的信息量,它的取值范围为0~1,越接近1,代表 记忆 下来的前一时刻节点信息越多;越接近0则代表 遗忘 的越多.z t 计算表达式为:z t =σ(W z ㊃[h t -1,x t ])(2)σ为sigmoid 函数,这个函数使数据的取值范围为0~1来表示成门控信号,重置门r t 计算表达式为:r t =σ(W r ㊃[h t -1,x t ])(3)㊀㊀hᶄ计算表达式为:hᶄ=tanh(W ㊃[r t ∗h t -1,x t ])(4)上述公式中W z ,W r ,W 为权值矩阵,用于模型训练,x t 表示当前的输入信息.我们通过上一个节点传输下来隐状态的h t-1和当前输入的信息x t 来得到更新门z t 和重置门r t ,然后使用重置门r t 将重置之后的数据通过σ激活函数缩放到-1~1的范围,最后由更新门z t 对原本隐藏状态的选择性 遗忘 和对当前信息选择性 记忆.图4㊀Bi-GRU 内部结构为了能够捕获词语的前后特征,本研究采用双向GRU (Bi-GRU )网络作为模型的一部分来提高模型的性能,从而更好地进行关系抽取.Bi-GRU 的结构如图4所示.在每一时刻,模型的输入数据会同时经过两个方向相反的单向GRU,而后通过它们进行输出.2.3㊀句子层注意力㊀使用远程监督的方法构建实例数据集中,自动获取的实例有时候并不包含该关系,为了减少噪声数据的影响,本文引入了句子层注意力机制.对于含有相同实体对的m 个句子向量集合s ={s 1,s 2,s 3, ,s m },s i 为句子向量,句子向量为s 中所有句子的加权,其表达式T 为:T =ðmi =1k i si(5)其中,权重K i 表示句子S i 与对应关系R 的相关程度,其表达式为:k i =softmax (s i Ar )(6)其中,A 为初始化的加权对角矩阵,r 为对应关系R 的向量表示.3㊀实验与分析3.1㊀实验数据㊀由于目前还没有通用和权威的针对基础教育信息技术这一领域的公开数据集,因此本研究基于教育部发布的教材教辅采用远程监督的方法构建了关系实例数据集.针对基础教育知识图谱的特性,本文中所构建的语料包含2类属性关系: 同级 父级 ,包含了106332个关系实例.本研究实验随机选取数据集80%的关系实例数据作为训练数据,其余的20%的关系实例作为测试数据,图5为关系实例数据集片段.3.2㊀评估标准㊀本研究使用准确率(P Precision )㊁召回率(R Recall )㊁F 值(F1-score)作为模型的评估标准,来218㊀湖北大学学报(自然科学版)第43卷图5㊀关系实例片段评估关系抽取模型的效果.其计算公式如式(7)~(9)所示:P Precision =TP TP +FP(7)R Recall =TP TP +FN(8)F =2∗P Precision ∗R Recall P Precision +R Recall(9)其中,TP (true positive)表示测试集中该关系的正例被匹配到的数值,FP (false positive)表示测试集中该关系的正例未被匹配到的数值,FN (false negatives)表示测试集中该关系的负例被错误匹配的数值.3.3㊀实验结果及分析㊀为了验证本文中方法的有效性和适用性,设置3组实验进行对比.㊀㊀实验一:在远程监督构建数据的实验上,加入的句子层注意力机制能够减少噪声数据,为了验证去噪数据和未去噪数据关系抽取效果,对于两种关系类型,采用BIGRU 与BIGRU +Attention 模型进行对比实验.实验结果如表2所示.表2㊀BIGRU 与BIGRU +Attention 模型实验结果关系类型BIGRU BIGRU +AttentionPRF P RF同级74.21%73.55%73.88%83.18%82.41%82.79%父级74.33%73.62%73.97%83.11%82.45%82.78%㊀㊀从表2可以看出,加入了句子层注意力机制后,模型的实验结果指标均有提高.主要原因是句子层注意力机制能够减少训练语料的噪声数据,更有效地捕捉句子的特征,使得模型训练得更好,故关系抽取效果更好.㊀㊀实验二:通过神经网络进行远程监督的关系抽取模型中,PCNN +Attention 模型通过加入句子层注意力来减少噪声标注,对于两种关系类型,采用BIGRU +Attention 与PCNN +Attention 模型进行对比实验.实验结果如表3所示.表3㊀PCNN +Attention 与BIGRU +Attention 模型实验结果关系类型PCNN +AttentionBIGRU +AttentionP RF P RF同级78.41%77.52%77.96%83.18%82.41%82.79%父级78.62%77.75%78.18%83.11%82.45%82.78%㊀㊀从表3可以看出,在同样加入句子层注意力机制的远程监督方法中,相比于PCNN 神经网络,BIGRU 神经网络模型有着更高的准确率和召回率,模型提高了5%左右,这表明BIGRU 模型能够提升关系抽取的效果.实验三:由于中文教育知识图谱的实体关系不同于通用领域的实体关系,目前已知的一些中文教育领域知识图谱实体关系使用支持向量机(SVM),条件随机场(CRF)进行关系抽取,为了验证本文中关系抽取模型对于构建中文教育知识图谱的适用性,在相同条件下,采用SVM 和CRF 模型进行对比实验.实验结果如表4所示.表4㊀SVM 、CRF 与本文中模型实验结果关系类型SVM CRF 本研究模型P R F P R F P R F 同级79.31%79.66%79.48%80.12%80.32%80.22%83.51%82.76%83.13%父级80.02%79.33%79.67%80.38%80.45%80.41%84.44%83.57%84.00%㊀㊀从表4可以看出,本研究所提出的关系抽取模型在中文基础教育数据中的关系抽取的F 值更高,模型性能更好,适用性更强.主要原因是本研究加入的句子层Attention 机制能够减少数据中的噪声问题,同时双向GRU 能够解决SVM 模型在关系抽取的过程中丢失了词语位置信息的缺点.第2期单娅辉,等:面向中文基础教育知识图谱的关系抽取模型219㊀4㊀结束语本研究针对中文基础教育知识图谱中的实体关系,提出一种基于注意力机制的远程监督关系抽取模型,为验证模型的性能,本研究以信息技术知识图谱为例,构建基于中文信息技术教材教辅的知识库并进行了对照试验,实验结果表明,相比于已知的知识图谱中实体关系抽取方法,基于注意力机制的关系抽取模型能有效提高关系抽取的准确率.后续工作将尝试使用该模型参与中文基础教育知识图谱的构建,提高知识图谱构建效率及准确率,由于中文基础教育领域的公开数据较少,数据前期处理工作量较大,本研究使用的数据不够全面,模型还未达到理想的抽取效果,后期将考虑采用更多更全面的数据,结合更丰富的人工特征,如词性等来改进模型.5㊀参考文献[1]陈金栋,肖仰华.一种基于语义的上下位关系抽取方法[J].计算机应用与软件,2019,36(2):216-221.[2]吴佳昌,吴观茂.基于依存关系和双通道卷积神经网络关系抽取方法[J].计算机应用与软件,2019,36(4):241-246.[3]鄂海红,张文静,肖思琪,等.深度学习实体关系抽取研究综述[J].软件学报,2019,30(6):1793-1818.[4]Riedel S,Yao L,Mccallum A.Modeling relations and their mentions without labeled text[C]//Proceedings of European Conference on Machine Learning and Knowledge Discovery in Databases.Berlin:Springer-Verlag,2010:148-163. [5]Mintz M,Steven B,Rion S,et al.Distant supervision for relation extraction without labeled data[C]//Proceedings of Joint Conference of the Meeting of the ACL.Stroudsburg:Association for Computational Linguistics,2009:1003-1011. [6]王斌,郭剑毅,线岩团,等.融合多特征的基于远程监督的中文领域实体关系抽取[J].模式识别与人工智能,2019,32 (2):133-143.[7]Surdeanu M,Tibshirani J,Nallapati R,et al.Multi-instance multi-label learning for relation extraction[C]//Proc of the Joint Conf on Empirical Methods in Natural Language Processing and Computational Natural Language Learning,2012:455-465.[8]Lin Y,Shen S,Liu Z,et al.Neural relation extraction with selective attention over instances[C]//Proceedings of the54th Annual Meeting of the Association for Computational Linguistics,Berlin,Germany,2016:2124-2133.[9]张兰霞,胡文心.基于双向GRU神经网络和双层注意力机制的中文文本中人物关系抽取研究[J].计算机应用与软件,2018,35(11):130-135.[10]杨玉基,许斌,胡家威,等.一种准确而高效的领域知识图谱构建方法[J].软件学报,2018,29(10):2931-2947.[11]黄焕,元帅,何婷婷,等.面向适应性学习系统的课程知识图谱构建研究:以 Java程序设计基础 课程为例[J].现代教育技术,2019,29(12):89-95.[12]田迎,单娅辉,王时绘.基于知识图谱的抑郁症自动问答系统研究[J].湖北大学学报(自然科学版),2020,42(5):587-591.[13]Mihalcea R,Tarau P.TextRank:bringing order into texts[C]//Proc of the Association for Computational Linguistics,2004.[14]Mikolov T,Chen K,Corrado G,et al.Efficient estimation of word representations in vector space[J/OL].arXiv PreprintarXiv:1301.3781,2013.[15]Chung J,Gulcehre C,Cho K,et al.Empirical evaluation of gated recurrent neural networks on sequence modeling[J/OL].arXiv:1412.3555,2014.(责任编辑㊀江津)。

知识图谱构建方法及应用案例分析知识图谱是一种用于表示和组织知识的图形化模型，它能够以计算机可读的方式捕捉和存储知识之间的关系。

知识图谱的广泛应用领域包括社交网络分析、智能推荐系统、自然语言处理和智能问答等。

本文将介绍知识图谱的构建方法，并通过分析几个实际应用案例，展示其在不同领域的应用。

一、知识图谱构建方法1.1 知识抽取知识抽取是构建知识图谱的第一步。

它涉及从结构化和非结构化数据源中提取实体、关系和属性等知识元素。

常用的知识抽取技术包括命名实体识别、关系抽取、实体链接和属性抽取等。

命名实体识别通过识别文本中的名词短语来提取实体。

关系抽取旨在提取实体之间的关联性。

实体链接将命名实体与外部知识库中的实体关联起来。

属性抽取则是提取待建立知识图谱的实体的属性值。

1.2 知识表示知识表示是将抽取得到的知识元素转换为计算机可读的形式。

常用的知识表示方法包括本体模型和图模型。

本体模型利用概念、关系和属性等元素描述领域知识，其中OWL（Web Ontology Language）是一种常用的本体语言。

图模型则通过节点和边来表示实体和关系，例如利用图数据库来存储知识图谱。

1.3 知识融合知识抽取和知识表示往往面临多源、异构的数据。

知识融合旨在将来自不同数据源的知识元素进行整合和融合。

常用的知识融合方法包括同名实体消歧、关系合并和属性值归一化等。

同名实体消歧是为了解决不同数据源中同名实体的问题，通常通过上下文信息和实体属性来判断实体是否指代同一对象。

关系合并则是将来自不同数据源的关系进行合并。

属性值归一化是将不同数据源中的相似属性值进行统一，例如统一单位和单位转换。

1.4 知识推理知识推理是根据知识图谱中的已有知识，推断出潜在的知识或发现隐藏的关联。

常用的知识推理方法包括基于规则的推理、概率推理和统计推理等。

基于规则的推理通过设定规则，推断出新的知识。

概率推理通过概率模型计算不同事件之间的概率关系。

统计推理则是利用统计模型对数据进行分析和推理。

知识图谱的进展、关键技术和挑战一、本文概述随着信息技术的快速发展和大数据时代的到来，知识图谱作为一种重要的知识表示和推理工具，已经成为领域的研究热点。

知识图谱是一种由节点（实体）和边（关系）组成的大规模语义网络，旨在表示现实世界中存在的各种实体及其之间的复杂关系。

近年来，知识图谱在诸多领域如自然语言处理、智能问答、推荐系统、语义搜索等中发挥了重要作用，并展现出巨大的应用潜力。

本文旨在全面综述知识图谱的进展、关键技术和挑战。

我们将回顾知识图谱的发展历程，从早期的概念提出到现如今的广泛应用；我们将详细介绍知识图谱构建的关键技术，包括实体识别、关系抽取、知识融合等；再次，我们将分析当前知识图谱面临的主要挑战，如数据稀疏性、语义歧义性、动态更新等；我们将展望知识图谱未来的发展趋势和研究方向。

通过本文的阐述，我们希望能够为读者提供一个全面、深入的知识图谱知识体系，并激发更多研究者投身于知识图谱的研究与应用中，共同推动知识图谱技术的发展和进步。

二、知识图谱的进展近年来，知识图谱的构建和应用在全球范围内取得了显著的进展。

随着大数据和技术的飞速发展，知识图谱的构建已经从最初的基于手工构建，逐步演变为自动化或半自动化的构建方法。

知识图谱的规模也从最初的小型知识库逐渐扩展为包含数十亿甚至更多实体的超大规模知识图谱。

在知识图谱的构建技术方面，实体识别、关系抽取、实体链接等关键技术得到了显著的改进。

基于深度学习的自然语言处理技术为这些关键技术的提升提供了强大的支持，使得知识图谱的构建更加准确和高效。

在应用方面，知识图谱已经被广泛应用于智能问答、语义搜索、推荐系统、自然语言理解等多个领域。

知识图谱的引入极大地提升了这些应用的智能化程度，使得机器能够更好地理解和处理人类语言，为用户提供更加精准和个性化的服务。

随着知识图谱技术的不断发展，越来越多的领域开始探索将知识图谱应用于自身的业务场景中。

例如，金融领域利用知识图谱进行风险评估和信用评分，医疗领域利用知识图谱进行疾病诊断和治疗方案推荐等。

2021年2月第2期Vol. 42 No. 2 2021小型微型计算机系统Journal of Chinese Computer Systems融合预训练模型的中文知识图谱问题生成方法叶子I,陈小平I,张波2,欧阳昱2,刘辉舟2'(中国科学技术大学计算机科学与技术学院，合肥230027)2 (国网安徽省电力有限公司，合肥230022)E-mail : yz0626@ mail. ustc. edu. cn摘 要：基于知识图谱的问答方法旨在通过知识图谱的三元组检索和推断来对自然语言形式的问题进行解答.然而，现有中文知识图谱问答语料库存在规模较小，质量较差等问题，相关语料库构建方法亟待完善.因此,本文提出一种融合预训练模型的中文知识图谱问题生成方法，目标是以中文知识图谱三元组作为输入生成正确且多样的问题.该方法汲取了条件变分自编码器的 思想，以预编码器■源编码器-解码器为核心架构，利用BERT 模型进行预编码，并以Transformei ■模型为基础构建源编码器和解码器•此外，该方法还结合了答案编码技术并进行了改进.本文使用NLPCC2017 KBQA 数据集进行实验，实验表明该模型在BLEU.ROUGE 以及人工评价指标上较基线模型有明显提升，并且能够生成更具多样性的问题，证明了该方法的有效性.关键词：知识图谱;问题生成;预训练模型;条件变分自编码器中图分类号：TP183 文献标识码:A 文章编 号:1000-1220(2021)02-0246-05Method for Chinese Knowledge Graph Question Generation Based on Pre-trained ModelYE Zi 1 ,CHEN Xiao-ping 1, ZHANG Bo 2, OU Y ANG Yu 2 ,LIU Hui-zhou 21 ( School of Computer Science and Technology ,University of Science and Technology of China,Hefei 230027,China )2 ( State Grid Anhui Electric Power Co. ,LTD. , Hefei 230022, China )Abstract : The knowledge-graph-based question answering methods aim to answer questions in the form of natural language by search ­ing and inferring triples of the knowledge graph. However , the existing Chinese graph question answering corpora is so small and ofpoor quality that related construction methods need to be improved. Therefore , this paper proposes a question generation model based on a pre ・trained model , which uses Chinese knowledge graph triples as input to generate correct and diverse questions. This modeldraws on the idea of the conditional variational autoencoder with the core architecture called p-s-encoder-decoder which uses the BERTmodel for pre-encoding , the Transformer model as source encoder and decoder. Besides , we improve the model based on answer enco ­ding. We conduct our experiment on the NLPCC2017 KBQA dataset , which shows that the model has a significant improvement over the baseline model on BLEU , ROUGE , human evaluation results , and diversity , proving the effectiveness of the method.Key words : knowledge graph ； question generation ； pre-trained model ; conditional variational autoencoder1引言近年来，智能问答技术在诸多领域得到了广泛应用，例如教育、医疗和电力等⑴.传统问答系统由于缺乏知识和推理能力始终存在提升瓶颈，因此，基于知识库的问答方法成为了研究问答技术的主流方向.知识图谱具有高效表达海量知识、深度知识推理、与领域 知识高度关联等优势⑵，是知识问答的优质知识来源.然而， 基于知识图谱的问答技术目前尚处于起步阶段，现有中文知识图谱问答语料库大多存在规模较小，质量较差的问题，这严 重制约了中文知识图谱问答技术的发展.问题生成是利用文本数据生成自然语言形式问题的一种 技术⑶•文本数据可以是结构化的知识库、句法树等,也可以是篇章级文本或完整的问答语料.简单来说，问题生成是人工智能“主动提问”的技术，它的目标是生成正确且多样的问 题.有了问题生成技术,以中文知识图谱三元组作为输入生成 对应问题，可以生成中文知识图谱问答训练语料.不仅如此，问题生成技术对自动合成FAQ 文档，自动辅导系统等应用场 景也具有重要意义.现有的问题生成方法大多是基于规则的方法，这些方法 对模板的质量和数量要求较高，较为耗费人力资源，泛化能力较弱，对大规模数据的处理能力有限.要弥补这些不足，需要 问题生成模型充分获取隐含在语料库中的语法模式和特征， 行之有效的方法是将预训练模型与问题生成模型进行融合. 预训练模型可以利用大规模语料训练词语和句子的向量化表示，充分获取语料中隐含的语义信息，最后根据特定任务设计 微调方法得到结果.本文提出一种融合预训练模型的中文知识图谱问题生成收稿日期:2020-02-13收修改稿日期= 2020-04-21基金项目：国家重点研发计划项目(2017YFB 1002204)资助；国家自然科学基金项目 (U1613216)资助.作者简介：叶子，男，1995年生，硕士研究生，研究方向为自然语言处理、知识图谱;陈小平，男，1955年生，博士，教授，博士 生导师，国际RoboCup Federation 理事，研究方向为智能体形式化建模、多机器人系统关键技术;张 波，男，1966年生，硕士，高级工程师，研究 方向为“互联网+”电力营销服务管理；欧阳昱，男,1971年生，硕士，高级工程师，研究方向为电力营销信息化;刘辉舟，男,1985年生，硕士，高级 工程师，研究方向为电力营销大数据.2期叶子等:融合预训练模型的中文知识图谱问题生成方法247方法，其创新性有3点：1)利用条件变分自编码器解决预训练模型难以完成问题生成任务的问题;2)提出一种融合预训练模型和编码器-解码器架构的预编码器-源编码器-解码器架构;3)改进了问题生成的答案编码方法.2相关工作现有的问题生成方法大多是基于规则的生成方法""，这些方法可以较为稳定的生成符合语法规则的问题,但是极度依赖于人工设定的规则或模板，扩展性和泛化性能较差，很难生成大规模语料.随着机器学习技术的不断进步与发展，端到端的神经网络模型被更多地应用在了文本生成领域.在问题生成任务上，Song等人⑷通过获取网络信息提出了用于生成领域问题的方法；Venugopal等人⑺提出了问题生成的难度建模方法；Kumar等人⑻对难度可控的复杂问题生成方法进行了尝试；除此之外,研究者们对篇章级的问题生成方法也有很多新的尝试m.这些方法具有较好的泛化能力，能够完成大规模语料库的文本生成问题，但缺点是生成的文本容易出现语法错误,可读性较差.Liu等人M发现，如果不对基于编码器-解码器模型(Seq2seq)的问题生成方法加以限制，容易生成语义不相关的问题.因此，他们将该方法与基于模板的问题生成方法进行了结合，提出了一种基于模板的编码器-解码器模型(Template­based Seq2seq)，兼顾了模型的泛化性能和问题生成的稳定性.实验结果显示这种方法较基线模型而言具有一定提升.然而这种方法始终没有办法完全脱离模板，相当于牺牲了一部分效率换取生成问题的稳定性.事实上,原始的编码器-解码器模型效果不佳是因为它对语言的特征提取能力还较为有限,只有提升问题生成模型的语义理解能力才能真正脱离模板进行大规模的问题生成.原始的编码器-解码器模型存在并行能力较差，长期信息会丢失的问题，而基于自注意力机制的Transformer模型g 可以解决这些问题.一方面，该模型将序列中的任意两个位置之间的距离缩小为一个常量，解决了长期依赖的问题;另一方面，该模型的计算方式具有更好的并行性，计算速度更快. Transformer模型的整体架构也是编码器-解码器模型，所以它可以很好地完成文本生成任务.以Transformer模型为基础,谷歌提出了基于双向Trans­former编码器的预训练模型BERT(Bidirectional Encoder Representation from Transformers)1141，这个模型的主要任务是预训练语言模型，其预训练任务有两种,分别为掩藏词语言模型训练(Masked LM,MLM)和预测下句(Next Sentence Pre­diction,NSP).预训练完成后，根据不同自然语言处理任务进行微调.BERT模型极大地提升了语言模型对语义信息的获取能力，但是由于缺少解码器部分，该模型处理文本生成问题的能力不是很强.要利用BERT这种预训练模型来完成文本生成任务,需要在BERT的下游接入解码器，然而直接接入Transformer解码器的效果并不理想.Gupta等人提出了一种基于变分自编码器(Variational Autoencoder,VAE)[,61的文本生成框架,本文利用这种思想将BERT编码器和Transformer解码器进行结合.VAE是一种基于隐变量的生成式模型，它可以学习高维输入的非线性表征.对于一个输入x,VAE首先学习它的隐式表征Z,使得输入x可以通过z重构得到.VAE可以得到z的后验分布％(zlx)，这种后验分布一般是高斯分布N(“(x), a(x))，其中参数<p=|M(x),a2(x)|是输入x的非线性变换，同时也是以x为输入的前向神经网络的输出部分.解码器部分需要学习另一个分布几&I z),指的是采样z得到解码后的匚学习该模型的损失函数为：=E&3)[logPe(jrlz)]||p(z))(1)其中第二项为两个分布之间的KL散度.公式(1)提供了模型的置信概率P(xl0,<p)的下界，训练过程中需要最大化这个下界.将公式(1)中的隐变量分布局限在条件‘下可得条件变分自编码器(Conditional Variational Autoencoder,CVAE)[,7]，其损失函数如下：L(x,y；e,<p)=E,?WXi,)[logp9(xlz,j)]-KUq r(z\x,y')||p(z))(2)3融合预训练模型的中文知识图谱问题生成模型本文提出的模型结构如图1所示，主要分为预编码器、源编码器和解码器3个部分.图1融合BERT的问题生成模型结构图Fig.1Question generation model with BERT3.1预编码器预编码器是使用预训练模型的编码器结构，其核心是BERT模型.BERT模型的输入是句子对的序列化表示，该序列中有两个重要的标记符[CLS]和[SEP].[CLS]是起始标记符，它被用来综合表示序列的最终隐状态，可用来进行分类等. [SEP]标记符是分隔标记符，用来分隔序列中的两个句子.序列的向量化表示由词向量，分隔向量和位置向量相加得到，其中词向量是经由训练得到的每个词或标记符的向量化表示，分隔向量用来区分某个词或标记符属于句子A还是句子B,位置向量表示每个词或标记符的位置顺序.248小型微型计算机系统2021年得到序列的向量化表示后,将进行BERT模型最重要的两个训练步骤:预训练和微调.3.1.1预训练BERT模型的预训练过程主要是在两种不同的任务上进行无监督学习，即MLM和NSP.MLM的具体实现方式是在序列中随机用［MASK］标记符来替换15%的词，然后根据未被替换的词来预测被替换的词.为了解决在训练过程出现［MASK］标记符而下游任务中未出现该标记符的问题,对于一个被替换的词，有80%时间使用［MASK］标记符进行正常替换，有10%的时间用随机词进行替换,剩下的10%时间保持该词不变，最终将三者综合后进行预测.很多下游任务比如问答任务都需要语言模型理解不同句子之间的关系，所以BERT采用了NSP方法进行训练.在训练过程中，对于句子A,它的下一句为B.有50%的时间B为A真实的下一句，标记为“是下一句"(IsNext),其余的50%时间B是语料库中其他的随机一个句子，标记为“不是下一句"(NotNext).预训练过程需要大量语料和较强的算力，直接采用已有的开源预训练模型可以大大节约计算成本提高效率.因此，本文在实验部分直接采用了预训练好的中文BERT参数模型进行使用.3.1.2微调在微调过程中，我们将包括了头实体、关系和尾实体的中文知识图谱三元组x®=\E…,E r,E,\=与对应问题=\tok x,tok2,-,tok…\进行拼接，预编码器的输入如图2所示.和BERT模型一样，头部接入［CLS］标记符.乂⑺与x(p)用［SEP］进行分隔，尾部接入结束符</S>,得到序列S,输入装载BERT的预编码器部分.头实体关系尾实体(答案)目标问题|［CLS］|活着|作者|余华|［SEP］|谁|创作「了|活着|</S>|图2预编码器的输入表示Fig.2Input representation of p-encoder序列s进行训练可得到T［CZJ］e R H,它是训练后的综合向量表示.然后，将兀c凶作为输入放入一个前向神经网络，将该网络的输出维映射为2H,以输出维为基准等分为两个张量,其中一个表示均值“•由于方差大于等于0,需要对另一个张量施加Softplus激活函数，表示标准差o■，从而得到分布z~ N(“,<r).3.2源编码器源编码器是对知识图谱三元组进行编码的模块,采用的是Transformer的编码器模型.源编码器的输入x<o)=\E h, E r,E,\=\t0k},tok2,-,tok n\在答案编码上有略微不同，将在3-5节中介绍.在源编码器中，数据首先会经过多头的自注意力层.它会将数据分别输入到人个自注意力层中进行运算，得到人个加权后的特征矩阵，然后按列进行拼接并经过一层全连接层后得到输出.计算注意力值的公式为：Z=softmax^V(3)其中Q,K,V,分别代表Query,Key,Value矩阵.为了梯度的稳定，公式(3)在计算注意力值时使用了分数归一化，即除以压入是输入向量的维度.为了防止退化问题，模型中采用了残差网络〔⑹的短路方法将原有向量与经过自注意力层的向量进行相加并归一化.得到注意力值之后，它会被送入一个前向神经网络，它共有两层，第一层的激活函数是ReLU,第二层是一个线性激活函数,可以表示为：FFN(Z)=max(0,ZW,+ft,)W2+b2(4) 3.3解码器解码器部分采用的是Transformer的解码器模型.因为解码的过程一般为顺序操作过程，所以Transformer采用了掩式的多头注意力机制(Masked Multi-head Attention)，也就是说当解码第i个向量时,解码器只能看到第i -1及其之前的解码结果.在本文的问题模型中，我们将BERT模型得到的分布向量z与解码得到的输出。

知识图谱的构建和应用一、概述知识图谱是以人类知识为基础，以图谱化的方式对知识进行建模，通过连接不同类型的实体和关系，形成一个大规模的知识网络。

该技术已成为当下人工智能领域的热点之一，广泛应用于信息检索、智能推荐、语义理解等领域。

本文将深入介绍知识图谱的构建和应用。

二、知识图谱的构建1. 实体识别知识图谱的实体通常指实物、抽象概念、事件等知识单元。

构建知识图谱的第一步是实体识别。

实体识别通常包括命名实体识别和实体类型分类两步，通过自然语言处理技术实现。

2. 关系抽取在构建知识图谱的过程中，实体之间的关系至关重要。

关系抽取通过分析文本，提取文本中实体间关系的语义信息。

关系抽取的技术包括基于规则的方法、基于统计的方法、基于深度学习的方法等。

3. 知识融合在知识图谱的构建过程中，需要对不同来源的知识进行融合。

知识融合的方法包括实体对齐和信息合并。

实体对齐是指将不同来源的实体进行匹配，确保相同实体只在知识图谱中出现一次。

信息合并是指将不同来源的信息进行合并，确保知识图谱的完整性和准确性。

三、知识图谱的应用1. 信息检索知识图谱在信息检索中的应用非常广泛。

通过知识图谱的建立，可以快速地找到相关实体和关系，提供更加准确的搜索结果。

同时，通过基于知识图谱的查询方式，用户可以更加自然地进行检索，提高搜索效率。

2. 智能推荐知识图谱的应用在智能推荐领域也非常广泛。

通过对用户偏好等信息进行建模，可以设计出更加符合用户需求的推荐算法。

同时，通过知识图谱中对实体的关系建模，可以提高推荐的准确性和多样性。

3. 语义理解知识图谱在语义理解领域也有广泛的应用。

通过知识图谱的建立，可以提高自然语言处理技术的理解能力。

例如，通过对不同实体间的关系进行建模，可以更加准确地理解文本中的语义信息。

四、总结知识图谱作为人工智能领域的热点，已经成为许多领域的重要技术。

通过实体识别、关系抽取和知识融合等技术，可以构建一个大规模的知识网络。

同时，在信息检索、智能推荐和语义理解等领域，知识图谱的应用也非常广泛。

知识图谱构建与应用的技术难点及解决方案随着人类社会的快速发展，以及互联网技术的不断创新，知识图谱已经成为了信息管理和知识应用领域的热门话题。

知识图谱可以将海量数据进行语义化建模，提供全面、精准、智能的查询和推荐服务，帮助用户更高效地获取所需信息。

但是，知识图谱的构建和应用还存在一些技术难点，需要我们进行更加深入的研究和创新。

一、知识图谱构建技术难点及解决方案1. 数据质量问题知识图谱是由数据构成的，而数据的质量直接影响着知识图谱的正确性和可用性。

在构建知识图谱的过程中，我们需要解决的第一个难点就是如何保证数据的质量。

一方面，我们需要对数据进行清洗、去重、标注和归一化等处理，另一方面，我们需要建立一套有效的数据管理和质量控制机制，不断优化和完善数据的质量。

2. 数据来源和获取问题构建知识图谱的另一个难点就是如何获取和整合海量数据。

在这个过程中，我们需要面对数据来源的多样性和分散性，以及数据获取的难度和成本。

为了解决这个难题，我们需要采用多种数据获取方式，如爬虫、API、数据交换和开放数据等，同时也需要建立一套数据整合和清洗机制，保障数据的质量和完整性。

3. 关系建模和推理问题知识图谱是由实体和关系组成的，如何对实体和关系进行语义化建模和推理，是构建知识图谱的又一个难点。

在这个过程中，我们需要采用先进的自然语言处理、机器学习和推理技术，对实体和关系进行自动化建模和推理。

同时，我们还需要建立一套专业的领域本体库，提供数据的标准化和融合，以支持知识图谱的共建和共享。

二、知识图谱应用技术难点及解决方案1. 智能检索和推荐问题知识图谱的最大优势就在于它可以提供全面、精准、智能的检索和推荐服务。

但是，在实际应用中，我们还需要解决一些智能检索和推荐的难点，如实时性、多样性和个性化等问题。

为了解决这些难点，我们需要采用先进的搜索引擎和机器学习技术，建立一套智能化的检索和推荐系统，同时也需要对系统进行不断的优化和改进。

知识图谱构建与应用的研究方法探究知识图谱作为一种用以表示和组织知识的方式，近年来在学术界和工业界都受到了广泛关注和研究。

它通过建立实体之间的关系来表达知识，并通过丰富的属性和语义信息来描述实体。

然后，基于知识图谱的构建，人们可以开展各种各样的应用，如问题回答、机器推理、智能对话等。

然而，要构建一个具有高质量和广泛适应性的知识图谱是一个复杂而具有挑战性的任务，需要多学科的合作和综合运用多种研究方法。

一、知识图谱的构建方法1. 数据抽取与处理：构建知识图谱的第一步是从各种数据源中抽取有价值的知识，并对数据进行预处理。

数据抽取可以使用自然语言处理、信息抽取和实体链接等技术，将非结构化或半结构化数据转化为结构化数据。

预处理包括数据清洗、实体对齐、消歧、标准化等步骤，以提高数据的质量和一致性。

2. 知识表示与建模：知识图谱的构建需要定义适当的实体、关系和属性，以及它们之间的语义关联。

常用的知识表示方法包括本体、图结构和向量表示。

本体是一种形式化的知识表示方法，用于定义实体和关系，并建立它们之间的层次结构和属性约束。

图结构则将实体和关系表示为节点和边的形式，可以直观地表达实体间的复杂关系。

向量表示则通过将实体和关系嵌入到低维空间中，将它们表示为向量，以支持基于向量相似度的知识表示和推理。

3. 知识融合与推理：融合不同数据源和知识的方法是构建高质量知识图谱的关键。

知识融合可以通过实体对齐、关系对应和知识图谱对齐等技术来实现。

实体对齐将不同源中的相似实体对应起来，关系对应则将不同源中的相似关系对应起来，而知识图谱对齐则将不同领域或不同知识图谱中的知识进行对齐和融合。

此外，知识推理是从已有的知识中推导出新的知识的过程，可以通过逻辑推理、规则推理和基于图的方法来实现。

二、知识图谱的应用研究方法1. 问题回答与智能搜索：知识图谱可以用于构建智能问答系统，通过将用户问题与知识图谱中的实体和关系进行匹配，为用户提供准确、精确的答案。

基于知识图谱的问题解决与决策支持系统研究导语：知识图谱是一种以图形模型为基础的知识表示方法，可以将大量的知识和信息结构化，并通过图谱之间的链接与关联揭示知识之间的关系。

基于知识图谱的问题解决与决策支持系统是利用知识图谱的优势，将知识图谱与问题解决和决策过程相结合，为用户提供全面的知识和辅助决策的支持。

本文将从知识图谱的构建和应用、问题解决与决策支持系统的原理与模型以及未来发展方向等三个方面探讨基于知识图谱的问题解决与决策支持系统的研究。

一、知识图谱的构建和应用1. 知识图谱的构建知识图谱的构建是基于大量结构化和非结构化数据，通过信息抽取、实体识别、属性抽取和关系抽取等方法，将原始数据转化为可读取和理解的知识图谱形式。

构建知识图谱的关键是将数据按照一定的规则进行链接和关联，将知识之间的关系进行网络化表示。

知识图谱的构建包括三个主要步骤：数据预处理、知识抽取和知识融合。

数据预处理主要是对原始数据进行清洗、标准化和归一化操作；知识抽取是将清洗后的数据提取出关键的实体、属性和关系；知识融合是将来自不同来源的数据进行整合和融合，形成完整的知识图谱。

2. 知识图谱的应用知识图谱的应用涵盖了各个领域，包括医疗、金融、教育、电子商务等。

知识图谱可以被用于知识检索、智能问答、推荐系统、智能机器人等多个方面。

以医疗领域为例，通过构建医疗知识图谱，可以实现医疗知识的结构化和组织化，为医生提供全面的临床决策支持。

同时，通过知识图谱的链接和关联，还可以实现跨医疗机构的知识共享和合作。

二、问题解决与决策支持系统的原理与模型1. 问题解决与决策支持系统的原理问题解决与决策支持系统是以问题解决和决策为核心的信息系统，通过收集、组织、分析和展示决策所需的信息和知识，辅助用户进行问题解决和决策过程。

其原理主要包括问题建模、决策模型和知识图谱的应用。

问题建模是将实际问题转化为可计算和分析的数学或逻辑模型；决策模型是基于问题建模，通过概率、统计学、优化理论等方法，选择最佳的决策方案；知识图谱的应用是通过知识图谱的链接和关联，提供完整的背景知识和辅助信息，为用户的决策提供支持。

知识图谱构建技术综述一、本文概述在信息技术快速发展的今天，知识图谱作为一种重要的知识表示和组织方式，已经在诸多领域展现出其独特的价值和潜力。

本文旨在全面综述知识图谱构建技术的最新发展，包括其基本概念、关键技术、应用领域以及未来的发展趋势。

通过对知识图谱构建技术的深入研究，本文希望能够为相关领域的学者和从业者提供一个清晰、系统的知识框架，促进知识图谱技术的进一步发展和应用。

文章首先介绍了知识图谱的基本概念，包括其定义、特点以及与其他知识表示方式的区别。

随后，文章详细阐述了知识图谱构建过程中的关键技术，包括知识抽取、知识融合、知识表示与存储等方面。

在此基础上，文章进一步探讨了知识图谱在各个领域的应用案例，如智能问答、语义搜索、推荐系统等。

文章对知识图谱技术的发展趋势进行了展望，分析了未来可能的研究方向和应用场景。

通过本文的综述，读者可以对知识图谱构建技术有一个全面而深入的了解，为相关领域的研究和实践提供有益的参考和借鉴。

二、知识图谱构建的核心技术知识图谱的构建涉及多个核心技术，这些技术共同协作，确保图谱的完整性、准确性和高效性。

以下是构建知识图谱的核心技术：信息抽取：信息抽取是知识图谱构建的第一步，其主要任务是从非结构化或半结构化的文本数据中提取出实体、属性以及它们之间的关系。

这包括命名实体识别（NER）、关系抽取和属性抽取等技术。

NER负责识别文本中的实体，如人名、地名、组织名等；关系抽取则负责识别实体之间的关系，如“张三是北京大学的学生”；属性抽取则关注实体的属性信息，如“张三出生于1990年”。

实体链接：实体链接的任务是将文本中提到的实体链接到知识图谱中对应的实体上。

这涉及到实体消歧和共指消解两个问题。

实体消歧是指解决文本中同一个实体名称可能对应多个不同实体的问题，如“苹果”可能指代水果，也可能指代苹果公司。

共指消解则是指解决文本中不同名称可能指代同一个实体的问题，如“张三”和“李四”可能指代同一个人。