龙源期刊网 https://www.doczj.com/doc/1b19083861.html,
智能问答系统中命名实体识别问题研究
作者：费建军
来源：《数字技术与应用》2017年第07期
摘要：信息化时代的到来，人们从互联网中快速获得大量的信息。如何高效的从海量数据中获取有用的资源的需求和人工智能的兴起，促进了问答系统的发展。问答系统是构架于信息抽取之上，其影响着知识库的结构和解析问句的方式。命名实体是信息抽取领域的一个子集。所以本文主要是针对实体识别模型进行研究，本文介绍了三中主流实体识别模型的，并将股票实体作为研究对象，最终采用了CRF（Conditional Random Field）条件随机场模型。在该模型基础上根据上下文和词性特征，提出了CC-CRF识别算法。利用CRF++训练得到能够识别代码和名称的CC-CRF实体识别模型。
关键词：股票；命名实体识别；CRF模型
中图分类号：TP391.6 文献标识码：A 文章编号：1007-9416（2017）07-0093-04
命名实体通常指的是现实中独立存在的具体的或者抽象的事物[2]。如何使计算机能够理
解自然语言是智能问答系统需要解决的一个关键问题。自然语言处理的研究范围包括词法分析、信息抽取、自动文摘等[1]。信息抽取领域中，命名实体识别作为重要分支[3]，其任务是标注语句中的实体，所以命名实体的识别有着非常关键的意义。作为文本的基本单位，它包含大量的语义信息，因此对命名实体进行识别可以保证最简单快捷的获得文本信息。他存在的价值就是标注语句中的实体，实体的识别对正确解析自然语言有着极其重要的作用。识别的实体领域一般为人名、机构名、地名以及专有名词等。在实际研究中，还需要根据具体要求来确定。本文中，要识别的实体为股票名称与股票代码[4]。命名实体识别在问句处理和知识库的
构建方面发挥着关键性的作用。
命名实体识别的方法主要有：基于规则和词典的方法、基于统计的方法和二者混合的方法[5]。
本文介绍了四种命名实体识别模型（基于规则和词典的方法、隐马尔科模型、最大熵模型、条件随机场模型）以及每种模型的优缺点。在经过对比并且结合股票命名实体的特点，选择条件随机场作为投资领域命名实体的模型。并在此基础上提出了引入了上下文特征和词性特征的CC-CRF识别算法。使用该模型对语料训练得到CC-CRF模型，并对模型的识别效果进行测试。
1 相关工作与常规实体识别模型
1.1 基于规则和词典的方法
导读：知识图谱 (Knowledge Graph) 是当前的研究热点。自从2012年Google推出自己第一版知识图谱以来，它在学术界和工业界掀起了一股热潮。各大互联网企业在之后的短短一年纷纷推出了自己的知识图谱产品以作为回应。比如在国，互联网巨头百度和搜狗分别推出”知心“和”知立方”来改进其搜索质量。那么与这些传统的互联网公司相比，对处于当今风口浪尖上的行业 - 互联网金融，知识图谱可以有哪方面的应用呢？ 目录： 1. 什么是知识图谱？ 2. 知识图谱的表示 3. 知识图谱的存储 4. 应用 5. 挑战 6. 结语 1.什么是知识图谱？ 知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里
输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。 另外，对于稍微复杂的搜索语句比如”Who is the wife of Bill Gates“，Google能准确返回他的妻子Melinda Gates。这就说明搜索引擎通过知识图谱真正理解了用户的意图。 上面提到的知识图谱都是属于比较宽泛的畴，在通用领域里解决搜索引擎优化和问答系统(Question-Answering)等方面的问题。接下来我们看一下特定领域里的 (Domain-Specific) 知识图谱表示方式和应用，这也是工业界比较关心的话题。 2.知识图谱的表示 假设我们用知识图谱来描述一个事实（Fact） - “三是四的父亲”。这里的实体是三和四，关系是“父亲”（is_father_of）。当然，三和四也可能会跟其他人存在着某种类型的关系（暂时不考虑）。当我们把也作为节点加入到
知识管理论坛 ISSN 2095-5472 CN11-6036/C Knowledge Management Forum E-mail: kmf@https://www.doczj.com/doc/1b19083861.html, https://www.doczj.com/doc/1b19083861.html, 519 【专家访谈】 依托知识管理实现智能服务 ——专访华夏基金知识管理专家葛朝晖、李响 ◎ 采编：刘远颖 易飞 王铮 专家简介 葛朝晖：具有证券/基金、互联网、软件等多个行业的丰富从业经历，自2007年加入华夏基金，现任客户服务总监。在此期间，积极推动部门建立三级KPI 指标体系，不断提升服务效率，实现对4 700多万基金客户的优质服务，连续7次获得中国客服委最佳客服评奖；组织实施客服知识库改造，2次获得“中国最受尊敬的知识型组织大奖”（MAKE 大奖），并在业内首家上线智能客服系统。 李响：2007年加入华夏基金，现任客户服务部质检中心主管，负责管理质检、知识库、 培训、投诉等工作，从业经验丰富。从2010年起开始进行知识管理，不断探索基金行业知识体系架构，建立起符合行业需要的知识四库，以创新的知识应用方式获得权威机构认可。 采访者：《知识管理论坛》（以下简称KMF ）编辑部刘远颖、易飞 文字整理：王铮 受访者：华夏基金客服服务部总监葛朝晖、质检中心主管李响（以下简称“华夏基金”）采访时间：2017年7月13日采访地点：华夏基金客户服务部 引用格式：依托知识管理实现智能服务——专访华夏基金知识管理专家葛朝晖、李响[J/OL]. 知识管理论坛, 2017, 2(6): 519-525[引用日期]. https://www.doczj.com/doc/1b19083861.html,/p/119/. 发表日期：2017-12-28 本文责任编辑：刘远颖 葛朝晖 李响 1 关于基金行业的知识管理特点 KMF ：两位专家你们好！感谢你们接受《知识 管理论坛》的采访，本刊从2016年开始采访知识管理界的专家学者，涵盖了软件界、咨询界、培训界、学术界等各个方面的人士，而你们是来
龙源期刊网 https://www.doczj.com/doc/1b19083861.html, 智能问答系统中命名实体识别问题研究 作者：费建军 来源：《数字技术与应用》2017年第07期 摘要：信息化时代的到来，人们从互联网中快速获得大量的信息。如何高效的从海量数据中获取有用的资源的需求和人工智能的兴起，促进了问答系统的发展。问答系统是构架于信息抽取之上，其影响着知识库的结构和解析问句的方式。命名实体是信息抽取领域的一个子集。所以本文主要是针对实体识别模型进行研究，本文介绍了三中主流实体识别模型的，并将股票实体作为研究对象，最终采用了CRF（Conditional Random Field）条件随机场模型。在该模型基础上根据上下文和词性特征，提出了CC-CRF识别算法。利用CRF++训练得到能够识别代码和名称的CC-CRF实体识别模型。 关键词：股票；命名实体识别；CRF模型 中图分类号：TP391.6 文献标识码：A 文章编号：1007-9416（2017）07-0093-04 命名实体通常指的是现实中独立存在的具体的或者抽象的事物[2]。如何使计算机能够理 解自然语言是智能问答系统需要解决的一个关键问题。自然语言处理的研究范围包括词法分析、信息抽取、自动文摘等[1]。信息抽取领域中，命名实体识别作为重要分支[3]，其任务是标注语句中的实体，所以命名实体的识别有着非常关键的意义。作为文本的基本单位，它包含大量的语义信息，因此对命名实体进行识别可以保证最简单快捷的获得文本信息。他存在的价值就是标注语句中的实体，实体的识别对正确解析自然语言有着极其重要的作用。识别的实体领域一般为人名、机构名、地名以及专有名词等。在实际研究中，还需要根据具体要求来确定。本文中，要识别的实体为股票名称与股票代码[4]。命名实体识别在问句处理和知识库的 构建方面发挥着关键性的作用。 命名实体识别的方法主要有：基于规则和词典的方法、基于统计的方法和二者混合的方法[5]。 本文介绍了四种命名实体识别模型（基于规则和词典的方法、隐马尔科模型、最大熵模型、条件随机场模型）以及每种模型的优缺点。在经过对比并且结合股票命名实体的特点，选择条件随机场作为投资领域命名实体的模型。并在此基础上提出了引入了上下文特征和词性特征的CC-CRF识别算法。使用该模型对语料训练得到CC-CRF模型，并对模型的识别效果进行测试。 1 相关工作与常规实体识别模型 1.1 基于规则和词典的方法
导读：知识图谱(Knowledge Graph) 是当前的研究热点。自从2012年Google推出自己第一版知识图谱以来，它在学术界和工业界掀起了一股热潮。各大互联网企业在之后的短短一年内纷纷推出了自己的知识图谱产品以作为回应。比如在国内，互联网巨头百度和搜狗分别推出”知心“和”知立方”来改进其搜索质量。那么与这些传统的互联网公司相比，对处于当今风口浪尖上的行业- 互联网金融，知识图谱可以有哪方面的应用呢？ 目录： 1. 什么是知识图谱？ 2. 知识图谱的表示 3. 知识图谱的存储 4. 应用 5. 挑战 6. 结语 1.什么是知识图谱？ 知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。
知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。 另外，对于稍微复杂的搜索语句比如”Who is the wife of Bill Gates“，Google能准确返回他的妻子Melinda Gates。这就说明搜索引擎通过知识图谱真正理解了用户的意图。
Computer Science and Application 计算机科学与应用, 2019, 9(11), 2098-2104 Published Online November 2019 in Hans. https://www.doczj.com/doc/1b19083861.html,/journal/csa https://https://www.doczj.com/doc/1b19083861.html,/10.12677/csa.2019.911235 Design of Question Answering System of Intelligent Customer Service Robot Based on Knowledge Base Jie Lu, Shaobo Li The Mechanical Engineering College, Guizhou University, Guiyang Guizhou Received: Nov. 1st, 2019; accepted: Nov. 14th, 2019; published: Nov. 21st, 2019 Abstract Firstly, this paper analyzes the current situation of intelligent customer service robot, summarizes the characteristics of information retrieval, database query and Q&A system. It also compares the question answering system based on Web information retrieval, the question answering system based on knowledge base and the community question answering system. Secondly,it decomposes the knowledge base management and relationship architecture of Q&A system, and puts forward the specific learning process and implementation framework. Finally, the weather query applica-tion scenario is simulated. The results show that the question answering system of intelligent customer service robot based on knowledge has good practical application effect. Keywords Question Answering, Knowledge Base, Natural Language Processing, Resource Description Framework 基于知识库的智能客服机器人问答系统设计 陆婕，李少波 贵州大学机械工程学院，贵州贵阳 收稿日期：2019年11月1日；录用日期：2019年11月14日；发布日期：2019年11月21日 摘要 本文首先对智能客服机器人现状进行分析，总结了基于任务处理模式的信息检索、数据库查询、问答系
第九章 知识管理与大数据 9.7 三大类知识管理系统 ——III 智能技术
2 智能技术 人工智能（AI）技术： 智能技术：用于捕捉个人和集体知识，并扩展知识库 自动化任务 生成复杂问题的解决方案 知识发现 捕捉隐性知识模拟人类行为的计算机系统
3 1. 专家系统 在特定的、有限的人类专业知识域中捕捉隐性知识 捕捉熟练员工的知识，并在软件系统中作为规则（IF… Then…），以供组织内其他人员使用 一般执行有限的任务，可能需要几分钟或数小时，例如：?诊断故障的机器?决定是否发放信贷 用于离散、高度结构化的决策
?一个专家系统包含了一系列的规则。这些规则是相互关联的，结果的数量是已知的且有限的，有多个路径可以得到相同的结果。在一个单一的时间，该系统可以考 虑多个规则。 ?本图显示的是一个适用于简单的信用证授予专家系统所需要的规则。D->E如果是D， 询问雇佣年限 G->H如果 年限<4，询 问其他债务 F 限额10,000 I 限额3,000 A->B如果收 入>50,000， 询问汽车付款， 否则退出 D 给予信贷额度 B->C如果汽车付款<收 入的10%，询问按揭还 款，否则退出 C->D如果抵押贷款付款 <20%的收入，批准信贷， 否则退出 E->F如果年限>=4，给予 10,000限额，否则执行G H->F如果其他债务<5%的 收入，执行F，否则执行I F 限额10,000 I 限额3,000 D->E如果是 D，询问雇佣 年限 G->H如果年 限<4，询问 其他债务 1. 专家系统 专家系统规则 4
5 1. 专家系统 专家系统如何工作 前向推理链：推理引擎从用户输入的信息开始搜索知识库，并得出结论反向推理链：从假设开始，问用户问题直到假设被证实或否定 知识库 推理引擎 包含上百或上千的规则 搜索知识库的策略
问答系统发展历程 问答系统的研究经历了几个阶段。 从20世纪50~60年代开始，人工智能科学家就致力于研究基于知识推理的问答系统，其特点是：专家建立知识库，答案或者从知识库中检索得到，或者在知识库上经过推理得到。推理主要是基于专家制定的启发式规则进行。代表性系统是美国麻省理工学院开发的数学符号运算系统MACSYMA[1]。基于知识推理的问答系统具有性能良好、回答准确、具有推理能力等优点。但是这种方法也有明显的缺点：人工构建知识库非常困难，知识库规模和领域有限，如果问题超出了知识库的范围，则系统性能会很差。 20世纪90年代，随着互联网技术的发展，网络信息日益丰富，搜索引擎为信息获取提供了极大的便利，但却无法清楚地表达人们的意图，而且其返回的是网页，并不是确切的答案，因此不能很好地满足人们的信息需求。为了弥补搜索引擎的不足，研究人员提出了问答式检索系统，如麻省理工学院开发的Start1、Umass开发的QuASM2和微软公司开发的Encarta3。这类系统的主要特点是：利用信息检索以及浅层自然语言处理技术从大规模文本库或者网页库中抽取出答案。与基于知识推理的问答系统相比，问答式检索系统不受知识库规模和领域的限制，更加接近真实的应用需求；与传统的搜索引擎相比，问答式检索系统接受的是自然语言形式的提问，对用户意图的把握更加准确，呈现给用户的答案也更加准确。但是目前，问答式检索系统仅能处理有限类型的简单问题，如事实性的问题、定义性的问题等。而且，由于只用到检索技术和一些浅层的自然语言处理技术，问答 图灵测试 让计算机具有人的智能，一直是科学家追求的目标。1950年，阿兰·图灵(A. M. Turing)提出“图灵测试”：让一个人在不接触对方的情况下，通过一种特殊的方式和对方进行一系列问答；如果在相当长的时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这台计算机具有相当于人的智力，即这台计算机是能思维的。自此，问答系统成为判断计算机是否具有智能（特别是语言智能）的理想模型。美国认知心理学家奥尔森(G. M. Olson)认为，判别计算机是否理解自然语言的四个标准是：问答系统(question answer-ing)、文摘(summari z ation)、复述(paraphrase)和机器翻译(machine translation)。计算机只要达到四个标准之一，就认为它理解了自然语言。赵 军 中国科学院自动化研究所 从问答系统看知识智能关键词：问答系统 知识智能 1 https://www.doczj.com/doc/1b19083861.html,/。 2 https://www.doczj.com/doc/1b19083861.html,/IRLab/11-743s04/。 3 https://www.doczj.com/doc/1b19083861.html,/。
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910202512.9 (22)申请日 2019.03.11 (71)申请人 北京明略软件系统有限公司 地址 102218 北京市昌平区东小口镇中东 路398号中煤建设集团大厦1号楼5层 (72)发明人 张金贺 徐安华 欧阳佑 (74)专利代理机构 北京安信方达知识产权代理 有限公司 11262 代理人 柳倩 栗若木 (51)Int.Cl. G06F 17/27(2006.01) (54)发明名称 一种命名实体识别方法及系统 (57)摘要 本申请公开了一种命名实体识别方法及系 统，所述方法包括：对待处理文本进行预处理，得 到预处理结果；根据所述预处理结果得到对应所 述待处理文本的上下文信息敏感的字符级表达 信息；创建与不同命名实体类型一一对应的条件 随机场CRF解码单元，各条件随机场CRF解码单元 分别对所述上下文信息敏感的字符级表达信息 进行解码，生成各命名实体类型对应的标签序 列；分别根据各标签序列抽取对应的命名实体。 本申请解决了现有技术中对于重叠的命名实体 识别方案中所存在的效率低下的问题，通过共享 机制减少了冗余信息，降低了推理时间，使得不 同类型实体识别时能够进行相互协助，从而提升 了单类实体的识别效果。权利要求书2页 说明书6页 附图3页CN 109977402 A 2019.07.05 C N 109977402 A
权 利 要 求 书1/2页CN 109977402 A 1.一种命名实体识别方法，其特征在于，包括： 对待处理文本进行预处理，得到预处理结果； 根据所述预处理结果得到对应所述待处理文本的上下文信息敏感的字符级表达信息； 创建与不同命名实体类型一一对应的条件随机场CRF解码单元，各条件随机场CRF解码单元分别对所述上下文信息敏感的字符级表达信息进行解码，生成各命名实体类型对应的标签序列； 分别根据各标签序列抽取对应的命名实体。 2.根据权利要求1所述的方法，其特征在于，其中，所述预处理结果的类型包括：对应所述待处理文本的字符集，对所述待处理文本进行分词后的词汇集，对所述待处理文本进行句子切分后的句子集和对应所述词汇集的词性集。 3.根据权利要求2所述的方法，其特征在于，所述根据所述预处理结果得到对应所述待处理文本的上下文信息敏感的字符级表达信息，包括： 根据所述预处理结果的类型构建与所述类型对应的特征信息； 对所述特征信息进行处理，得到对应所述待处理文本的上下文信息敏感的字符级表达信息。 4.根据权利要求3所述的方法，其特征在于，其中，所述特征信息包括：对应所述字符集的字符编码信息，对应所述词汇集的分词边界信息，对应所述句子集的句子边界距离信息和对应所述词性集的词性特征信息。 5.根据权利要求4所述的方法，其特征在于，所述对所述特征信息进行处理，得到对应所述待处理文本的上下文信息敏感的字符级表达信息，包括： 利用双向长短时记忆循环神经网络从正向和反向两种维度扫描所述特征信息，构建出对应所述待处理文本的上下文信息敏感的字符级表达信息。 6.一种命名实体识别系统，其特征在于，包括： 文本预处理模块，设置为对待处理文本进行预处理，得到预处理结果； 编码模块，设置为根据所述预处理结果得到对应所述待处理文本的上下文信息敏感的字符级表达信息； 多任务CRF解码模块，设置为创建与不同命名实体类型一一对应的条件随机场CRF解码单元，各条件随机场CRF解码单元分别对所述上下文信息敏感的字符级表达信息进行解码，生成各命名实体类型对应的标签序列； 输出整合模块，设置为分别根据各标签序列抽取对应的命名实体。 7.根据权利要求6所述的系统，其特征在于，其中，所述预处理结果的类型包括：对应所述待处理文本的字符集，对所述待处理文本进行分词后的词汇集，对所述待处理文本进行句子切分后的句子集和对应所述词汇集的词性集。 8.根据权利要求7所述的系统，其特征在于，所述编码模块，具体设置为： 特征抽取模块，设置为根据所述预处理结果的类型构建与所述类型对应的特征信息； 上下文表达构建模块，设置为对所述特征信息进行处理，得到对应所述待处理文本的上下文信息敏感的字符级表达信息。 9.根据权利要求8所述的系统，其特征在于，其中，所述特征信息包括：对应所述字符集的字符编码信息，对应所述词汇集的分词边界信息，对应所述句子集的句子边界距离信息 2
中文问答系统调研报告 目录 问答系统调研报告 (1) 1 问答系统的价值体现 (3) 1.1市场应用价值 (3) 1.2 弥补了搜索引擎的不足 (3) 1.3 总结 (3) 2 问答系统的市场应用情况 (3) 3 问答系统整体框架 (5) 3.1 问答实现流程 (5) 3.2问句分析模块 (6) 3.2.1中文分词 (6) 3.2.2关键词提取 (9) 3.2.3关键词扩展 (10) 3.2.4实体识别 (11) 3.2.5问句分类 (12) 3.3 信息检索模块 (13) 3.3.1模式匹配 (13) 3.3.2答案检索 (13) 3.3.3知识图谱 (16) 3.4答案抽取模块 (21)
3.4.1基于规则的方法 (21) 3.4.2基于统计的方法 (22) 4 问答系统的应用场景 (23) 4.1 任务型 (23) 4.2 问答型 (24) 4.3 语聊型 (24) 5 调研总结 (30)
1 问答系统的价值体现 1.1市场应用价值 问答系统是智能人机交互的技术基础，智能人机交互通过拟人化的交互体验逐步在智能客服、任务助理、智能家居、智能硬件、互动聊天等领域发挥巨大的作用和价值。因此，各大公司都将智能聊天机器人作为未来的入口级别的应用在对待。 包括Google、Facebook、Microsoft、Amazon、Apple等互联公司相继推出了自己的智能私人助理和机器人平台。 1.2 产品技术价值 1、搜索引擎的缺陷： 一方面，用户所输入的搜索关键词或关键句，无法真实反映用户需求；另一方面，检索系统仅仅通过几个关键词的简单逻辑组合来返回答案。两方面的误差造成检索结果很差。 检索结果不够简洁。冗余信息使用户难以快速准确定位所需信息，造成时间和精力的浪费。 缺乏对用户问句的语义理解。只靠关键词的索引或简单的匹配算法，并不能真正触及到问题的真实意思，使检索结果一般。 2、问答系统能针对搜索引擎缺陷的改进 1）问答系统允许用户以自然语言的形式询问或者输入。 2）问答系统能直接返回答案，提供给用户简洁、有效的答案。 3）问答系统能分析用户意图，提供给用户真正有用、准确的信息。 1.3 总结 无论是在日常生活中查阅资料，还是在科学研究、商业金融等领域的应用，都有智能问答的参与，所以智能问答的发展与管理将是人们不可忽视的研究方向。 2 问答系统的市场应用情况 按照市场应用情况可分为五类:在线客服，娱乐机器人，教育聊天机器人，个人助理和智能问答. (1) 在线客服
导读:知识图谱(Knowledge Graph) 就是当前的研究热点。自从2012年Google推出自己第一版知识图谱以来,它在学术界与工业界掀起了一股热潮。各大互联网企业在之后的短短一年内纷纷推出了自己的知识图谱产品以作为回应。比如在国内,互联网巨头百度与搜狗分别推出”知心“与”知立方”来改进其搜索质量。那么与这些传统的互联网公司相比,对处于当今风口浪尖上的行业- 互联网金融, 知识图谱可以有哪方面的应用呢？ 目录: 1、什么就是知识图谱？ 2、知识图谱的表示 3、知识图谱的存储 4、应用 5、挑战 6、结语 1、什么就是知识图谱？ 知识图谱本质上就是语义网络,就是一种基于图的数据结构,由节点(Point)与边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱就是关系的最有效的表示方式。通俗地讲,知识图谱就就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。
知识图谱这个概念最早由Google提出,主要就是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。 另外,对于稍微复杂的搜索语句比如”Who is the wife of Bill Gates“,Google 能准确返回她的妻子Melinda Gates。这就说明搜索引擎通过知识图谱真正理解了用户的意图。
知识图谱和问答系统 一、引子 在讨论知识图谱和问答系统之前，先给出几篇以前的文章。第一篇文章是《立委科普：问答系统的前生今世》，以前也发过，再发一下。详见博文： https://www.doczj.com/doc/1b19083861.html,/blog-362400-436555.html 下一个姐妹篇《立委科普：自动回答How 与Why 的问题》。这篇文章详细谈谈问答系统中的How类型问题和Why类型问题。这篇已经太长，收住吧。希望读者您不觉得太枯燥，如果有所收获，则幸甚。谢谢您的阅览。 How 类型的问题搜寻的是解决方案，其实也不好回答，同一个问题往往有多种解决档案，譬如治疗一个疾病，可以用各类药品，也可以用其他疗法。因此，比较完美地回答这个How 类型的问题也就成为问答系统研究中公认的难题之一。Why 类型的问题是要寻找一个现象的缘由或动机。这些原因有些是显性表达，更多的则是隐性表达，而且几乎所有的原因都不是用几个简单的词或短语就可以表达清楚的，找到这些答案，并以合适的方式整合给用户，自然是一个很大的难题。
第三篇文章《立委科普：从产业角度说说NLP这个行当》，这是几年前吹的牛皮。详见李维的博文： https://www.doczj.com/doc/1b19083861.html,/blog-362400-434811.html。由于也很相关，所以也放在这里。NLP技术的工业可行性我认为已经完全被证明了，虽然很多人也许还没有意识到。证明的实例表现在我们解决了三个信息搜索的难题： 搜索How类型问题的难题； 搜索Why类型问题的难题； 对客户反馈情报及其动机的抽取（譬如客户对一个产品的好恶）。 前两个问题是问答搜索业界公认的最难类型的题目，第三个题目涉及的是语言现象中较难把握的主观性语言（subjective language），并非NLP中通常面对的客观性语言（objective language）。这类从文本中提取主观性语言的技术，即情感提取（sentiment extraction）成为语言处理最难的课题之一。从问答系统角度来看，回答Who、When、Where等实体事实型（entity factoid）问题比较简单，技术相对成熟，最突出的表现就是IBM的问答系统赢得美国家喻户晓的电视智力竞赛Jeopardy的冠军。Jeopardy的大多数问题是属于实体事实类的问题，而这类问题的处理技术相对成熟。电脑打败了人脑，详见COMPUTER CRUSHES HUMAN 'JEOPARDY!' CHAMPS。具体细节就不谈了，以后有机会再论。总之，这
中文命名实体识别方法研究及其在文本分类中的应用Chinese Named Entity Recognition Study and Application in Text Categorization (申请清华大学工程硕士专业学位论文) 培 养 单 位 ： 软件学院 工 程 领 域 ： 软件工程 申 请 人 ： 刘彬 指 导 教 师 : 李 春 平 副教授 二○○九年五月
中文命名实体识别方法研究及其在文本分类中的应用 刘彬
关于学位论文使用授权的说明 本人完全了解清华大学有关保留、使用学位论文的规定，即： 清华大学拥有在著作权法规定范围内学位论文的使用权，其中包括：（1）已获学位的研究生必须按学校规定提交学位论文，学校可以采用影印、缩印或其他复制手段保存研究生上交的学位论文；（2）为教学和科研目的，学校可以将公开的学位论文作为资料在图书馆、资料室等场所供校内师生阅读，或在校园网上供校内师生浏览部分内容；（3）根据《中华人民共和国学位条例暂行实施办法》，向国家图书馆报送可以公开的学位论文。 本人保证遵守上述规定。 （保密的论文在解密后遵守此规定） 作者签名：导师签名： 日期：日期：
摘要 命名实体是一篇文章的基本信息元素，是正确理解文本的基础。命名实体识别就是判断文本中的一个字符串是否代表实体并确定实体的类别。由于中文自身的特点，中文命名实体识别相比于英文命名实体识别具有更大的难度。哪些措施可以尽可能的提高中文命名实体识别的效果？如何减少分词的确定性切分误差导致的命名实体识别的错误？命名实体识别技术如何有效的用到其他自然语言处理技术当中？本文将围绕这些问题展开研究。 本文首先采用一种针对不同实体使用不同标注策略的中文命名实体识别方法并基于链式条件随机场实现了此方法。在此基础上，对利用中文语言学特点提高中文命名实体识别效果，动态随机场模型用于组织机构名识别，中文命名实体识别技术用于文本分类等问题做了研究。本文的主要贡献包括： 采用一种针对不同实体使用不同标注策略的中文命名实体识别方法并基于链式条件随机场实现了此方法。同时，收集整理了若干语言学资料，以字典和词典的形式加入到链式条件随机场的特征模板当中，丰富了此方法的特征模板。通过和同类方法的比较，证明了我们的方法能够得到较好的识别效果。 提出了一种基于动态条件随机场的识别方法用于中文组织机构名的识别。此方法将中文分词和组织机构名识别融合到一个统一的过程当中，与同类方法相比能够取得更高的召回率，此方法尽可能的避免了分词的确定性切分的误差导致的命名实体识别的错误。 将中文命名实体识别技术用于中文文本分类任务。考虑到现有的特征选择方法都是基于概率统计模型，没有考虑到文章本身的语义信息，我们提出了一种引入命名实体识别技术的文本分类特征选择方法，并针对命名实体提出了对应的特征加权方法。通过和文本分类中常用的特征选择及特征加权方法比较，证明我们的方法是有效的。 关键词：中文命名实体识别 链式条件随机场 动态条件随机场 文本分类 I
题目：基于知识的智能问答技术（PDF） 作者：许坤，冯岩松（北京大学） ———————————————————— 作者简介： 许坤，北京大学计算机科学技术研究所博士生，研究方向为基于知识库的智能问答技术，已连续三年在面向结构化知识库的知识问答评测QALD-4, 5, 6中获得第一名。 冯岩松，北京大学计算机科学与技术研究所讲师。2011年毕业于英国爱丁堡大学，获得信息科学博士学位。主要研究方向包括自然语言处理、信息抽取、智能问答以及机器学习在自然语言处理中的应用；研究小组已连续三年在面向结构化知识库的知识问答评测QALD中获得第一名；相关工作已发表在TPAMI、ACL、EMNLP等主流期刊与会议上。作为项目负责人或课题骨干已承担多项国家自然科学基金及科技部863计划项目。分别在2014 和2015 年获得IBM Faculty Award。 引言 近年来，信息抽取技术的快速发展使得快速构建大规模结构化、半结构化知识库成为可能。一大批结构化知识库如雨后春笋般涌现出来，如Google Knolwedge Graph （Freebase）、Yago，DBpedia、微软ProBase、搜狗知立方及百度等企业内部的知识图谱等。 同时，这些大规模知识库也被应用于关联检索、个性化推荐、知识问答等任务中。相比于传统基于文本检索的问答系统，利用知识库回答自然语言问题可以为用户提供更精确、简洁的答案，因此一直受到学术界和工业界的广泛关注。
目前基于知识库的问答技术可以大致分为两类。第一类基于语义解析的方法。这类方法通过学习相关语法将自然语言转问题转换成可以用来描述语义的形式化语言，如逻辑表达式等。构建这样的语义解析器需要大量的标注数据，例如，自然语言问题及其对应的语义描述形式。然而，针对Freebase这样大规模的结构化知识库，在实际中很难收集到足够多的高质量训练数据。另外，语义描述形式与知识库的结构之间的不匹配也是这类方法普遍遇到的一个问题，例如，在Freebase中并没有―爸爸‖或―妈妈‖这样的谓词关系，只有―父母‖，因此，如果想表示―A 是B的母亲‖这样的关系，则需明确表示为―
随着科普信息的不断普及，为了解决科普内容艰涩难懂的特性，并结合互联网、新媒体等新型传播媒介，不仅仅传输给人们具有权威性、全面性的科普知识，结合自然语言的科普知识更加通俗易懂，这就实现了智能科普问答系统。 目前，网络上的科普数据资源浩如烟海、错综复杂，而用户的信息需求又千变万化、千姿百态，基于关键词组合的信息需求表示方式和基于浅层分析的语义分析这类传统的信息检索技术俨然不能满足当下用户的需求，智能科普问答技术通过对数据的深度加工和组织管理、以更自然的交互方式满足用户更精确的信息需求。 科普问答系统借助互联网，突破时间和空间的限制，让公众可以随时随地获取自己想要的科学信息。这也是对公众的一种赋权，让他们更直观、更全面的了解科学知识。问答系统采用人工智能技术，可以有效防止科普信息存在的漏洞，让群众可以正确了解科学知识。 智能科普问答系统以一问一答形式，精确的定位网站用户所需要的提问知识，并给网站用户提供交互服务。 （一）相关问答推送 当网站用户提出问题时，系统不仅将问题答案推送出来，而且会将与这个问题相关的知识也都推送出来供用户查询，这样就做到了一次提问全面掌握所有信息。 （二）提问智能提示 用户在提问的过程中, 系统将已经输入的内容自动分析给予优化的补全或相关提示。 （三）焦点问题自动排行 对在一定的时间内，用户对知识提问的热度，系统自动聚焦，并按照访问频度将热点知识集中在系统页面上热点词聚焦 系统对用户提交的业务关键词进行统计，并按照访问的频度进行聚焦，将与关键词相关的业务列表自动链接，形成业务热点关键词。
（四）显在线客服问答 模拟在线客服人员，以网站智能客服形式完成客服作用。 （五）引导式交互客服服务 将常见问题整理成若干流程诊断型的知识，通过引导交互式地服务，尽量从Web端解决客户常见问题。 （六）客服座席协助 完成专家坐席功能，在普通坐席人员无法回答问题时提供标准化的知识协助，帮助普通客服人员快速，准确回答。 智能科普问答系统的上线应用，旨在以科普内容建设为重点，充分依托现有的传播渠道和平台，使科普信息化建设与传统科普深度融合，以公众关注度作为项目精准评估的标准，提升国家科普公共服务水平。
6个方面分析知识图谱的价值和应用知识对于人工智能的价值就在于，让机器具备认知能力和理解能力。构建知识图谱这个过程的本质，就是让机器形成认知能力，理解这个世界。一、知识图谱无处不在说到人工智能技术，人们首先会联想到深度学习、机器学习技术；谈到人工智能应用，人们很可能会马上想起语音助理、自动驾驶等等，各行各业都在研发底层技术和寻求AI场景，却忽视了当下最时髦也很重要的AI技术：知识图谱。当我们进行搜索时，搜索结果右侧的联想，来自于知识图谱技术的应用。我们几乎每天都会接收到各种各样的推荐信息，从新闻、购物到吃饭、娱乐。个性化推荐作为一种信息过滤的重要手段，可以依据我们的习惯和爱好推荐合适的服务，也来自于知识图谱技术的应用。搜索、地图、个性化推荐、互联网、风控、银行……越来越多的应用场景，都越来越依赖知识图谱。二、知识图谱与人工智能的关系知识图谱用节点和关系所组成的图谱，为真实世界的各个场景直观地建模。通过不同知识的关联性形成一个网状的知识结构，对机器来说就是图谱。形成知识图谱的过程本质是在建立认知、理解世界、理解应用的行业或者说领域。每个人都有自己的知识面，或者说知识结构，本质就是不同的知识图谱。正是因为有获取和形成知识的能力，人类才可以不断进步。知识图谱对于人工智能的重要价值在于，知识是人工智能的基石。机器可
以模仿人类的视觉、听觉等感知能力，但这种感知能力不是人类的专属，动物也具备感知能力，甚至某些感知能力比人类更强，比如：狗的嗅觉。而“认知语言是人区别于其他动物的能力，同时，知识也使人不断地进步，不断地凝练、传承知识，是推动人不断进步的重要基础。”知识对于人工智能的价值就在于，让机器具备认知能力。而构建知识图谱这个过程的本质，就是让机器形成认知能力，去理解这个世界。 三、图数据库知识图谱的图存储在图数据库（Graph Database）中，图数据库以图论为理论基础，图论中图的基本元素是节点和边，在图数据库中对应的就是节点和关系。用节点和关系所组成的图，为真实世界直观地建模，支持百亿量级甚至千亿量级规模的巨型图的高效关系运算和复杂关系分析。目前市面上较为流行的图数据库有：Neo4j、Orient DB、Titan、Flock DB、Allegro Graph等。不同于关系型数据库，一修改便容易“牵一发而动全身”图数据库可实现数据间的“互联互通”，与传统的关系型数据库相比，图数据库更擅长建立复杂的关系网络。图数据库将原本没有联系的数据连通，将离散的数据整合在一起，从而提供更有价值的决策支持。四、知识图谱的价值知识图谱用节点和关系所组成的图谱，为真实世界的各个场景直观地建模，运用“图”这种基础性、通用性的“语言”，“高保真”地表达这个多姿多彩世界的各种关系，并且非常直观、自然、直接和高效，不需要中间过程
智能控制问答题终极版 1、执行器是系统的输出，对外界对象发生作用。 2、传感器产生智能系统的输入，传感器用来监测外部环境和系统本身的状态。传感器向感知信息处理单元提供输入。 3、感知信息处理，将传感器得到的原始信息加以处理，并与内部环境模型产生的期望信息进行比较。 4、认知主要用来接收和存储信息、知识、经验和数据，并对他们进行分析、推理作出行动的决策，送至规划和控制部分。 5、通信接口除建立人机之间的联系外，还建立系统各模块之间的联系。 6、规划和控制是整个系统的核心，它根据给定的任务要求，反馈的信息，以及经验知识，进行自动搜索，推理决策，动作规划，最终产生具体的控制作用。1-2 智能控制系统的特点是什么？答： 1、智能控制系统一般具有以知识表示的非数学广义模型和以数学模型表示的混合控制过程。 2、智能控制器具有分层信息处理和决策机构。 3、智能控制器具有非线性和变结构特点。 4、智能控制器具有多目标优化能力。 5、智能控制器能够在复杂环境下学习。从功能和行为上分析，智能控制系统应具备以下一条或几条功能特点：
1、自适应功能 2、自学习功能 3、自组织功能 4、自诊断功能 5、自修复功能1-3 智能控制与传统控制相比较有什么不同？在什么场合下应该选用智能控制策略？答：（1）不同点： 1、涉及的范围：智能控制的范围包括了传统控制的范围。有微分/差分方程描述的系统；有混合系统（离散和连续系统混合、符号和数值系统混合、数字和模拟系统混合）。 2、控制的目标：智能的目标寻求在巨大的不确定环境中，获得整体的优化。因此，智能控制要考虑：故障诊断、系统重构、自组织、自学习能力、多重目标。 3、系统的结构：控制对象和控制系统的结合。（2）在什么场合下应该选用智能控制策略。说法一：主要针对控制对象及其环境、目标和任务的不确定性和复杂性的系统。 说法二：主要针对无法获得精确的数学模型、无法解决建模问题、假设条件与实际不相吻合的系统。2-11 模糊逻辑控制器由哪几部分组成？各完成什么功能？答：（1）组成：输入量模糊化接口、知识库（数据库和规则库）、推理机、输出解模糊接口四部分。（2）功能：