中文问答系统调研报告
目录
问答系统调研报告 (1)
1 问答系统的价值体现 (3)
1.1市场应用价值 (3)
1.2 弥补了搜索引擎的不足 (3)
1.3 总结 (3)
2 问答系统的市场应用情况 (3)
3 问答系统整体框架 (5)
3.1 问答实现流程 (5)
3.2问句分析模块 (6)
3.2.1中文分词 (6)
3.2.2关键词提取 (9)
3.2.3关键词扩展 (10)
3.2.4实体识别 (11)
3.2.5问句分类 (12)
3.3 信息检索模块 (13)
3.3.1模式匹配 (13)
3.3.2答案检索 (13)
3.3.3知识图谱 (16)
3.4答案抽取模块 (21)
3.4.1基于规则的方法 (21)
3.4.2基于统计的方法 (22)
4 问答系统的应用场景 (23)
4.1 任务型 (23)
4.2 问答型 (24)
4.3 语聊型 (24)
5 调研总结 (30)
1 问答系统的价值体现
1.1市场应用价值
问答系统是智能人机交互的技术基础，智能人机交互通过拟人化的交互体验逐步在智能客服、任务助理、智能家居、智能硬件、互动聊天等领域发挥巨大的作用和价值。因此，各大公司都将智能聊天机器人作为未来的入口级别的应用在对待。
包括Google、Facebook、Microsoft、Amazon、Apple等互联公司相继推出了自己的智能私人助理和机器人平台。
1.2 产品技术价值
1、搜索引擎的缺陷：
一方面，用户所输入的搜索关键词或关键句，无法真实反映用户需求；另一方面，检索系统仅仅通过几个关键词的简单逻辑组合来返回答案。两方面的误差造成检索结果很差。
检索结果不够简洁。冗余信息使用户难以快速准确定位所需信息，造成时间和精力的浪费。
缺乏对用户问句的语义理解。只靠关键词的索引或简单的匹配算法，并不能真正触及到问题的真实意思，使检索结果一般。
2、问答系统能针对搜索引擎缺陷的改进
1）问答系统允许用户以自然语言的形式询问或者输入。
2）问答系统能直接返回答案，提供给用户简洁、有效的答案。
3）问答系统能分析用户意图，提供给用户真正有用、准确的信息。
1.3 总结
无论是在日常生活中查阅资料，还是在科学研究、商业金融等领域的应用，都有智能问答的参与，所以智能问答的发展与管理将是人们不可忽视的研究方向。
2 问答系统的市场应用情况
按照市场应用情况可分为五类:在线客服，娱乐机器人，教育聊天机器人，个人助理和智能问答.
(1) 在线客服
在线客服聊天机器人系统的主要功能是和用户进行基本沟通并自动回复用户有关产品或服务的问题,降低企业客服运营成本,提升用户体验.应用场景通常为网站首页和手机终端,代表有小爱机器人,JIMI(JD)客服机器人,JIMI具有一定的拒识能力,即能够知道自己不能回答用户的哪些问题以及何时应转向人工客服.
(2) 娱乐
娱乐机器人主要同用户进行开放主题的对话,从而实现对用户的精神陪伴,情感慰藉和心理疏导等作用,主要针对社交媒体,儿童玩具,代表产品有微软小冰和腾讯的小微,小微除了能够与用户进行开放主题的聊天外,还能提供特定主题的服务,如天气预报和生活常识等.
(3) 教育
教育聊天机器人根据教育内容构建交互的语言使用环境,帮助用户学习某种语言,在学习某项专业课程时,指导用户逐步深入学习并掌握技能,用户的特定年龄阶段,帮助用户进行某种知识的辅助学习等.通常该类聊天机器人具备交互学习功能,培训软件及智能玩具等,代表有科大讯飞开心熊宝系列玩具.
(4) 个人助理
该类聊天机器人主要通过语音或文字与聊天机器人系统进行交互,实现个人事务的查询及代办,如天气查询,空气质量查询,定位,短信收发,日程提醒和智能搜索等,从而更便捷辅助用户的日常事务处理,代表有Apple的Siri,Google Now, Cortana.
(5) 智能问答
智能应答的聊天机器人主要功能包括以自然语言形式提出的事实型问题和需要计算和逻辑推理型的问题,已达到满足用户的信息需求及辅助用户进行决策的目的.代表有IBM watson.
3 问答系统整体框架
3.1 问答实现流程
图1 问答系统框架图
（一）问句分析模块
对问句做自然语言处理操作，分析意图并确定问句答案类型。对用户的提问进行处理：1）生成查询关键词（提取关键词、扩展关键词，……）；
2）解析问句的实体或关系；
3）确定答案类型。
（二）信息检索模块
1、模式匹配
对于某些提问类型（某人的出生日期、原名、别称等），问句和包含答案的句子之间存在一定的答案模式，或者从已有问答对库中进行匹配得出候选答案。
2、信息检索
利用问题处理模块抽取的查询关键词，用信息检索方式，检索出和提问相关的信息（段落、也可以是句群或者句子），作为候选答案。
3、KBQA
对问句进行语义理解和解析，利用知识库进行查询、推理得出答案，把查询到的实体作为候选答案或直接作为答案。
（三）答案抽取模块：
从检索模块检索出的相关段落、或句群、或句子中抽取出和提问答案类型一致的实体，
根据某种原则（再做探究）对候选答案进行打分，把概率最大的候选答案返回给用户。或者，使用训练好的统计学习模型，对候选答案进行二分类，判别是否作为答案输出。
1基于传统方法进行答案提取
关键词匹配+相似度计算及排序
2基于统计学习模型进行答案提取
提取特征+选取机器学习模型
3.2问句分析模块
3.2.1中文分词
a)基于规则的分词方法
主要是人工建立词库也叫做词典，通过词典匹配的方式对句子进行划分。其实现简单高效，但是对未登陆词很难进行处理。主要有正向最大匹配法，逆向最大匹配法以及双向最大匹配法。
正向最大匹配法（FMM）
(1)从左向右取待分汉语句的m个字作为匹配字段，m为词典中最长词的长度。（2）查找词典进行匹配。（3）若匹配成功，则将该字段作为一个词切分出去。（4）若匹配不成功，则将该字段最后一个字去掉，剩下的字作为新匹配字段，进行再次匹配。（5）重复上述过程，直到切分所有词为止。
逆向最大匹配法(RMM)
RMM的基本原理与FMM基本相同，不同的是分词的方向与FMM相反。RMM是从待分词句子的末端开始，也就是从右向左开始匹配扫描，每次取末端m个字作为匹配字段，匹配失败，则去掉匹配字段前面的一个字，继续匹配。
双向最大匹配法(Bi-MM)
Bi-MM是将正向最大匹配法得到的分词结果和逆向最大匹配法得到的结果进行比较，然后按照最大匹配原则，选取词数切分最少的作为结果。据SunM.S.和Benjamin K.T.（1995）的研究表明，中文中90.0%左右的句子，正向最大匹配法和逆向最大匹配法完全重合且正确，只有大概9.0%的句子两种切分方法得到的结果不一样，但其中必有一个是正确的（歧义检测成功），只有不到1.0%的句子，使用正向最大匹配法和逆向最大匹配法的切分虽然重合但是错的，或者两种方法切分不同但结果都不对（歧义检测失败）。
双向最大匹配的规则是：（1）如果正反向分词结果词数不同，则取分词数量少的那个。（2）如果分词结果词数相同：1）分词结果相同，没有歧义，返回任意一个。2）分词结果不同，返回其中单字数量较少的那个。
b)基于统计的分词方法
基于统计的分词法的基本原理是根据字符串在语料库中出现的统计频率来决定其是否构成词。词是字的组合, 相邻的字同时出现的次数越多, 就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映它们成为词的可信度。
1 N元语法（N-gram）模型和隐马尔可夫模型（HMM）
在N元语法中，一个句子可以看成一个连续的字符串序列，它可以是单字序列，也可以是词序列。一个句子W1W2......Wk的出现概率用P(W)表示，则：
式1
互信息用来表示两个字之间结合的强度，其公式为：
式2
可能性越大。当两个词x与y关系强时，MI(x , y )>= 0；x与y关系弱时，MI (x , y )≈0；而当MI(x , y )< 0时，x与y称为“互补分布”。
3 最大熵模型
“熵”是用来表示一个随机事件的不确定性的量度，其公式为：
式3
其主要思想是在只掌握关于未知分布的部分知识时，应选取符合这些知识但熵值最大的概率分布。式中，S在实验结束前是实验结果不确定性的度量，实验完成后是从实验中获得的信息量。S越大表明不确定性越大，实验结束后从中得到的信息量也越大。
分词工具：
（1）Jieba
支持三种分词模式：
精确模式。试图将句子最精确地切开，适合文本分析。
全模式。将句子中所有的可能成词的词语都扫描出来，速度非常快，但是不能解决歧义。
搜索引擎模式。在精确模式的基础上，对长词再次切分，提高召回率，适用于搜索引擎分词。
另外jieba 支持繁体分词，支持自定义词典。
其使用的算法是基于统计的分词方法，主要有如下几种：
i基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)
ii采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
iii对于未登录词，采用了基于汉字成词能力的HMM 模型，使用了Viterbi 算法(2)THULAC
THULAC（THU Lexical Analyzer for Chinese）由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包，GitHub 链接：https://https://www.doczj.com/doc/3e16472271.html,/thunlp/THULAC-Python，具有中文分词和词性标注功能。THULAC具有如下几个特点：
能力强。利用集成的目前世界上规模最大的人工分词和词性标注中文语料库（约含5800万字）训练而成，模型标注能力强大。
准确率高。该工具包在标准数据集Chinese Treebank（CTB5）上分词的F1值可达97.3％，词性标注的F1值可达到92.9％，与该数据集上最好方法效果相当。
速度较快。同时进行分词和词性标注速度为300KB/s，每秒可处理约15万字。只进行分词速度可达到1.3MB/s。
(3) NLPIR
NLPIR 分词系统，前身为2000年发布的ICTCLAS 词法分析系统，GitHub 链接：https://https://www.doczj.com/doc/3e16472271.html,/NLPIR-team/NLPIR，是由北京理工大学张华平博士研发的中文分词系统，经过十余年的不断完善，拥有丰富的功能和强大的性能。NLPIR是一整套对原始文本集进行处理和加工的软件，提供了中间件处理效果的可视化展示，也可以作为小规模数据的处理加工工具。主要功能包括：中文分词，词性标注，命名实体识别，用户词典、新词发现与关键词提取等功能。
(4)NLTK
NLTK，Natural Language Toolkit，是一个自然语言处理的包工具，各种多种NLP 处理相关功能，GitHub 链接：https://https://www.doczj.com/doc/3e16472271.html,/nltk/nltk。
但是NLTK 对于中文分词是不支持的，
如果要用中文分词的话，可以使用FoolNLTK，它使用Bi-LSTM 训练而成，包含分词、词性标注、实体识别等功能，同时支持自定义词典，可以训练自己的模型，可以进行批量处理。
(5) LTP
语言技术平台（Language Technology Platform，LTP）是哈工大社会计算与信息检索研究中心历时十年开发的一整套中文语言处理系统。LTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块（包括词
法、句法、语义等6项中文处理核心技术），以及基于动态链接库（Dynamic Link Library, DLL）的应用程序接口、可视化工具，并且能够以网络服务（Web Service）的形式进行使用。
3.2.2关键词提取
关键词提取算法一般分为有监督和无监督两类
有监督的关键词提取方法主要是通过分类的方式进行，通过构建一个较为丰富和完善的词表，然后判断每个文档与词表中每个词的匹配程度，以类似打标签的方式，达到关键词提取的效果。优点是精度较高，缺点是需要大批量的标注数据，人工成本过高，并且词表需要及时维护。
无监督的方法不需要人工标注的语料，利用某些方法发现文本中比较重要的词作为关键词，进行关键词提取。该方法是先抽取出候选词，然后对各个候选词进行打分，然后输出topK 个分值最高的候选词作为关键词。根据打分的策略不同，有不同的算法，例如TF-IDF，TextRank，LDA等算法。
无监督关键词提取方法主要有三类：基于统计特征的关键词提取（TF,TF-IDF）；基于词图模型的关键词提取(PageRank,TextRank)；基于主题模型的关键词提取(LDA)
●基于统计特征的关键词提取算法的思想是利用文档中词语的统计信息抽取文档的关
键词；
●基于词图模型的关键词提取首先要构建文档的语言网络图，然后对语言进行网络图分
析，在这个图上寻找具有重要作用的词或者短语，这些短语就是文档的关键词；
●基于主题关键词提取算法主要利用的是主题模型中关于主题分布的性质进行关键词
提取；
1.TF-IDF算法
TF-IDF是一种数值统计方法，用于反映一个词对于预料中某篇文档的重要性，它的主要思想为：如果某个词在一篇文档中出现的频率高，即TF高；并且在其他文档中很少出现，即IDF高，则认为这个词具有很好的类别区分能力。
TF为词频，表示词t在文档d中出现的频率：tf（word）= (word在文档中出现的次数）/ (文档总词数）
IDF常用的计算公式如下：|D|为文档集中的总文档数，为文档中出现词i的文档数量。分母加1是采用了拉普拉斯平滑，避免有部分新的词没有在语料库中出现过从而导致分母为零的情况。
2.TextRank算法
此种算法的一个重要特点是可以脱离语料库的背景，仅对单篇文档进行分析就可以提取
该文档的关键词。基本思想来源于Google的PageRank算法。这种算法是1997年，Google 创始人拉里.佩奇和谢尔盖.布林在构建早期的搜索系统原型时提出的一种链接分析算法，基本思想有两条：
1）链接数量。一个网页被越多的其他网页链接，说明这个网页越重要
2）链接质量。一个网页被一个越高权值的网页链接，也能表明这个网页越重要
TextRank 用于关键词提取的算法如下：
（1）把给定的文本T 按照完整句子进行分割，即:
（2）对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词。
（3）构建候选关键词图G = (V,E)，其中V 为节点集，由（2）生成的候选关键词组成，然后采用共现关系（Co-Occurrence）构造任两点之间的边，两个节点之间存在边仅当它们对应的词汇在长度为K 的窗口中共现，K 表示窗口大小，即最多共现K 个单词。
（4）根据TextRank 的公式，迭代传播各节点的权重，直至收敛。
（5）对节点权重进行倒序排序，从而得到最重要的T 个单词，作为候选关键词。
（6）由（5）得到最重要的T 个单词，在原始文本中进行标记，若形成相邻词组，则组合成多词关键词。
除此之外，还有一些关键词提取方法：Word2Vec词聚类的关键词提取算法及实现；信息增益关键词提取；互信息关键词提取；卡方检验关键词提取；基于树模型的关键词提取算法及实现。
关键词提取常用工具包：
Jieba；Textrank4zh（TextRank算法工具）；SnowNLP （中文分析）简体中文文本处理无监督方法和有监督方法优的缺点
无监督方法不需要人工标注训练集合的过程，因此更加快捷，但由于无法有效综合利用多种信息对候选关键词排序，所以效果无法与有监督方法媲美；
而有监督方法可以通过训练学习调节多种信息对于判断关键词的影响程度，因此效果更优，有监督的文本关键词提取算法需要高昂的人工成本，因此现有的文本关键词提取主要采用适用性较强的无监督关键词提取。
3.2.3关键词扩展
目前有两种主流的方式，一是通过搜索引擎等外部文本扩展，或者借助知识库如WordNet或Wikipedia等，挖掘词之间的内在联系。
1、同义词扩展。引入哈工大《同义词词林词典》
2、使用外部的关键词扩展工具。（百度关键词规划师工具、词库网、金花站长工具、
爱站站长工具包、熊猫关键字扩展工具等。）
3、统计学习方法。使用自编码模型AutoEncode进行扩展。
3.2.4实体识别
命名实体识别，简称NER，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等，以及时间、数量、货币、比例数值等文字。目前在NER上表现较好的模型都是基于深度学习或者是统计学习的方法的，这些方法共同的特点都是需要大量的数据来进行学习。
目前常用的模型：隐马尔科夫模型（HMM）；条件随机场（CRF）；双向长短时网络（Bi-LSTM）；Bi-LSTM+CRF；BERT+LSTM+CRF。
隐马尔科夫模型(HMM)
NER本质上可以看成是一种序列标注问题，在使用HMM解决NER这种序列标注问题的时候，我们所能观测到的是字组成的序列（观测序列），观测不到的是每个字对应的标注（状态序列）。
条件随机场(CRF)
上面讲的HMM模型中存在两个假设，一是输出观察值之间严格独立，二是状态转移过程中当前状态只与前一状态有关。也就是说，在命名实体识别的场景下，HMM认为观测到的句子中的每个字都是相互独立的，而且当前时刻的标注只与前一时刻的标注相关。但实际上，命名实体识别往往需要更多的特征，比如词性，词的上下文等等，同时当前时刻的标注应该与前一时刻以及后一时刻的标注都相关联。由于这两个假设的存在，显然HMM模型在解决命名实体识别的问题上是存在缺陷的。
而条件随机场就没有这种问题，它通过引入自定义的特征函数，不仅可以表达观测之间的依赖，还可表示当前观测与前后多个状态之间的复杂依赖，可以有效克服HMM模型面临的问题。
Bi-LSTM
LSTM也常常被用来解决序列标注问题。和HMM、CRF不同的是，LSTM是依靠神经网络超强的非线性拟合能力，在训练时将样本通过高维空间中的复杂非线性变换，学习到从样本到标注的函数，之后使用这个函数为指定的样本预测每个token的标注。
Bi-LSTM+CRF
简单的LSTM的优点是能够通过双向的设置学习到观测序列（输入的字）之间的依赖，在训练过程中，LSTM能够根据目标（比如识别实体）自动提取观测序列的特征，但是缺点是无法学习到状态序列（输出的标注）之间的关系，要知道，在命名实体识别任务中，标注之间是有一定的关系的，比如B类标注（表示某实体的开头）后面不会再接一个B类标注，所以LSTM在解决NER这类序列标注任务时，虽然可以省去很繁杂的特征工程，但是也存
在无法学习到标注上下文的缺点。
相反，CRF的优点就是能对隐含状态建模，学习状态序列的特点，但它的缺点是需要手动提取序列特征。所以一般的做法是，在LSTM后面再加一层CRF，以获得两者的优点。
BERT+LSTM+CRF
在基于神经网络的中文命名实体识别方法中,字的向量化表示是重要一步,传统的词向量表示将字映射为单一向量,这种方法无法表征字的多义性。针对这个问题,提出了基于BERT 嵌入的中文命名实体识别方法。该方法通过BERT(Bidirectional Encoder Representations from Transformers)预训练语言模型增强字的语义表示,根据字的上下文动态生成语义向量,然后再将字向量序列输入BiGRU-CRF中进行训练,训练时可以训练整个BERT-BiGRU-CRF模型,也可以固定BERT,只训练BiGRU-CRF部分。
3.2.5问句分类
目前存在的问题分类方法主要有两种：基于规则的方法和基于统计的方法（或者说基于机器学习的方法）。
基于规则的问句分类方法，主要是用人工分析句法结构或语义特征来编写分类规则。通过提取各种类型问句中的疑问词和关键词的特征规则，根据这两方面的对应关系最终达到问题准确分类。
基于统计的问句分类方法，其中分为传统的机器学习方法和深度学习方法。（1）传统的机器学习问句分类方法主要对三个方面进行研究：特征工程、特征选择和选用不同的机器学习模型进行分类。在特征工程上，词袋特征、词性、名词短语和树核函数等。在特征选择上，最广泛使用的选择方法是词频计算，此外，还有一些高效的特征选择方法，如：信息熵、互信息等。在机器学习模型上，常使用的有贝叶斯模型、最大熵模型、支持向量机模型等。（2）基于深度学习的问句分类方法，使用预训练的词向量和深度神经网络模型完成自动分类。它能够通过大量训练语料自动获取问句基本特征，然后将这些基本特征组合成复杂的特征，最后训练模型来捕获提取的问句特征和问句类别之间的语义关系。经常使用的深度学习模型有：卷积神经网络（CNN）模型，循环神经网络（RNN）模型、长短期记忆网络（LSTM）模型、双向长短期记忆网络（Bi-LSTM）模型以及各种神经网络的组合模型。
基于规则的问句分类方法，不需要大量的训练数据，并且实现起来相对容易。但有如下缺点：1）费时费力。需要大量语言学知识背景的人去手工编写规则。2）主观性强。既是人工制定的规则，不免会产生主观随意性，造成分类的不确定性。3）可移植性差。制定好的规则就会受分类体系的制约，分类体系发生改变，这些规则就会受到很大程度的影响。
基于统计的学习方法，其中基于传统的机器学习问句分类方法存在如下缺点：1）问句分类一般需要先对问句完成词性标注、句法分析、语义分析等自然语言处理任务，这些任务的准确率将对问句分类准确率产生很大程度的影响，2）另外此方法都存在数据稀疏性的问
题。基于深度学习的问句分类方法使用分布式表示的词向量可以大大降低数据稀疏性。该方法能够较好的提取问句的语义特征，对问句分类的效果相对较好。但仍然存在较普遍的缺点：1）该深度学习模型需要大量的训练语料，仍需要人工标注部分语料以便提升分类准确率。2）由于问句本身较难分析，已标注的语料并不能覆盖所有的问句类型。3）问句文本较短，能够提取的有用的特征非常有限，增加了问题分类的难度。
3.3 信息检索模块
依据不同的数据类型，进行不同方式的信息检索：
3.3.1模式匹配
对于某些提问类型（某人的出生日期、原名、别称等），问句和包含答案的句子之间存在一定的答案模式，或者从已有问答对库中进行匹配得出候选答案。
3.3.2答案检索
检索常用的模型有布尔模型、向量空间模型以及概率模型。
1. 布尔模型是一种简单检索模型，基于集合论和布尔代数。其查询由联接符AND、
OR 和NOT 构成，通过对每个关键词对应的倒排索引取交集、并集或补集，返回若干相关文档给用户。
举例：下面有2个文档:
文档1：a b c f g h；
文档2：a f b x y z；
用户想找出出现a或者b但一定要出现z的文档（三元组）。当然我们仔细一看，结果显而易见是文档2符合用户的需求。但是对于计算机布尔排序模型它是怎么实现的呢？将查询表示为布尔表达式Q=(a∨b)∧z，并转换成析取范式qDNF=(1，0，1)∨(0，1，1)∨(1，1，1)（三元组）;文档1和文档2的三元组对应值分别为(1，1，0)和(1，1，1)；经过匹配，将文档2返回；
布尔模型的优点：通过使用复杂的布尔表达式，可以很方便地控制查询结果；
布尔模型问题：1.不支持部分匹配，而完全匹配会导致太多或者太少的，非常刚性：“与”意味着全部；“或”意味着任何一个；2.很难控制被检索的文档数量原则上讲，所有被匹配的文档都将被返回；3.很难对输出进行排序；
向量空间模型(Vector Space Model)
I. 文档表示
向量空间模型把每个文档表示成一个t维的向量，这t维特征可以是单词、词组、
N-gram片段等，最常用的是单词。每个特征会计算相应的权重，这t维带有权重的特征共同构成了一个文档，用于表示文档的主题内容。
实际系统中的维度非常高，成千上万。
II. 特征权重计算
文档和查询转换为特征向量时，每个特征（即单词）会赋予权值，一般采用TF-IDF 框架计算权值。
III. 相似性计算
向量空间模型以查询和文档之间的内容相关性来作为相关性的替代，按照文档和查询的相似性得分从高到低排序作为搜索结果，但是两者实际并不等同。
概率检索模型（probability model）
概率检索模型基于概率排序原理，是目前效果最好的模型之一，okapi BM25这一经典概率模型计算公式已经在商业搜索引擎的网页排序中广泛应用。
I. 概率排序原理
基本思想：给定一个用户查询，若搜索系统能在搜索结果排序时按照文档和用户查询的相关性由高到低排序，那么这个搜索系统的准确性是最优的。
II. 实际实现
根据用户的查询将文档集合划分为两个集合：相关文档子集和不相关文档子集。
将相关性衡量转换为分类问题，对某个文档D来说，若其属于相关文档子集的概率大于属于不相关文档的概率，就认为它与查询相关。
III. 估值公式
基于二元独立模型（BIM）的二元假设和词汇独立性假设，得到最终的相关性估算公式
式4
文档集合中出现的概率。
取log便于计算：
式5
BIM模型只考虑了单词是否在文档中出现过，而未考虑单词的权值。BM25模型在其基础上考虑了单词在查询中的权值及单词在文档中的权值，拟合出综合公式，并通过实验引入了一些经验参数。
语言模型（Language Model）
基于统计语言模型的检索模型于1998年首次提出，借鉴了语音识别领域采用的语言模型技术。
一类最简单的语言模型与一个概率有穷自动机等价。
在一元语言模型中，词出现的先后次序无关紧要，因此，这类模型也往往称为词袋模型
I. 基本思想
区别于其他大多数检索模型从查询到文档（即给定用户查询，如何找出相关的文档），语言模型由文档到查询，即为每个文档建立不同的语言模型，判断由文档生成用户查询的可能性有多大，然后按照这种生成概率由高到低排序，作为搜索结果。
II. 生成查询概率
为每个文档建立一个语言模型，语言模型代表了单词（或单词序列）在文档中的分布情况。针对查询中的单词，每个单词都有一个抽取概率，将这些单词的抽取概率相乘就是文档生成查询的概率。
III. 存在问题
由于一个文档文字内容有限，所以很多查询词都未在文中出现过，生成概率为0，会导致查询整体的生成概率为0,这被称为语言模型的数据稀疏问题，是语言模型方法重点需要解决的问题。
IV. 解决方案
一般采用数据平滑方式解决数据稀疏问题。语言模型检索方法则是为所有单词引入一个背景概率做数据平滑。
V. 查询似然模型（query likelihood model）
对文档集中的每篇文档d 构建其对应的语言模型Md。目标是将文档按照其与查询相关的似然P(d|q)排序。
最普遍的计算P(d|q)的方法是使用多项式一元语言模型，该模型等价于多项式朴素贝叶斯模型，其中这里的文档相当于后者中的类别，每篇文档在估计中都是一门独立的“语言”。
在基于语言模型（简记为LM）的检索中，可以将查询的生成看成一个随机过程。具体的方法是：
(1) 对每篇文档推导出其LM；
(2) 估计查询在每个文档di 的LM 下的生成概率P(q|Md)
(3) 按照上述概率对文档进行排序。
3.3.3知识图谱
以知识图谱构建事实型的问答系统，也称之为知识库问答（Knowledge Base Question Answering，KBQA）
知识图谱是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是三元组（SPO: Subject, Predicate, Object 分别表示主语、属性、宾语）。
三元组的基本形式主要包括：
实体1 - 关系- 实体2
概念- 属性- 属性值
实体是知识图谱中的最基本元素，不同的实体间存在不同的关系。概念主要指集合、类别、对象类型、事物的种类，例如人物、地理等；属性主要指对象可能具有的属性、特征、特性、特点以及参数，例如国籍、生日等；属性值主要指对象指定属性的值，例如中国、1988-09-08 等。每个实体用一个全局唯一确定的ID 来标识，每个属性- 属性值对（attribute-value pair，A VP）可用来刻画实体的内在特性，而关系可用来连接两个实体，刻画它们之间的关联。
基于知识图谱的问答系统，需要解决两个核心问题：
如何理解问题语义，并用计算机可以接受的形式进行表示(问题的理解和表示)；
以及如何将该问题表示关联到知识图谱的结构化查询中(语义关联)。
传统的主流方法可以分为三类：
1)语义解析（Semantic Parsing）：该方法是一种偏语言学的方法，主体思想是将自
然语言转化为一系列形式化的逻辑形式（logic form），通过对逻辑形式进行自底向上的解析，得到一种可以表达整个问题语义的逻辑形式，通过相应的查询语句在知识库中进行查询，从而得出答案。下图红色部分即逻辑形式，绿色部分where was Obama born 为自然语言问题，蓝色部分为语义解析进行的相关操作，而形成的语义解析树的根节点则是最终的语义解析结果，可以通过查询语句直接在知识库中查询最终答案。
2)信息抽取（Information Extraction）：该类方法通过提取问题中的实体，通过在
知识库中查询该实体可以得到以该实体节点为中心的知识库子图，子图中的每一个节点或边都可以作为候选答案，通过观察问题依据某些规则或模板进行信息抽取，得到问题特征向量，建立分类器通过输入问题特征向量对候选答案进行筛选，从而得出最终答案。
3)向量建模（Vector Modeling）：该方法思想和信息抽取的思想比较接近，根据问
题得出候选答案，把问题和候选答案都映射为分布式表达（Distributed Embedding），通过训练数据对该分布式表达进行训练，使得问题和正确答案的向量表达的得分（通常以点乘为形式）尽量高，如下图所示。模型训练完成后则可根据候选答案的向量表达和问
题表达的得分进行筛选，得出最终答案。
知识图谱架构：
图2 知识图谱架构图
数据获取是建立知识图谱的第一步。目前，知识图谱数据源按来源渠道的不同可分为两种：一种是业务本身的数据，这部分数据通常包含在行业内部数据库表并以结构化的方式存储，是一种非公开或半公开的数据；另一种是网络上公开、抓取的数据，这些数据通常是以网页的形式存在，是非结构化的数据。
按数据结构的不同，可分为三种：结构化数据、半结构化数据和非结构化数据，根据不同的数据类型，我们采用不同的方法进行处理。
图3 数据获取及处理方法图
信息抽取的关键问题是如何从异构数据源中自动抽取信息得到候选知识单元。如前文所说，知识获取有两种渠道，前者只需要简单预处理即可以作为后续AI系统的输入，但后者一般需要借助于自然语言处理等技术来提取出结构化信息，这正是信息抽取的难点问题，涉及的关键技术包括实体抽取、关系抽取和属性抽取。
（1）实体抽取（Entity Extraction）/命名实体识别（Name Entity Recognition）实体抽取又称为命名实体识别（NER），是指从文本数据集中自动识别出命名实体，其目的就是建立知识图谱中的“节点”。实体抽取的质量（准确率和召回率）对后续的知识获取效率和质量影响极大，因此是信息抽取中最为基础和关键的部分。
实体的类型主要包括三大类七小类：实体类（包括人名，地名，机构名）、时间类（日期，时间）、数字类（货币、百分比）。
最初，实体识别通常采用人工预定义实体分类体系的方式，但是随着技术的日新月异，这种老旧的方式已经很难适应时代的需求，因此面向开放领域的实体识别和分类极具研究价值。
在面向开放域的实体识别和分类研究中，不需要也不可能为每个领域或者每个实体类别建立单独的语料库作为训练集。因此，研究人员主要面临的挑战是如何从给定的少量实体实例中自动发现具有区分力的模型。
一种思路是根据已知的实体实例进行特征建模，利用该模型处理海量数据集得到新的命名实体列表，然后针对新实体建模，迭代地生成实体标注语料库。
另一种思路是利用搜索引擎的服务器日志，事先并不给出实体分类等信息，而是基于实体的语义特征从搜索日志中识别出命名实体，然后采用聚类算法对识别出的实体对象进行聚类。
（2）关系抽取（Relation Extraction）
文本语料经过实体抽取之后得到的是一系列离散的命名实体（节点），为了得到语义信息，还需要从相关的语料中提取出实体之间的关联关系（边），才能将多个实体或概念联系起来，形成网状的知识结构。研究关系抽取技术，就是研究如何解决从文本语料中抽取实体间的关系。
（3）属性抽取（Attribute Extraction）
属性抽取的目标是从不同信息源中采集特定实体的属性信息，从而完成对实体属性的完整勾画，如针对某款手机，可以从互联网中获取多源（异构）的数据，从中得到其品牌、配置等信息。
如果把实体的属性值看作是一种特殊的实体，那么属性抽取实际上也是一种关系抽取。百科类网站提供的半结构化数据是通用领域属性抽取研究的主要数据来源，但具体到特定的应用领域，涉及大量的非结构化数据，属性抽取仍然是一个巨大的挑战。
（三）知识融合（Knowledge Fusion）
经由信息抽取之后的信息单元间的关系是扁平化的，缺乏层次性和逻辑性，同时存在大量冗余甚至错误的信息碎片。知识融合，简单理解，就是将多个知识库中的知识进行整合，形成一个知识库的过程，在这个过程中，主要关键技术包含指代消解、实体消歧、实体链接。不同的知识库，收集知识的侧重点不同，对于同一个实体，有知识库的可能侧重于其本身某
个方面的描述，有的知识库可能侧重于描述实体与其它实体的关系，知识融合的目的就是将不同知识库对实体的描述进行整合，从而获得实体的完整描述。
知识融合旨在解决如何将关于同一个实体或概念的多源描述信息融合起来。
（1）指代消解（Coreference Resolution）
Coreference Resolution，字面上翻译应该是“共指消解”，但在大部分博客或者论坛中通常被称呼为“指代消解”。一般情况下，指代分为三种（NLP领域一般只关注前两种指代类型）：
一是回指(也称指示性指代)，对应单词为“anaphora”，指的是当前的指代词与上文出现的词、短语或句子（句群）存在密切的语义关联性，它指向另一个词（称为先行词），该指代词的解释依赖于先行词的解释，具有非对称性和非传递性；
二是共指(也称同指)，对应单词为“coreference”，指的是两个名词(包括代名词、名词短语)指向真实世界中的同一参照体，这种指代脱离上下文仍然成立。共指消解技术主要用于解决多个指称对应同一实体对象的问题。
三是“下指”，对应单词为“cataphora”，和回指刚好相反，指的是指代词的解释取决于指代词之后的某些词、短语或句子（句群）的解释。如下图中的he和his都指代后面的Lord：所以，根据上面描述，个人认为将“Coreference Resolution”翻译为“指代消解”更为恰当。
（2）实体消歧（Entity Disambiguation）
有些实体写法不一样，但指向同一个实体，比如“New York”表示纽约，而“NYC”同样也可以表示纽约。这种情况下，实体消歧可以减少实体的种类，降低图谱的稀疏性。
实体消歧是专门用于解决同名实体产生歧义问题的技术，通过实体消歧，就可以根据当前的语境，准确建立实体链接，实体消歧主要采用聚类法。其实也可以看做基于上下文的分类问题，类似于词性消歧和词义消歧。
（3）实体链接（Entity Linking）
实体链接（entity linking）是指对于从非结构化数据（如文本）或半结构化数据（如表格）中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象的操作。其基本思想是首先根据给定的实体指称项，从知识库中选出一组候选实体对象，然后通过相似度计算将指称项链接到正确的实体对象。
（4）知识合并
实体链接链接的是从半结构化数据和非结构化数据那里通过信息抽取提取出来的数据。那么除了半结构化数据和非结构化数据以外，还有个更方便的数据来源——结构化数据，如外部知识库和关系数据库。对于这部分结构化数据的处理，就是知识合并的内容啦。一般来说知识合并主要分为两种：
合并外部知识库，主要处理数据层和模式层的冲突
合并关系数据库，有RDB2RDF等方法
（四）知识加工（Knowledge Processing）
海量数据在经信息抽取、知识融合之后得到一系列基本的事实表达，但这并不等同于知识，要想获得结构化，网络化的知识体系，还需要经过质量评估之后（部分需要人工参与甄别），才能将合格的部分纳入知识体系中以确保知识库的质量，这就是知识加工的过程。知识加工主要包括3方面内容：本体构建、知识推理和质量评估。
（1）本体（Ontology）
本体的概念：本体定义了组成领域的词汇表的基本术语及其关系，以及结合这些术语和关系来定义词汇表外延的规则。
领域。一个本体描述的是一个特定的领域。比如我们确定这次要描述的领域是「大学」。
术语。指给定领域中的重要概念。例如，确定要描述大学了，对于一个大学来说什么概念是重要的呢？我们可以列举出教职工、学生、课程等等概念。
基本术语之间的关系。包括类的层次结构，包括并列关系、上下位关系等等。比如教职工是老师、行政人员、技术支持人员的父类；学生是本科生、研究生的父类；研究生是硕士、博士的父类等等。
词汇表外延的规则。包括属性、值约束、不相交描述（如教职人员和学生不相交）、对象间逻辑关系的规定（如一个教研室至少有10名教职工）等等。
（2）本体构建（Ontology Extraction）
本体构建过程包含三个阶段：实体并列关系相似度计算；实体上下位关系抽取；本体的生成。
比如对下面这个例子，当知识图谱刚得到“阿里巴巴”、“腾讯”、“手机”这三个实体的时候，可能会认为它们三个之间并没有什么差别，但当它去计算三个实体之间的相似度后，就会发现，阿里巴巴和腾讯之间可能更相似，和手机差别更大一些。这就是第一步的作用，但这样下来，知识图谱实际上还是没有一个上下层的概念，它还是不知道，阿里巴巴和手机，根本就不隶属于一个类型，无法比较。因此我们在实体上下位关系抽取这一步，就需要去完成这样的工作，从而生成第三步的本体。
当三步结束后，这个知识图谱可能就会明白，“阿里巴巴和腾讯，其实都是公司这样一个实体下的细分实体。它们和手机并不是一类。”
（3）知识推理（Knowledge Inference）
完成了本体构建这一步之后，一个知识图谱的雏形便已经搭建好了。但可能在这个时候，知识图谱之间大多数关系都是残缺的，缺失值非常严重，那么这个时候，我们就可以使用知识推理技术，去完成进一步的知识发现。
知识推理就是指从知识库中已有的实体关系数据出发，经过计算机推理，建立实体间的新关联，从而扩展和丰富知识网络。
导读：知识图谱 (Knowledge Graph) 是当前的研究热点。自从2012年Google推出自己第一版知识图谱以来，它在学术界和工业界掀起了一股热潮。各大互联网企业在之后的短短一年纷纷推出了自己的知识图谱产品以作为回应。比如在国，互联网巨头百度和搜狗分别推出”知心“和”知立方”来改进其搜索质量。那么与这些传统的互联网公司相比，对处于当今风口浪尖上的行业 - 互联网金融，知识图谱可以有哪方面的应用呢？ 目录： 1. 什么是知识图谱？ 2. 知识图谱的表示 3. 知识图谱的存储 4. 应用 5. 挑战 6. 结语 1.什么是知识图谱？ 知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里
输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。 另外，对于稍微复杂的搜索语句比如”Who is the wife of Bill Gates“，Google能准确返回他的妻子Melinda Gates。这就说明搜索引擎通过知识图谱真正理解了用户的意图。 上面提到的知识图谱都是属于比较宽泛的畴，在通用领域里解决搜索引擎优化和问答系统(Question-Answering)等方面的问题。接下来我们看一下特定领域里的 (Domain-Specific) 知识图谱表示方式和应用，这也是工业界比较关心的话题。 2.知识图谱的表示 假设我们用知识图谱来描述一个事实（Fact） - “三是四的父亲”。这里的实体是三和四，关系是“父亲”（is_father_of）。当然，三和四也可能会跟其他人存在着某种类型的关系（暂时不考虑）。当我们把也作为节点加入到
知识管理论坛 ISSN 2095-5472 CN11-6036/C Knowledge Management Forum E-mail: kmf@https://www.doczj.com/doc/3e16472271.html, https://www.doczj.com/doc/3e16472271.html, 519 【专家访谈】 依托知识管理实现智能服务 ——专访华夏基金知识管理专家葛朝晖、李响 ◎ 采编：刘远颖 易飞 王铮 专家简介 葛朝晖：具有证券/基金、互联网、软件等多个行业的丰富从业经历，自2007年加入华夏基金，现任客户服务总监。在此期间，积极推动部门建立三级KPI 指标体系，不断提升服务效率，实现对4 700多万基金客户的优质服务，连续7次获得中国客服委最佳客服评奖；组织实施客服知识库改造，2次获得“中国最受尊敬的知识型组织大奖”（MAKE 大奖），并在业内首家上线智能客服系统。 李响：2007年加入华夏基金，现任客户服务部质检中心主管，负责管理质检、知识库、 培训、投诉等工作，从业经验丰富。从2010年起开始进行知识管理，不断探索基金行业知识体系架构，建立起符合行业需要的知识四库，以创新的知识应用方式获得权威机构认可。 采访者：《知识管理论坛》（以下简称KMF ）编辑部刘远颖、易飞 文字整理：王铮 受访者：华夏基金客服服务部总监葛朝晖、质检中心主管李响（以下简称“华夏基金”）采访时间：2017年7月13日采访地点：华夏基金客户服务部 引用格式：依托知识管理实现智能服务——专访华夏基金知识管理专家葛朝晖、李响[J/OL]. 知识管理论坛, 2017, 2(6): 519-525[引用日期]. https://www.doczj.com/doc/3e16472271.html,/p/119/. 发表日期：2017-12-28 本文责任编辑：刘远颖 葛朝晖 李响 1 关于基金行业的知识管理特点 KMF ：两位专家你们好！感谢你们接受《知识 管理论坛》的采访，本刊从2016年开始采访知识管理界的专家学者，涵盖了软件界、咨询界、培训界、学术界等各个方面的人士，而你们是来
龙源期刊网 https://www.doczj.com/doc/3e16472271.html, 智能问答系统中命名实体识别问题研究 作者：费建军 来源：《数字技术与应用》2017年第07期 摘要：信息化时代的到来，人们从互联网中快速获得大量的信息。如何高效的从海量数据中获取有用的资源的需求和人工智能的兴起，促进了问答系统的发展。问答系统是构架于信息抽取之上，其影响着知识库的结构和解析问句的方式。命名实体是信息抽取领域的一个子集。所以本文主要是针对实体识别模型进行研究，本文介绍了三中主流实体识别模型的，并将股票实体作为研究对象，最终采用了CRF（Conditional Random Field）条件随机场模型。在该模型基础上根据上下文和词性特征，提出了CC-CRF识别算法。利用CRF++训练得到能够识别代码和名称的CC-CRF实体识别模型。 关键词：股票；命名实体识别；CRF模型 中图分类号：TP391.6 文献标识码：A 文章编号：1007-9416（2017）07-0093-04 命名实体通常指的是现实中独立存在的具体的或者抽象的事物[2]。如何使计算机能够理 解自然语言是智能问答系统需要解决的一个关键问题。自然语言处理的研究范围包括词法分析、信息抽取、自动文摘等[1]。信息抽取领域中，命名实体识别作为重要分支[3]，其任务是标注语句中的实体，所以命名实体的识别有着非常关键的意义。作为文本的基本单位，它包含大量的语义信息，因此对命名实体进行识别可以保证最简单快捷的获得文本信息。他存在的价值就是标注语句中的实体，实体的识别对正确解析自然语言有着极其重要的作用。识别的实体领域一般为人名、机构名、地名以及专有名词等。在实际研究中，还需要根据具体要求来确定。本文中，要识别的实体为股票名称与股票代码[4]。命名实体识别在问句处理和知识库的 构建方面发挥着关键性的作用。 命名实体识别的方法主要有：基于规则和词典的方法、基于统计的方法和二者混合的方法[5]。 本文介绍了四种命名实体识别模型（基于规则和词典的方法、隐马尔科模型、最大熵模型、条件随机场模型）以及每种模型的优缺点。在经过对比并且结合股票命名实体的特点，选择条件随机场作为投资领域命名实体的模型。并在此基础上提出了引入了上下文特征和词性特征的CC-CRF识别算法。使用该模型对语料训练得到CC-CRF模型，并对模型的识别效果进行测试。 1 相关工作与常规实体识别模型 1.1 基于规则和词典的方法
导读：知识图谱(Knowledge Graph) 是当前的研究热点。自从2012年Google推出自己第一版知识图谱以来，它在学术界和工业界掀起了一股热潮。各大互联网企业在之后的短短一年内纷纷推出了自己的知识图谱产品以作为回应。比如在国内，互联网巨头百度和搜狗分别推出”知心“和”知立方”来改进其搜索质量。那么与这些传统的互联网公司相比，对处于当今风口浪尖上的行业- 互联网金融，知识图谱可以有哪方面的应用呢？ 目录： 1. 什么是知识图谱？ 2. 知识图谱的表示 3. 知识图谱的存储 4. 应用 5. 挑战 6. 结语 1.什么是知识图谱？ 知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。
知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。 另外，对于稍微复杂的搜索语句比如”Who is the wife of Bill Gates“，Google能准确返回他的妻子Melinda Gates。这就说明搜索引擎通过知识图谱真正理解了用户的意图。
Computer Science and Application 计算机科学与应用, 2019, 9(11), 2098-2104 Published Online November 2019 in Hans. https://www.doczj.com/doc/3e16472271.html,/journal/csa https://https://www.doczj.com/doc/3e16472271.html,/10.12677/csa.2019.911235 Design of Question Answering System of Intelligent Customer Service Robot Based on Knowledge Base Jie Lu, Shaobo Li The Mechanical Engineering College, Guizhou University, Guiyang Guizhou Received: Nov. 1st, 2019; accepted: Nov. 14th, 2019; published: Nov. 21st, 2019 Abstract Firstly, this paper analyzes the current situation of intelligent customer service robot, summarizes the characteristics of information retrieval, database query and Q&A system. It also compares the question answering system based on Web information retrieval, the question answering system based on knowledge base and the community question answering system. Secondly,it decomposes the knowledge base management and relationship architecture of Q&A system, and puts forward the specific learning process and implementation framework. Finally, the weather query applica-tion scenario is simulated. The results show that the question answering system of intelligent customer service robot based on knowledge has good practical application effect. Keywords Question Answering, Knowledge Base, Natural Language Processing, Resource Description Framework 基于知识库的智能客服机器人问答系统设计 陆婕，李少波 贵州大学机械工程学院，贵州贵阳 收稿日期：2019年11月1日；录用日期：2019年11月14日；发布日期：2019年11月21日 摘要 本文首先对智能客服机器人现状进行分析，总结了基于任务处理模式的信息检索、数据库查询、问答系
如何构建知识体系——借助知识管理迈向智能化之体系建设 “长久以来，我坚信存在某个系统——几乎所有聪明人都能掌握的系统，它比绝大多数人用的系统管用。你需要做的是在你的头脑里形成一种思维模型的复式框架。有了那个系统之后，你就能逐渐提高对事物的认识。你必须知道重要学科的重要理论，并经常使用它们——要全部都用上，而不是只用几种。” ——查理·芒格（一）为什么需要知识体系？ 一起来走近一个生活场景——打开你的衣橱看看是什么样子？是“井然有序”还是“乱七八糟”？衣橱里的衣服，一旦不整理，换季了、潮流过了，明年此时你还记得它在哪么？ 不管是个人还是企业，构建知识体系犹如掌握衣橱整理术。新增一个知识，犹如在衣橱里新加入一件衣服，是上衣还是下衣，是春装还是冬装，是内穿还是外穿，是深色还是浅色等等“标签”帮我们辨识这件衣服的归属、功能、使用场合。衣橱地有序整理，帮我们解决三件事：选择困难、利用率低、自相矛盾。知识体系的作用也是如此。 1）选择困难。知识多了反而不知道怎么用，就和女生出门前不知道选择穿什么的感觉一样，如此多的可选项，眼花缭乱。 2）利用率低。为了一时的兴趣或趋势而学习知识，就如跟风买衣服一样，兴趣没了、潮流过了，衣服就只是试装时穿了一次，然后被遗忘在衣橱一角，两年后偶尔翻起，哦，以前竟然买过这样一件衣服/买过这样一本书/存过这样一个资料。
3）自相矛盾。就像女生出门前总觉得缺了一件衣服，即使衣橱“风格迥异”的衣物已经快溢出来了，今天甜美风、明天嘻哈风，后天森女风，接下去就只能披“疯”了。类似地，知识不经体系化筛选的后果是前后矛盾、逻辑不能自洽。 知识要能为解决问题而服务，一是让知识在大脑（犹如衣橱）中变得深刻，不会学过就忘了，想再用时却想不起来了，这是机械式学习、缺乏场景应用导致的。可以回想下，我们看过很多文章、书籍、被推送很多知识点，当时的恍然往往变成今时的茫然：我在哪，我是谁，我学过？二是降低我们的知识焦虑，总觉得知识不够用和总觉得衣服不够穿，是同样的心理机制。三是减少知识收集癖，脑部活动是需要时时刺激神经的，企业的“大脑”也如此，一大堆不活跃的内容占据了“内存”，企业怎么会有活力。 （二）如何构建知识体系？ “长久以来，我坚信存在某个系统——几乎所有聪明人都能掌握的系统，它比绝大多数人用的系统管用。你需要做的是在你的头脑里形成一种思维模型的复式框架。有了那个系统之后，你就能逐渐提高对事物的认识。你必须知道重要学科的重要理论，并经常使用它们——要全部都用上，而不是只用几种。”这是查理·芒格实践的多元思维模式，基于多元化知识体系构建的思维体系帮助他实现卓越的投资成绩。 （1）以业务为核心的知识体系 企业“大脑”也需要类似芒格多元化思维模式的元知识体系支撑其发展。元知识体系犹如树干，其他知识体系犹如树枝，元知识体系是其他知识体系的核心基础，所有新
导读:知识图谱(Knowledge Graph) 就是当前的研究热点。自从2012年Google推出自己第一版知识图谱以来,它在学术界与工业界掀起了一股热潮。各大互联网企业在之后的短短一年内纷纷推出了自己的知识图谱产品以作为回应。比如在国内,互联网巨头百度与搜狗分别推出”知心“与”知立方”来改进其搜索质量。那么与这些传统的互联网公司相比,对处于当今风口浪尖上的行业- 互联网金融, 知识图谱可以有哪方面的应用呢？ 目录: 1、什么就是知识图谱？ 2、知识图谱的表示 3、知识图谱的存储 4、应用 5、挑战 6、结语 1、什么就是知识图谱？ 知识图谱本质上就是语义网络,就是一种基于图的数据结构,由节点(Point)与边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱就是关系的最有效的表示方式。通俗地讲,知识图谱就就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。
知识图谱这个概念最早由Google提出,主要就是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。 另外,对于稍微复杂的搜索语句比如”Who is the wife of Bill Gates“,Google 能准确返回她的妻子Melinda Gates。这就说明搜索引擎通过知识图谱真正理解了用户的意图。
知识管理的产生与发展 知识管理可以说是既古老又年轻的领域。说它古老，是因为透过历史我们可以看到，人类其实在很早以前就开始了对知识的管理活动，并对这一问题进行了探索，只不过由于各种条件的限制，当时这些活动大多属于自发的，内容也比较零散；说它年轻，知识管理真正作为一门严格的管理开始被学术界系统研究不过是最近几十年的事情。 1.2.1 古代的知识管理 “知识的管理”与“知识管理”是两个不同的概念，但在正式的“知识管理”之前，有知识管理的起源和“知识的管理”存在。 对知识进行管理的历史可以追溯到文明社会的最早时期。最早的知识的组织管理实践活动据称是在古巴比伦，“在叙利亚的爱伯（E b l a）地区发现了大量距今4000多年前的用楔形文字书写的档案（c u n e i f o r m a r c h i v e s），这些文献试图组织有关当时的文明、政府和商业的各种记录，从而保证里面记载的具有很高价值的信息能够顺利地一代代传递而不会丢失”。[56]这种保存知识的行为最终导致了古代大批藏书的出现，像最著名的埃及亚历山大藏书室就是在公元前3世纪建立的并且存在了大约1000年。在藏书室的最顶层存放了500000多本全部是手写的书，而这些书的复制品被散布到了全世界。这种全手工的复制和散布非常耗时间，但正是依靠这种方式，古
代的很多知识才得以流传下来。 印度学者认为知识管理的历史十分久远，“仅就印度而言，知识管理的最初起源，并非在‘公司部门’这个环境之中，而是起源于《奥义书》。在《奥义书》中，知识管理是靠一代又一代的智者们，将知识传授给他们的弟子以及追随者来进行的。‘知识获取’的方式则是通过观察和讨论来进行的；‘知识保管’则采取存入人们的大脑，或以文字的方式记载下来；‘知识传播’则主要是通过演讲以及辩论的方式进行的”。[57]而《奥义书》是波罗门经典《吠陀》的形而上学的释义，文献形成的时期是在公元前8世纪到公元4世纪。 古代知识的管理得益于语言文字、造纸术和印刷术的发展。在文字发明之后印刷术发明之前，由于技术落后原因，文字的记录和保存都十分困难，古巴比伦的楔形文字用一种木制有铁尖的笔在湿的土块上来记录，然后再烘干这些土块，但保存与携带不便。陶器的碎片等也曾被广泛用来写信件、帐目甚至作业，但是它们记载文字都有很多缺点。中国造纸技术发明并传播到西方后，大大推动了学术知识的记录与保存。随着古老文明的不断交替发展，人们在保存知识方面也作了较大的努力，并取得了一定的成绩。由于希腊人和波斯人的很多知识都在伊斯兰帝国时期遭到了破坏，所以其知识主要是以阿拉伯语言被保存了下来，这些知识最终流传到了欧洲的一些修道院，在那里，翻译的技术和藏书科学都被提高到了一个较高的水平。可是，由于它们仍然主要通过人工来复制和保存，知识的传播仍然是一件非常艰巨艰难的事情。[58]
第九章 知识管理与大数据 9.7 三大类知识管理系统 ——III 智能技术
2 智能技术 人工智能（AI）技术： 智能技术：用于捕捉个人和集体知识，并扩展知识库 自动化任务 生成复杂问题的解决方案 知识发现 捕捉隐性知识模拟人类行为的计算机系统
3 1. 专家系统 在特定的、有限的人类专业知识域中捕捉隐性知识 捕捉熟练员工的知识，并在软件系统中作为规则（IF… Then…），以供组织内其他人员使用 一般执行有限的任务，可能需要几分钟或数小时，例如：?诊断故障的机器?决定是否发放信贷 用于离散、高度结构化的决策
?一个专家系统包含了一系列的规则。这些规则是相互关联的，结果的数量是已知的且有限的，有多个路径可以得到相同的结果。在一个单一的时间，该系统可以考 虑多个规则。 ?本图显示的是一个适用于简单的信用证授予专家系统所需要的规则。D->E如果是D， 询问雇佣年限 G->H如果 年限<4，询 问其他债务 F 限额10,000 I 限额3,000 A->B如果收 入>50,000， 询问汽车付款， 否则退出 D 给予信贷额度 B->C如果汽车付款<收 入的10%，询问按揭还 款，否则退出 C->D如果抵押贷款付款 <20%的收入，批准信贷， 否则退出 E->F如果年限>=4，给予 10,000限额，否则执行G H->F如果其他债务<5%的 收入，执行F，否则执行I F 限额10,000 I 限额3,000 D->E如果是 D，询问雇佣 年限 G->H如果年 限<4，询问 其他债务 1. 专家系统 专家系统规则 4
5 1. 专家系统 专家系统如何工作 前向推理链：推理引擎从用户输入的信息开始搜索知识库，并得出结论反向推理链：从假设开始，问用户问题直到假设被证实或否定 知识库 推理引擎 包含上百或上千的规则 搜索知识库的策略
知识图谱技术原理介绍 ?莫扎特 ?2016-01-09 17:31:55 ?大数据技术 ?评论(0) ? 作者：王昊奋 近两年来，随着Linking Open Data[1] 等项目的全面展开，语义Web数据源的数量激增，大量RDF数据被发布。互联网正从仅包含网页和网页之间超链接的文档万维网(Document Web)转变成包含大量描述各种实体和实体之间丰富关系的数据万维网(Data Web)。在这个背景下，Google、百度和搜狗等搜索引擎公司纷纷以此为基础构建知识图谱，分别为Knowledge Graph、知心和知立方，来改进搜索质量，从而拉开了语义搜索的序幕。下面我将从以下几个方面来介绍知识图谱：知识图谱的表示和在搜索中的展现形式，知识图谱的构建和知识图谱在搜索中的应用等，从而让大家有机会了解其内部的技术实现和各种挑战。 知识图谱的表示和在搜索中的展现形式
正如Google的辛格博士在介绍知识图谱时提到的：“The world is not made of strings , but is made of things.”，知识图谱旨在描述真实世界中存在的各种实体或概念。其中，每个实体或概念用一个全局唯一确定的ID来标识，称为它们的标识符(identifier)。每个属性-值对(attribute-value pair，又称AVP)用来刻画实体的内在特性，而关系(relation)用来连接两个实体，刻画它们之间的关联。知识图谱亦可被看作是一张巨大的图，图中的节点表示实体或概念，而图中的边则由属性或关系构成。上述图模型可用W3C提出的资源描述框架RDF[2] 或属性图(property graph)[3] 来表示。知识图谱率先由Google提出，以提高其搜索的质量。 为了更好地理解知识图谱，我们先来看一下其在搜索中的展现形式，即知识卡片(又称Knowledge Card)。知识卡片旨在为用户提供更多与搜索内容相关的信息。更具体地说，知识卡片为用户查询中所包含的实体或返回的答案提供详细的结构化摘要。从某种意义来说，它是特定于查询(query specific)的知识图谱。例如，当在搜索引擎中输入“姚明”作为关键词时，我们发现搜索结果页面的右侧原先用于置放广告的地方被知识卡片所取代。广告被移至左上角，而广告下面则显示的是传统的搜索结果，即匹配关键词的文档列表。这个布局上的微调也预示着各大搜索引擎在提高用户体验和直接返回答案方面的决心。 【三大搜索引擎关于姚明的知识卡片(略)】 虽说三大搜索引擎在知识卡片的排版和内容展现上略有不同，但是它们都列出了姚明的身高、体重、民族等属性信息。此外，它们均包含“用户还搜索了”或“其他人还搜”的功能来展现相关的人物。该功能允许用户去浏览其他与姚明相关的人物的详细信息。细心的读者也发现Google在其知识卡片中也展示了很多与姚明相关的图片，以图文并茂的方式来展示姚明的方方面面。百度则结合了百度风云榜的信息，列出了姚明的类别(体坛人物)及其百度指数(今日排名和今日搜索热度等信息)。在搜索结果页面的左上角(在图中未给出)，百度还展示了其特有的专题搜索，包含了与姚明相关的百科、图片、微博、新闻、音乐、贴吧和视频等七大类的结果，基本涵盖了用户最基本的需求。搜狗在列出与姚明相关的百科、图片，电影和最新相关消息等专题的同时，其知识卡片额外显示了诸如“主持电视节目”、“效力篮球队”、“人物关系”等各种细粒度的语义关系。当遇到含有歧义的用户查询时，知识卡片还会列出其他可能的查询目标对象。在上面的例子中，搜狗还列出了一项“您是否要找”的功能，列出一位也叫姚明的一级作曲家。该功能用于去歧义，在显示最相关实体的同时也给出其他可能的对象，达到去歧义的作用。当搜索“李娜”或“长城”时，Google和百度也在其知识卡片下方展现了类似的功能。除了给出著名网球运动员李娜和万里长城之外，它们还列出歌手李娜和长城汽车供用户选择和浏览。更值得一提的是，当在搜狗知立方中输入“姚明的老婆的女儿的身高”如此复杂的查询时，其会直接返回其女儿的姓名(姚沁蕾)以及其身高(110cm)，并给出推理说明“叶莉的女儿是姚沁蕾”。如此详实的说明不仅为返回的答案提供了很好的解释，从另一个侧面也展示了知识图谱的强大，其不仅能识别出运动员姚明，也能抽取出关系“老婆”和“女儿”和属性“身高”等信息。当我
问答系统发展历程 问答系统的研究经历了几个阶段。 从20世纪50~60年代开始，人工智能科学家就致力于研究基于知识推理的问答系统，其特点是：专家建立知识库，答案或者从知识库中检索得到，或者在知识库上经过推理得到。推理主要是基于专家制定的启发式规则进行。代表性系统是美国麻省理工学院开发的数学符号运算系统MACSYMA[1]。基于知识推理的问答系统具有性能良好、回答准确、具有推理能力等优点。但是这种方法也有明显的缺点：人工构建知识库非常困难，知识库规模和领域有限，如果问题超出了知识库的范围，则系统性能会很差。 20世纪90年代，随着互联网技术的发展，网络信息日益丰富，搜索引擎为信息获取提供了极大的便利，但却无法清楚地表达人们的意图，而且其返回的是网页，并不是确切的答案，因此不能很好地满足人们的信息需求。为了弥补搜索引擎的不足，研究人员提出了问答式检索系统，如麻省理工学院开发的Start1、Umass开发的QuASM2和微软公司开发的Encarta3。这类系统的主要特点是：利用信息检索以及浅层自然语言处理技术从大规模文本库或者网页库中抽取出答案。与基于知识推理的问答系统相比，问答式检索系统不受知识库规模和领域的限制，更加接近真实的应用需求；与传统的搜索引擎相比，问答式检索系统接受的是自然语言形式的提问，对用户意图的把握更加准确，呈现给用户的答案也更加准确。但是目前，问答式检索系统仅能处理有限类型的简单问题，如事实性的问题、定义性的问题等。而且，由于只用到检索技术和一些浅层的自然语言处理技术，问答 图灵测试 让计算机具有人的智能，一直是科学家追求的目标。1950年，阿兰·图灵(A. M. Turing)提出“图灵测试”：让一个人在不接触对方的情况下，通过一种特殊的方式和对方进行一系列问答；如果在相当长的时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这台计算机具有相当于人的智力，即这台计算机是能思维的。自此，问答系统成为判断计算机是否具有智能（特别是语言智能）的理想模型。美国认知心理学家奥尔森(G. M. Olson)认为，判别计算机是否理解自然语言的四个标准是：问答系统(question answer-ing)、文摘(summari z ation)、复述(paraphrase)和机器翻译(machine translation)。计算机只要达到四个标准之一，就认为它理解了自然语言。赵 军 中国科学院自动化研究所 从问答系统看知识智能关键词：问答系统 知识智能 1 https://www.doczj.com/doc/3e16472271.html,/。 2 https://www.doczj.com/doc/3e16472271.html,/IRLab/11-743s04/。 3 https://www.doczj.com/doc/3e16472271.html,/。
知识图谱和问答系统 一、引子 在讨论知识图谱和问答系统之前，先给出几篇以前的文章。第一篇文章是《立委科普：问答系统的前生今世》，以前也发过，再发一下。详见博文： https://www.doczj.com/doc/3e16472271.html,/blog-362400-436555.html 下一个姐妹篇《立委科普：自动回答How 与Why 的问题》。这篇文章详细谈谈问答系统中的How类型问题和Why类型问题。这篇已经太长，收住吧。希望读者您不觉得太枯燥，如果有所收获，则幸甚。谢谢您的阅览。 How 类型的问题搜寻的是解决方案，其实也不好回答，同一个问题往往有多种解决档案，譬如治疗一个疾病，可以用各类药品，也可以用其他疗法。因此，比较完美地回答这个How 类型的问题也就成为问答系统研究中公认的难题之一。Why 类型的问题是要寻找一个现象的缘由或动机。这些原因有些是显性表达，更多的则是隐性表达，而且几乎所有的原因都不是用几个简单的词或短语就可以表达清楚的，找到这些答案，并以合适的方式整合给用户，自然是一个很大的难题。
第三篇文章《立委科普：从产业角度说说NLP这个行当》，这是几年前吹的牛皮。详见李维的博文： https://www.doczj.com/doc/3e16472271.html,/blog-362400-434811.html。由于也很相关，所以也放在这里。NLP技术的工业可行性我认为已经完全被证明了，虽然很多人也许还没有意识到。证明的实例表现在我们解决了三个信息搜索的难题： 搜索How类型问题的难题； 搜索Why类型问题的难题； 对客户反馈情报及其动机的抽取（譬如客户对一个产品的好恶）。 前两个问题是问答搜索业界公认的最难类型的题目，第三个题目涉及的是语言现象中较难把握的主观性语言（subjective language），并非NLP中通常面对的客观性语言（objective language）。这类从文本中提取主观性语言的技术，即情感提取（sentiment extraction）成为语言处理最难的课题之一。从问答系统角度来看，回答Who、When、Where等实体事实型（entity factoid）问题比较简单，技术相对成熟，最突出的表现就是IBM的问答系统赢得美国家喻户晓的电视智力竞赛Jeopardy的冠军。Jeopardy的大多数问题是属于实体事实类的问题，而这类问题的处理技术相对成熟。电脑打败了人脑，详见COMPUTER CRUSHES HUMAN 'JEOPARDY!' CHAMPS。具体细节就不谈了，以后有机会再论。总之，这
贵州师范大学（本科） 期末论文 指导教师: 张太华 专业名称:机械设计制造及其自动化 论文题目:信息化导论中的知识管理信息化 所在学院: 机械与电气工程学院 姓名:彭红松 学号：136201010343 2016年11月
信息化导论中的知识管理信息化 ［摘要］ 管理大师彼得·杜克拉曾经预言：“下一个社会将是知识社会，管理知识势必成为未来企业的核心策略。” 企业知识化是现代企业的发展方向。知识正在成为企业的主要资源，知识管理贯穿企业的方方面面、各种过程，在产品技术信息化和企业管理信息化中都需要用到知识管理。网络信息化技术的发展，促使网络通讯技术和知识经济不断发展，当今社会的两大热点为信息化和知识化，各类企业为了提高经营管理水平，增强企业综合竞争力，大力开发信息资源和知识资源，不断投入人力、财力和物力，在信息化系统建设中加强企业信息化和知识化管理，积极促进企业信息化建设，促进企业进一步发展。但在企业信息化进程中，一些企业管理者认识到信息化建设的重要性，但未准确了解企业信息系统内部结构和功能，未能积极有效控制管理。基于此，本文提出了企业信息化建设过程中应用知识管理的方法，以期提高企业的管理水平。 信息是当今社会发展的重要因素，信息化的发展，使企业面临着极大的挑战和机遇。企业进行信息化建设，运用信息化技术，建立知识导向型组织，能提高企业的应变能力。 知识是现在企业竞争和发展的核心战略资源，是提高企业核心竞争力的关键条件。在信息化高速发展的今天，企业实际达到的信息化水平依然较低，管理依然存在一些问题。因此在企业信息化建设进程中，需注意并重点加强企业的信息管理和知识管理，将知识管理理论融入企业信息化进程当中，以此促进企业信息化发展。 随着知识经济的到来，知识正在作为企业的重要竞争优势资源在市场的激烈竞争中发挥绝作用。企业的生存要素从以所拥有的自然资源为主变为以可获得的金融资本为主，当今发展为以知识资本作为企业生存乃至发展的核心竞争要素，因此，对于知识资本的管理成为企业管理中的一项新的管理内容，研究知识管理的相关内容成为管理者亟待解决的问题，从这个角度出来，研究我国知识管理的内涵及多年来管理学者对于知识管理的研究方向，以期能够显示知识管理的发展脉络。 ［关键词］企业；信息化；信息管理；知识管理
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910153832.X (22)申请日 2019.03.01 (71)申请人 河北尚云信息科技有限公司 地址 050000 河北省石家庄市高新区天山 大街266号方大科技园10号楼1052 (72)发明人 江跃华 周二亮 刘伟 朱玉 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/36(2019.01) G06F 16/338(2019.01) G06F 17/27(2006.01) (54)发明名称基于气象领域知识图谱的问答系统装置及问答方法(57)摘要本发明属于自然语言处理的问答系统领域，尤其涉及气象问答领域的方法及装置。装置包括：气象领域的知识图谱构建模块，问题解析模块，数据聚合模块，答案生成模块。该系统接收用户提出的问题，并通过问题解析模块使用自然语言处理的方式解析用户所提出的关于天气的问题，并排除不合理的问题；根据知识图谱中所存储的天气知识来判断实时的天气数据是否符合该天气信息，根据用户所提的问题，生成相应的答案，反馈给用户。对于结构不固定，类型多样的天气、生活和其他类的规则，可以方便的进行存 储与查询。权利要求书3页 说明书10页 附图2页CN 109947916 A 2019.06.28 C N 109947916 A
权 利 要 求 书1/3页CN 109947916 A 1.基于气象领域知识图谱的问答系统装置，其特征在于，包括： 气象领域的知识图谱构建模块，用以将气象领域的专业知识转换为实体，实体和实体之间用与或关系进行链接，构建气象领域天气知识的知识图谱；用于所有天气知识转成三元组，人工构建天气的气象判断规则，存储到图数据库中并组成三元组； 问题解析模块，用于解析用户所提出的关于天气的问题，将用户提出的问题进行分词和预处理，根据分得的词汇的词性和该词汇对应自定义词库的类别作为依据，填充在该模块设置的问题槽位，并排除不合理的问题； 数据聚合模块，用于对问题槽位中的词，通过词的相似度计算方式，选取与知识图谱中最匹配的规则，进而判断实时的天气数据是否符合该规则，并将天气数据和多种判断结果存入该模块设置的答案槽位中； 答案生成模块，用于将数据聚合模块中答案槽位的数据取出，并根据答案的类型生成相应的回答；对于各个类型的答案进行组合时，需要对每个类型的答案进行排序；最后将答案反馈给用户。 2.如权利要求1所述的基于气象领域知识图谱的问答系统装置，其特征在于，实时的天气数据来源于在线的第三方接口平台; 用户提出的问题可划分为五种类别：天气详情、被查询天气详情、天气属性、出行、穿衣; 问题槽位所设置的形式包括（时间类型，地点类型，天气类型，生活类型，其他类型，问题类型）; 答案槽位形式为（时间及其属性；地点及其属性；天气数据和判断结果；生活和判断结果；其他；问题类型）; 气象判断规则划分为时间类型、地点类型、天气类型、生活类型、其他类型; 答案生成模块中预先定义有答案模板，用于产生答案时使用该模板，仅需将采集的天气数据替换到该模板中对应位置即可产生相应的答案。 3.如权利要求2中任一项所述的基于气象领域知识图谱的问答系统装置，其特征在于，在问题解析模块中使用分词软件进行分词之前，预加载本地的自定义词库；该本地的自定义词库按行读取文本内容并添加到分词软件的自定义词库中；本地自定义词库包括时间类型、天气类型、地点类型、生活类型的词汇。 4.如权利要求3所述的基于气象领域知识图谱的问答系统装置，其特征在于，问题槽位只包含时间类型或地点类型或天气类型或生活类型或其他类型词汇，以及将这五种类型词组合后缺少时间类型或地点类型的词汇的问题槽位对应的问题为不合理的问题。 5.如权利要求3所述的基于气象领域知识图谱的问答系统装置，其特征在于，数据聚合模块还用于训练词向量模型；用于在知识图谱中查询相似度最高的节点；用于将查询后的所有路径信息转换成树形结构的路径；用于遍历整个规则树，使用判断函数计算实时的天气数据是否符合其规则；还用于提前计算重要天气信息，若存在，则填充到答案槽位中。 6.如权利要求5所述的基于气象领域知识图谱的问答系统装置，其特征在于，使用判断函数计算实时的天气数据是否符合其规则天气知识图谱中所存储的天气知识时，没有在原始数据中直接给出的天气数据通过自定义函数计算。 7.基于气象领域知识图谱的问答系统的问答方法，其特征在于：使用权利要求1-6任一 2
中文问答系统调研报告 目录 问答系统调研报告 (1) 1 问答系统的价值体现 (3) 1.1市场应用价值 (3) 1.2 弥补了搜索引擎的不足 (3) 1.3 总结 (3) 2 问答系统的市场应用情况 (3) 3 问答系统整体框架 (5) 3.1 问答实现流程 (5) 3.2问句分析模块 (6) 3.2.1中文分词 (6) 3.2.2关键词提取 (9) 3.2.3关键词扩展 (10) 3.2.4实体识别 (11) 3.2.5问句分类 (12) 3.3 信息检索模块 (13) 3.3.1模式匹配 (13) 3.3.2答案检索 (13) 3.3.3知识图谱 (16) 3.4答案抽取模块 (21)
3.4.1基于规则的方法 (21) 3.4.2基于统计的方法 (22) 4 问答系统的应用场景 (23) 4.1 任务型 (23) 4.2 问答型 (24) 4.3 语聊型 (24) 5 调研总结 (30)
1 问答系统的价值体现 1.1市场应用价值 问答系统是智能人机交互的技术基础，智能人机交互通过拟人化的交互体验逐步在智能客服、任务助理、智能家居、智能硬件、互动聊天等领域发挥巨大的作用和价值。因此，各大公司都将智能聊天机器人作为未来的入口级别的应用在对待。 包括Google、Facebook、Microsoft、Amazon、Apple等互联公司相继推出了自己的智能私人助理和机器人平台。 1.2 产品技术价值 1、搜索引擎的缺陷： 一方面，用户所输入的搜索关键词或关键句，无法真实反映用户需求；另一方面，检索系统仅仅通过几个关键词的简单逻辑组合来返回答案。两方面的误差造成检索结果很差。 检索结果不够简洁。冗余信息使用户难以快速准确定位所需信息，造成时间和精力的浪费。 缺乏对用户问句的语义理解。只靠关键词的索引或简单的匹配算法，并不能真正触及到问题的真实意思，使检索结果一般。 2、问答系统能针对搜索引擎缺陷的改进 1）问答系统允许用户以自然语言的形式询问或者输入。 2）问答系统能直接返回答案，提供给用户简洁、有效的答案。 3）问答系统能分析用户意图，提供给用户真正有用、准确的信息。 1.3 总结 无论是在日常生活中查阅资料，还是在科学研究、商业金融等领域的应用，都有智能问答的参与，所以智能问答的发展与管理将是人们不可忽视的研究方向。 2 问答系统的市场应用情况 按照市场应用情况可分为五类:在线客服，娱乐机器人，教育聊天机器人，个人助理和智能问答. (1) 在线客服
1单项选择题 在“旺旺分流”-“离线消息”板块中，不能查看聊天记录。以上这种说法是否正确？ 是 否 2单项选择题 某商家在官方知识库中只配置了一个关联部分商品的答案，导致买家咨询该问题后转人工，且该问题出现在了“无答案问题”列表中，以下哪一个是可以进行优化的方法？ 添加一条针对所有商品都生效的通用答案 删除关联部分商品的答案 添加答案的时效性，保持长期有效 答案中增加关联买家问的商品 3单项选择题 转人工率越低，解决能力越高。以上这个说法是否正确？ 是 否 4单项选择题 冷门自定义问法的定义是指：连续两周该自定义知识的所有问法，热度均几乎为0。以上这种说法是否正确？ 是 否
5单项选择题 我们可以根据当天的“转人工知识高频列表”的问题来进行配置优化。以上这种说法是否正确？ 是 否 6单项选择题 某条知识配置了一条任意类型的答案，那么这条知识就不会出现在“没有配置答案转人工”的列表里。以上这种说法是否正确？ 是 否 7单项选择题 自定义知识库每个问法都必须要进行划词。以上这种说法是否正确？ 是 否 8单项选择题 训练师柳柳想要将店小蜜离线消息分流给人工客服，她可以按照以下哪个维度进行筛选？ 是否请求转人工 是否下单 是否接待
都不对 9单项选择题 关于一个店铺可以订阅行业包的个数，以下哪个选项是正确的？ 最多1个 最多5个 最多3个 不限制 10单项选择题 关于答案回复优先级排序，以下哪个选项是正确的？ 人工直连-关键词-官方知识库 关键词-人工直连-官方知识库 人工直连-官方知识库-关键词 关键词-官方知识库-人工直连 11单项选择题 在知识库配置答案时，我们只需要引导买家去宝贝详情页面进行查看就可以了。以上这种说法是否正确？ 是 否 12单项选择题
知识管理——将知识看成资源的管理 知识经济是近几年在世界范围内兴起的一个新概念，也是目前国内最热门的话题之一。在知识经济的带动下，美国近来表现出了“高增长、低通胀、低失业率”的良好发展势态，令世界瞩目。? 而作为知识经济的子学科“知识管理”则是一个更新的概念。虽然我们似乎还没来得及深入研究，但它在当今的企业运营中，已开始发挥越来越重要的作用，并将成为知识经济时代企业运作的主要工具和管理内容。? 一、什么是“知识管理” 享誉世界的福特汽车公司在管理中非常推崇“知识管?理”，将“知识管理”看作是“智力资本杠杆”，并认为它具有四两拨千斤的管理效能。公司在1996年到1997年间成功地节约了超过3亿美元费用，而其中的亿美元可直接归功于其采用的一套知识管理技术——最优经验答复系统。更令人吃惊的是，节省的巨额费用是来自于由内部网络Web开发者和两位经营专家在10天内开发出的一套系统。? 那么，能发挥如此奇效的“知识管理”究竟是什么呢？我们还是从“知识”的概念去理解会比较容易。? 知识抽象是人对事物的认识和经验（包括技能）的总和。从信息的角度看，它是一种能改变人的行为方式、被人所利用的信息。但它不能独立存在于信息的集合中，也不表现为对信息的存储和提取的能力，它只能在人对信息的运用中体现和产生。当然，离开了信息，人也无法获得知识。可见，人是实现知识的主体，信息是转化为知识的基础。人的认识可以决定信息存在的价值，人的认识又会因被认识的事物所具有的信息所改变，从而形成不断提高的对事物的新认识，以至循环无穷。这就是信息在转化为知识
的过程中与人的相互作用和内在联系。如投机者认为美元会上扬，他们拼命买进就会推动它上涨，而美元的上涨这种新信息又会使其认识强化，从而形成新的循环。? 因此，人在获取知识的过程中与信息的这种相互作用和内在联系决定了“知识管理”是一种对人与信息资源的动态管理过程。我们理解“知识管理”应是以“人”为中心，以信息为基础，以知识创新为目标，将知识看作是一种可开发资源的管理思想。简单说“知识管理”就是人在企业管理中对其集体的知识与技能（不管它是写在纸上，还是存在人脑中）的捕获与运用的过程。从结构上看，它可分为人力资源的管理和信息管理两个方面。其目的就是寻求信息处理能力与人的知识创新能力的最佳结合，在整个管理过程中最大限度地实现知识共享，以便达到将最恰当的知识在最恰当的时间传递给最恰当的人，使他们能够作出最恰当的决策。而要达成知识管理的目标，经理们必须发展的是卓越的判断力和超前的思维。具有能够正确评价和识别存在于人脑中的无形资产的能力，也是成功企业经理们共同的特点。? 二、人力资源管理是“知识管理”的核心内容 着名的知识学教授Ikujiro?Nonaka曾说：“只有人类才能在知识创新的过程中扮演核心角色，无论计算机的信息处理能力有多大，它们终究不过是人类的一种工具。”? 可见，人既是知识创新的主体，又是知识的载体，因此说对人的管理（即人力资源的管理）是知识管理的核心内容。? 人力资源名词对应的英文有三个：?Human是指人，Resource是指财富，Human?Resource是指将人力当做一种财富的价值观。?