知识图谱和问答系统(活动za)

知识图谱和问答系统 一、引子 在讨论知识图谱和问答系统之前，先给出几篇以前的文章。第一篇文章是《立委科普：问答系统的前生今世》，以前也发过，再发一下。详见博文： 下一个姐妹篇《立委科普：自动回答 与 的问题》。这篇文章详细谈谈问答系统中的类型问题和类型问题。这篇已经太长，收住吧。希望读者您不觉得太枯燥，如果有所收获，则幸甚。谢谢您的阅览。 类型的问题搜寻的是解决技术指导文件，其实也不好回答，同一个问题往往有多种解决档案，譬如治疗一个疾病，可以用各类药品，也可以用其他疗法。因此，比较完美地回答这个 类型的问题也就成为问答系统研究中公认的难题之一。 类型的问题是要寻找一个现象的缘由或动机。这些原因有些是显性表达，更多的则是隐性表达，而且几乎所有的原因都不是用几个简单的词或短语就可以表达清楚的，找到这些答案，并以合适的方式整合给用户，自然是一个很大的难题。 第三篇文章《立委科普：从产业角度说说这个行当》，这是几年前吹的牛皮。详见李维的博文：。由于也很相关，所以也放在这里。技术的工业可行性我认为已经完全被证明了，虽然很多人也许还没有思想到。证明的实例表现在我们解决了三个信息搜索的难题： 搜索 类型问题的难题。 搜索 类型问题的难题。 对客户反馈情报及其动机的抽取（譬如客户对一个产品的好恶）。 前两个问题是问答搜索业界公认的最难类型的题目，第三个题目涉及的是语言现象中较难把握的主观性语言（ ），并非中通常面对的客观性语言（ ）。这类从文本中提取主观性语言的技术，即情感提取（ ）成为语言处理最难的课题之一。 从问答系统角度来看，回答、、等实体事实型（ ）问题比较简单，技术相对成熟，最突出的表现就是的问答系统赢得美国家喻户晓的电视智力竞赛的冠军。的大多数问题是属于实体事实类的问题，而这类问题的处理技术相对成熟。电脑打败了人脑，详见 '!' 。具体细节就不谈了，以后有机会再论。总之，这三大公认的难题在过去五年中被我们一个一个解决，标志了作为实用技术的 已经过了需要证明自己的阶段。二、问答系统在搜索引擎中的使用现状 由于各种缘由，整个行业的现状是慢了半拍。而我们自己做的产品虽然也大数据了，云端了，也有全球用户了，但实际上平台还是不够大。 我们的 系统实际已经部署五六年了，可行性和有效性应该说没有什么值得怀疑的了。从理论上讲，我们的系统是 的，而且很容易对接上搜索引擎，因此任何一个搜索巨头都可以用上这个技术。对接方式也特别简单，就是在 模块中判断一下查询中是否含有 ，有就去调用这个系统。 调用以后的结果一定比搜索引擎现有的结果漂亮很多。但是各大巨头做了知识图谱，用到了 ，还没有任何一家用到了 ，莫非型问题不常见么，或用处不大么？当然不是。 没有被巨头商用的原因基本上就是巨头并不总是看得见小公司的创新。 在另一方面，因为平台不够大，商业价值不够有力，最后这个靠向用户收费的产品还是歇菜了。商业模式没有让它赚钱，歇菜是自然的。 可对于目前主流的搜索引擎的商业模式，靠的不是向最终用户收费，而是提高用户的体验和粘性，然后向广告主收费。这种情形下，这个用图谱来支持问答的技术就应该可以开花结果的。当然这一切就是一个进度问题。最终一定是成为搜索的一个部分的，这一点没有疑问。知识图谱回答了 和的实体类事实型问题以后，回答更难的和的问题是搜索变得越来越智能的必由之路。 话说回来，甚至连业界公认已经成熟的 （、 之类的问题），搜索巨头也还没有大规模集成和部署，所以更难的问题迟迟不见动静也就可以理解了。巨头有巨头的考虑，我们技术人是搞不懂的。成本应该是一个考虑因素，知识图谱的实现和维护成本肯定比关键词索引高很多。甚至有群友也说了，为什么搜索要改进啊，如果不进一步跳跃性改进就已经有的赚，提高用户体验就没有迫切性。谁知道，也许还真是这么回事儿。三、我们在 上做的工作 先发一张我和我搭档的合影照片，他是一个公司的创始人，当年我俩一起把 商业化，市场需求也是我的搭档先提出来的。 图 ：李维与搭档麦克合影 还有两个相关的帖子，是在隔壁的泥沙龙讨论搜索与关系时整理的，一并放在这里做为背景和参考。一篇是《是引擎的核武器，再论与搜索》，详见博文：。这篇文章的相关的内容有： 问答系统有两类。一类是针对可以预料的问题，事先做信息抽取，然后索引到库里去支持问答。这类问题的召回率很高，精度也高，但是没有实时检索的灵活性和以不变应万变的效果。 另一类问答系统就是对通用搜索的直接延伸。利用关键词索引先过滤，把搜罗来的相关网页，在线分析，深度分析后找到答案。这个路子技术上是可行的。应对所谓事实型问题（、、类问题）是有效的。但是复杂问题如、，还是要走第一类的路线。 为什么可行？因为我们的深度分析是线性进度复杂度，在现代的硬件条件下根本不是问题。不管分析有多深入、多精细，比起相关接口之间的延误，分析其实是小头，因此在线分析已经不是性能的瓶颈了。 总之，技术上可以做到立等可取。 另一方面，对于常见的问题，互联网在线问答系统的召回率根本就不是问题，这是因为网上的冗余信息太多。无论多不堪的召回率，也不是问题。比如，问年诺贝尔物理奖得主是谁。这类问题，网上有上百万个答案在。如果关键词过滤了一个子集，里面有几十万答案，少了一个量级，也没问题。假设在线分析只召回其中的十分之一，又少了一个量级，那还有几万个实例，这足以满足统计的要求，来坐实得来的答案，可以弥补精度上可能的偏差。 另一篇文章是《创新，失败，再创新，再失败，直至看上去没失败》，详见李维的博文：。 这一篇笔记与今天要讲的题目最相关，提供了详细的背景信息。 有些做出来很漂亮的系统，后来市场上没站住。现身说法，举近年来作者亲身经历的产品化的例子。我们曾和签了一个千万美元以上的合同，做一个世界上绝无仅有的，本质上能回答 的问答系统。这个系统的市场起源是这样一种需要，科研人员和产品设计师们在创新的时候，需要查询文献，看前人都做过怎样的工作，可以借鉴。设计要求是，给定任一问题，例如， ，或要求任一功能，例如， ，要求系统从文献中抽取挖掘所有的解决办法（），分门别类呈现给用户。众所周知，问题是问答系统中最难回答的问题之一，因为涉及的答案各式各样，比起、、 这样的事实型问题难度大得多。可是，我们有基于深度分析的信息抽取，较好地解决了这个难题。系统交货以后，用的人喜欢得不得了，反馈极佳。反正世界上没有一个机器可以回答这么广泛的 难题。无论是如何治疗疾病，还是如何泡妞，或者如何成为百万富翁，只要你能想到的问题，我们的系统 ，都可以回答。给你这个世界上讨论过这个问题的所有答案，整合到一起，一目了然。而且是动态呈现，你可以对任何解决技术指导文件找到最终原始出处和上下文，你也可以进一步找这个技术指导文件的因果关系，看得失优劣。一下子成了科学家和产品设计师搜集前人工作的利器。里面负责这块的小团队来拜访我，也都夸这个系统做得好，合作是非常愉快的。结果 在其全球用户的系统中用了五六年，去年末结了，合同没有续约。我作为设计者很感伤。 特定类型问题的问答系统可以看成是新一代的垂直搜索引擎，我们把它叫作 。这么好的技术创新，填补的产品空白，世界上没有第二家系统可以弥补，至少目前如此。可是经历了六年还是归于失败。的全球用户都使用这个产品这么些年，但是发现还是无法拿它盈利。尽管用的人还是喜欢，也还是掐了。光技术好还是不行,不熟悉市场和商业模式，也还是死路一条。 的有一阵在上做得铺天盖地的，但凡搜个 的查询，头一条就是提供的结果，而他们就是雇了很多人，快速编纂各种的小，不用自动的方法。那些 在 上也红火得不得了，主要集中在家用方面的 上。例如如何换机油、如何换轮胎之类。这种针对 做 是有道理的，可以赚得高点击，从而可以用广告费来制作很精良到位的内容以满足需求。但对于开放性的 ，人工方式的，自然是不行的。四、到底什么是知识图谱 我给的标题是《知识图谱和问答系统》，这年头只要提到知识图谱就吸引眼球了。这是谷歌等“盗用”了学界的信息抽取（ ，）的概念而火起来的时髦词。谷歌把这个行业提到公众台面了。过些年后，大家也不必再提啥 了，都用知识图谱代替得了。真的就是一回事儿，不过谷歌嗓门大，又在搜索引擎里把 和的问题给用知识图谱解决了。 过去吵死了的概念，只能在业界。现在一换门面，大众知。信息抽取是个动词，说的是过程。知识图谱是这个动作的结果，存在库里。相当于我们以前的 ，就是类似于关键词索引一样存取关系的库。知识图谱的名字与应用更近，更接地气。因为作为基础只是脱机处理，其结果才是联机去帮助回答问题的。五、知识图谱和问答系统的关系 回到正题，知识图谱与问答系统。问答系统需要的支持，我们很多年前就极力主张，几篇 的论文也是强调的这个。但这只对于预先定义好的问题有效，因为知识图谱是预先定义的关系。知道有什么问题，然后去针对性地抽取，这样一来是一打一个准。但是，这并不是说问答系统只能利用知识图谱来做。事实上，开始的系统，都只有有限量的 支持，一般都做了实体识别，但没有做图谱。另外，对于不能预先定义的问题，也没法用知识图谱来支持。那对于 怎么办？最好是用知识图谱的后备来支持。这个后备就是 。 如果既没有花功夫建立知识图谱，又没有功力去做 ，也还是可以做 的。问答系统有结构化信息作支撑，质量确实可以提高不少。初期的 都没有这两项，那就是用关键词命名实体识别了。如果问题很长，关键词命名实体对于事实型问题（、、等）还是相当有效的。有结构与没有结构就不是一个档次，结构就是解析（等）和知识图谱（关系和事件）。 的沃森应该是用了知识图谱 的，作为一个实用系统，沃森应该是有针对性地做了一些知识图谱的事先功夫，来对付可以预测到的问题类型。利用关键词作为后备，利用某种 做中间支撑。在电脑历史上，沃森的成就被认为是与下棋程序打败人类一样的标志性人工智能的大事件。 但是，我的看法是它就是一个工程上的成就，而不是科技的突破，因为其实那些问题的难度没有想象的那么大，绝大多数是事实型问题。机器比人脑记忆力强太多了，而绝大多数的问题在大数据里面有太多的冗余答案了，只要有大数据云计算，工程上上去了，打败人类是理所当然的。 沃森那个小组当年与我的小组同时参加的，我们交流过几次，当时的起点都是用的 关键词命名实体。六、知识图谱必须是明确的任务 没有明确的任务，理论上是建不了知识图谱的，图谱的本质就是 预定义的关系。当然，如果你的应用层还不十分确定，但是大体有个方向，也是可能的。譬如，不管，先把某些实体之间常见的关系先做出来，存到库里去。然后想，迟早这些关系可以在应用层面用上。问题到底怎么定义的，回答成什么样算是过关了？问题是问题类型中相当宽泛的一种，是开放性的，其基本形式就是：，例如：