浅谈---刘挺的信息检索导论

花了很长的时间看这本书，这本书也比较的难。从一开始老师推荐的时候就去图书馆借到了这本书，然后就开始看这本书了，只是当时确实看不太懂很多的章节，老师也说只是叫我浏览一下，就现在的我来说也是有很多的章节看不懂，不是说看不懂，里面涉及到的很多很细节的问题我就不知道了。所以有的直接跳过去的，有些在论文的帮助下勉强还能看懂一部分，说实话，论文给我的帮助很大，本科时为了最后的毕业设计，我看了大概几十篇硕博论文，自己看的最后还是对自己有好处的，自己理解了才是最好的，论文给我一个很大的好处在于论文都是有结构的，全文组织的很有条理，看着就很舒服。我这个人看书还是看论文，就是说在学习一个新的知识点的时候，都会先建立一个相对大的模型，就像数据结构里面的树形结构一样，先建立起大的树枝，至于其余的树叶什么的，在后期的进一步学习中会获取的。

今天是第二次写总结，也是相当于文献的二次综述，这本书看过了好几遍，现在能通过大概前面8章左右，到后面有点不太熟悉了。还需要花点时间来进行好好的认真的学习，这次的六级考试过了，现在在英语方面感觉自己还行，不管是阅读还是听力，至于听力要花一段时间在上面就不会落下了。现在每两个星期把雅思或者说是托福的词汇背一遍，现在的词汇量好像到达一个临界点了。不过相信还是早晚会突破的，加油！

近期又看了几篇硕士论文，里面的文字写的确实不错，有思路，有框架，每个章节的连接也是很有道理的。就我平时比如现在写的总结，虽然是按照我们的书本进行总结的，但是确实有很多地方达不到要求的，理由很简单，很多的知识点不是很清楚，所以组织起来也就不是那么的顺利。往往是想到哪里就写到哪里的。但是我相信通过平时的慢慢练习，相信会有达到标准的那一天。言归正传，开始第一章节的总结与个人的理解或是自己的一些想法。和一般书本上描述的那样，第一章讲述的是信息检索的基本概念和处理的对象。其中还有信息检索的基本流程，我现在知道了信息检索的对象是网页上的非结构化的数据，一般现实生活中的数据要么是结构化的就像数据库里面存储的数据就是结构化的数据，而我们大多数其他数据确实非结构化的数据。信息检索里面还包括很多东西要自己理解的，比如信息采集，信息加工、处理。下面讲一下概念，信息检索（Information

Retrieval）是指信息按一定的方式组织起来，并根据信息用户的需要找出有关的信息的过程和技术。狭义的信息检索就是信息检索过程的后半部分，即从信息集合中找出所需要的信息的过程，也就是我们常说的信息查寻（Information Search

或Information Seek）。

近期我还看过一些和书相关的视频，讲的是信息检索方面的知识。主要是SEO方面的知识点，对我的视野开阔还是蛮有帮助的。但是没有专门讲述信息检索的资料，这个还是有点可惜的。此外第一章节还介绍与信息检索相关的课程，比如自然语言处理、分布式计算、数据库、数据挖掘、情报学、社会学、统计学等等。首先第一个自然语言处理也是很热门的研究方向，我上网查了一下百度百科了解到一些概念性的知识。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。语言是人类区别其他动物的本质特性。在所有生物中，只有人类才具有语言能力。人类的多种智能都与语言有着密切的关系。人类的逻辑思维以语言为形式，人类的绝大部分知识也是以语言文字的形式记载和流传下来的。因而，它也是人工智能的一个重要，甚至核心部分。用自然语言与计算机进行通信，这是人们长期以来所追求的。因为它既有明显的实际意义，同时也有重要的理论意义：人们可以用自己最习惯的语言来使用计算机，而无需再花大量的时间和精力去学习不很自然和习惯的各种计算机语言；人们也可通过它进一步了解人类的语言能力和智能的机制。

实现人机间自然语言通信意味着要使计算机既能理解自然语言文本的意义，也能以自然语言文本来表达给定的意图、思想等。前者称为自然语言理解，后者称为自然语言生成。因此，自然语言处理大体包括了自然语言理解和自然语言生成两个部分。历史上对自然语言理解研究得较多，而对自然语言生成研究得较少。但这种状况近年来已有所改变。

无论实现自然语言理解，还是自然语言生成，都远不如人们原来想象的那么简单，而是十分困难的。从目前的理论和技术现状看，通用的、高质量的自然语言处理系统，仍然是较长期的努力目标，但是针对一定应用，具有相当自然语言处理能力的实用系统已经出现，有些已商品化，甚至开始产业化。典型的例子有：多语种数据库和专家系统的自然语言接口、各种机器翻译系统、全文信息检索系统、自动文摘系统等。

自然语言处理，即实现人机间自然语言通信，或实现自然语言理解和自然语言生成是十分困难的。造成困难的根本原因是自然语言文本和对话的各个层次上广泛存在的各种各样的歧义性或多义性（ambiguity）。

一个中文文本从形式上看是由汉字（包括标点符号等）组成的一个字符串。由字可组成词，由词可组成词组，由词组可组成句子，进而由一些句子组成段、节、章、篇。无论在上述的各种层次：字（符）、词、词组、句子、段，……还是在下一层次向上一层次转变中都存在着歧义和多义现象，即形式上一样的一段字符串，在不同的场景或不同的语境下，可以理解成不同的词串、词组串等，并有不同的意义。一般情况下，它们中的大多数都是可以根据相应的语境和场景的规定而得到解决的。也就是说，从总体上说，并不存在歧义。这也就是我们平时并不感到自然语言歧义，和能用自然语言进行正确交流的原因。但是一方面，我们也看到，为了消解歧义，是需要极其大量的知识和进行推理的。如何将这些知识较完整地加以收集和整理出来；又如何找到合适的形式，将它们存入计算机系统中去；以及如何有效地利用它们来消除歧义，都是工作量极大且十分困难的工作。这不是少数人短时期内可以完成的，还有待长期的、系统的工作。

以上说的是，一个中文文本或一个汉字（含标点符号等）串可能有多个含义。它是自然语言理解中的主要困难和障碍。反过来，一个相同或相近的意义同样可以用多个中文文本或多个汉字串来表示。

因此，自然语言的形式（字符串）与其意义之间是一种多对多的关系。其实这也正是自然语言的魅力所在。但从计算机处理的角度看，我们必须消除歧义，而且有人认为它正是自然语言理解中的中心问题，即要把带有潜在歧义的自然语言输入转换成某种无歧义的计算机内部表示。

歧义现象的广泛存在使得消除它们需要大量的知识和推理，这就给基于语言学的方法、基于知识的方法带来了巨大的困难，因而以这些方法为主流的自然语言处理研究几十年来一方面在理论和方法方面取得了很多成就，但在能处理大规模真实文本的系统研制方面，成绩并不显著。研制的一些系统大多数是小规模的、研究性的演示系统。

这个研究方向涉及到的学科门类还是很多的，要我去学习的知识还有很多很多。信息检索要解决的问题或是它本身研究的内容有：处理海量的数据、评价检索、处理多源信息。另外信息检索的关键技术有：信息抽取、文本分类与聚类、自动文摘、链接分析、web信息检索。信息检索领域还有很多的应用研究，有话题检测与跟踪、信息过滤、垃圾信息过滤、对抗式信息检索、企业检索、数字图书馆、跨语言检索、基于内容的多媒体检索、基因信息检索。信息检索的历史、现状和未来，在本章中也有体现。我个人比较感兴趣的有信息融合，问答系统、数据挖掘等等，这些都是比较难的或是很难的领域问题，但是还是比较有趣的。有了兴趣后很多的事情做起来就比较有动力了。

下面讲一下第二章的内容，第二章对信息检索的模型进行了介绍。首先介绍了三个经典的模型：布尔模型、向量空间模型、概率模型。接着由于这三个模型的前两个模型有各自的缺点和优点，所以这一章对其进行了结合，把布尔模型和向量空间模型结合起来形成扩展布尔模型。在很多实际应用中也是多个模型一起使用的，这样能取得很好的使用效果，比单一的使用某个模型来得好，据此本章对此进行了详细的介绍，然后还对预计与语言模型的信息检索加以重点介绍，这部分我没怎么看明白。在本章节的最后比较热门的隐性语义索引模型与基于本体论的信息检索模型，将语义的知识运用与信息检索是未来的发展趋势。虽然这部分只是很难，或是很难被我们一般人所理解，但是确实是我们未来信息检索取得突破的关键或是重要方向。至于具体的介绍还要再看几遍这个章节。看书的重复是很有必要的，第一次看书也许只是看懂一部分，然后接下来的几遍就是更好的理解与消化自己所懂的知识点。

下面是第三章信息检索系统的评价，信息检索评价对信息检索研究来说具体非常重要的作用，本章主要介绍了在信息检索领域中的各种评价方法以及比较有影响力的评测会议。这章还介绍在国际信息检索领域方面，介绍了好几种方法，感觉像是规定一样。评价一般是评价某个系统或是某个产品的性能或是质量什么的好坏。对于我们的信息检索系统来说，除了系统的处理时间和空间因素，还要求各种排序算法或是相关度的计算尽量的好，尽量的能及时满足用户的检索需要。一般的性能评价指标有准确率和召回率，本章中也给出了相应的计算公式，当然还有其他很多种的评价方法。包括国内的和国外的评价方法。我感觉这一部分还有好多的地方可以研究创新一下，然后发表论文，就是计算准确率的方法上应该可能改进一下，什么召回率还有涉及到相关度的计算方法也是可能改进的，国内也已经有很多的研究者们已经基于相关的方法进行了改进。在这一部分我也会花一定的时间在上面，多看一些文献，总结一下自己的想法，多看看其他人的改进方法，以便以后自己设计一套方法出来，在信息检索评价方法有自己的独特的一套方法，不管是国际上的还是国内现有的方法中，有很多的前辈已经给我们打好路子，让我们在他们的基础之上进一步的改进以便使得我们的信息评价算法更加的完善。今后研究发展的趋势和问题有很多，网络上的信息越来越多，各种评测方法也是越来越多，人工的相关判断已经是不能满足日益增加的信息要求，越来越不能很好的满足用户的检索需求。

其实评测很大一部分是基于返回的网页的内容是否和用户所需求的一样或是相似的，这里就又涉及到网页内容上的抽取、整理、加工与处理。在和用户的相关反馈进行交流以后就能更好的满足需求。听师哥说他就是搞信息评价这一块内容的，他好像也做过相关的实验，这一部分只有在试验中才能知道什么评测方法是好的，在什么领域内是好的。里面可能深入很多，以后还有很多的东西要学，说实话，就我现在的总结来说，其实只是我的自己的想法或是看完书后的表面一层最基本的总结，远远没有一般论文的结构或是构思，当然这方面我也会注意的，尽量写出来的是有自己的一个顺序或是思路在上面，按照每章每节的内容详细的总结出来。现在的一点点积累为了以后写大论文打下坚实的基础。一开始进入研究生阶段的我可能是浮躁的，静不下心来写点东西，写出来的也是一些只是一些初次看过什么资料后的不再那么深入思考的话语。当然不是说现在的总结多么的好还是怎么的。每个人经历过一点的事情或是经过一段时间后总会思考点什么，想到或是想通点什么。