lecture6 信息检索导论第6章
- 格式：pptx
- 大小：363.98 KB
- 文档页数：30
文档推荐
-
信息检索导论第十一章页数:24
-
1文献检索导论页数:45
-
《信息检索导论》PPT课件页数:7
-
《信息检索导论》课后习题答案页数:13
-
信息检索导论王斌译第一章课后习题答案页数:3
-
文献检索的基本知识页数:66
下载文档原格式
合集下载
第6章 搜索引擎与开放获取
北京交通大学出版社《信息检索教程》系列课件 北京交通大学出版社《信息检索教程》
第 6章
搜索引擎与开放获取
编写：邵卫东 编写：
1
互联网搜索引擎
搜索引擎( 搜索引擎(Search Engine)是指根据一定的策略、运用特定 Engine)是指根据一定的策略、 的计算机程序搜集互联网上的信息， 的计算机程序搜集互联网上的信息，经过组织和处理后为用户 提供检索服务的系统。 提供检索服务的系统。 搜索引擎起源于1990年出现的 搜索引擎起源于1990年出现的Archie，它依靠脚本程序自 年出现的Archie， 动搜索FTP 服务器上的信息并进行索引 1994年创办的 服务器上的信息并进行索引。 年创办的Yahoo 动搜索 FTP服务器上的信息并进行索引 。 1994 年创办的 Yahoo 中收录的网站都附有简介信息，搜索效率明显提高， 中收录的网站都附有简介信息，搜索效率明显提高，但其数据 是手工输入。 是手工输入。 现代意义上最早的搜索引擎是1994年 月创建的Lycos， 现代意义上最早的搜索引擎是1994年7月创建的Lycos，它 第一个使用了网页自动摘要，且数据量远超其它搜索引擎。 第一个使用了网页自动摘要，且数据量远超其它搜索引擎。此 搜索引擎进入高速发展时期， 后，搜索引擎进入高速发展时期，目前互联网的搜索引擎已达 数百家 。
含 义 及 用 法 在特定的网页标题中搜索 在特定的域或站点中搜索 在特定的URL链接中搜索 在特定的URL链接中搜索 显示所有指向特定网址的网页 显示特定网页的信息 显示特定网页的信息 在某一种格式类型的文件中查找 精确短语 查看字词或词组的定义 数字范围搜索( 数字范围搜索(如:￥50..￥100;2000..2008)
6-8
调整搜索结果
第 6章
搜索引擎与开放获取
编写：邵卫东 编写：
1
互联网搜索引擎
搜索引擎( 搜索引擎(Search Engine)是指根据一定的策略、运用特定 Engine)是指根据一定的策略、 的计算机程序搜集互联网上的信息， 的计算机程序搜集互联网上的信息，经过组织和处理后为用户 提供检索服务的系统。 提供检索服务的系统。 搜索引擎起源于1990年出现的 搜索引擎起源于1990年出现的Archie，它依靠脚本程序自 年出现的Archie， 动搜索FTP 服务器上的信息并进行索引 1994年创办的 服务器上的信息并进行索引。 年创办的Yahoo 动搜索 FTP服务器上的信息并进行索引 。 1994 年创办的 Yahoo 中收录的网站都附有简介信息，搜索效率明显提高， 中收录的网站都附有简介信息，搜索效率明显提高，但其数据 是手工输入。 是手工输入。 现代意义上最早的搜索引擎是1994年 月创建的Lycos， 现代意义上最早的搜索引擎是1994年7月创建的Lycos，它 第一个使用了网页自动摘要，且数据量远超其它搜索引擎。 第一个使用了网页自动摘要，且数据量远超其它搜索引擎。此 搜索引擎进入高速发展时期， 后，搜索引擎进入高速发展时期，目前互联网的搜索引擎已达 数百家 。
含 义 及 用 法 在特定的网页标题中搜索 在特定的域或站点中搜索 在特定的URL链接中搜索 在特定的URL链接中搜索 显示所有指向特定网址的网页 显示特定网页的信息 显示特定网页的信息 在某一种格式类型的文件中查找 精确短语 查看字词或词组的定义 数字范围搜索( 数字范围搜索(如:￥50..￥100;2000..2008)
6-8
调整搜索结果
信息检索课件汇总全书电子教案完整版课件(最新)
1.1.4 文献的分类
1．文献按其出版形式分类 （1）图书（Book） （2）期刊（Periodical） （3）会议论文（Conference Paper） （4）专利文献（Patent Document） （5）科技报告（Sci-Tech Report） （6）标准（Standard） （7）学位论文（Dissertation） （8）技术档案（Technical Records）
1.2 计算机信息检索基础
1.2.4 计算机信息检索的原理
1．计算机信息存储过程 2．计算机信息检索过程
1.2 计算机信息检索基础
1.2.5 计算机信息检索系统的构成
1．计算机硬件 2．软件 3．数据库 （1）参考数据库。 （2）源数据库。 4．通信网络
1.2 计算机信息检索基础
1.2.6 计算机信息检索的基本技术
二次检索
3.2 万方数据知识服务平台
3.2.1 快速检索
二次检索结果
3.2 万方数据知识服务平台
3.2.2 Leabharlann 级检索高级检索页面3.2 万方数据知识服务平台
2.1.2 Internet信息资源的特点
1．信息源丰富 2．信息内容多样性 3．信息表现形式多样化 4．信息时效性 5．信息交互性 6．信息关联性 7．信息的开放性 8．免费信息资源丰富 9．信息组织的局部有序性与整体无序性
2.1 Internet信息资源及其组织方式
2.1.3 Internet信息资源及检索方法
2.2 Internet信息资源检索工具
2.2.3 阅读软件的安装和使用
1．Acrobat Reader的安装与启动 2．Acrobat Reader的基本操作 （1）打开文件。 （2）阅读文件。 （3）选择和复制文件。 3．CAJViewer的安装与启动 4．CAJViewer的基本操作
1．文献按其出版形式分类 （1）图书（Book） （2）期刊（Periodical） （3）会议论文（Conference Paper） （4）专利文献（Patent Document） （5）科技报告（Sci-Tech Report） （6）标准（Standard） （7）学位论文（Dissertation） （8）技术档案（Technical Records）
1.2 计算机信息检索基础
1.2.4 计算机信息检索的原理
1．计算机信息存储过程 2．计算机信息检索过程
1.2 计算机信息检索基础
1.2.5 计算机信息检索系统的构成
1．计算机硬件 2．软件 3．数据库 （1）参考数据库。 （2）源数据库。 4．通信网络
1.2 计算机信息检索基础
1.2.6 计算机信息检索的基本技术
二次检索
3.2 万方数据知识服务平台
3.2.1 快速检索
二次检索结果
3.2 万方数据知识服务平台
3.2.2 Leabharlann 级检索高级检索页面3.2 万方数据知识服务平台
2.1.2 Internet信息资源的特点
1．信息源丰富 2．信息内容多样性 3．信息表现形式多样化 4．信息时效性 5．信息交互性 6．信息关联性 7．信息的开放性 8．免费信息资源丰富 9．信息组织的局部有序性与整体无序性
2.1 Internet信息资源及其组织方式
2.1.3 Internet信息资源及检索方法
2.2 Internet信息资源检索工具
2.2.3 阅读软件的安装和使用
1．Acrobat Reader的安装与启动 2．Acrobat Reader的基本操作 （1）打开文件。 （2）阅读文件。 （3）选择和复制文件。 3．CAJViewer的安装与启动 4．CAJViewer的基本操作
《信息检索导论》PPT课件
出正确的决策。
编辑课件ppt
22
1.1 信息素养与信息检索
一、信息、信息社会与信息素养 二、信息检索教学的主要意义 三、信息检索教学的基本内容
编辑课件ppt
23
三、信息检索课程的基本内容
1、信息检索的基本知识：文献、情报、知识、信息的概念；不同文献 类型的特点；专业文献概况及主要收藏单位；情报与 Information Literacy对科学活动及个人知识增殖的作用；文献检索的意义和作用。
⑴ 信息共享实现的条件在于信息对于物质依附性的相对性，即同一信息 可以采用多种相同的或不同的物质载体及其运动形式构成。
⑵ 信息共享的基础在于信息存在的普遍性和信息价值的非对称性。信息 产品的使用价值是一个点集或面，其价值和使用价值具有非对称性； 而物质产品的使用价值在同一时刻仅为一个点，且遵循等值交换原则。
有害信息：指对社会发展和信息用户有消极和阻碍作 用的不真实或庸俗、媚俗的信息，主要有虚假信息和 色情信息等。
编辑课件ppt
21
二、信息检索教学的主要意义
1、一个平台：培养信息意识， 提高自学能力和独立研究能力。
1992年国家教委高教司在《文献检索课教学基本要求》 的通知中指出：“文献检索课是培养学生掌握利用图书 文献/情报检索，不断提高自学能力和科研能力的一门 科学方法课。”
17
1 以认识主体为依据对信息进行的划分
客观信息，是指对事物不加判断的如实 和公正的报道，即关于认识对象的信息。
主观信息，一般是依据事实和分析，阐 明个人对论题的观点和见解，是经过思 维主体加工的信息。
编辑课件ppt
18
2 以信息的生成领域对信息进行的划分
自然信息，非生命物质的自然信息，是无机界事物 属性及事物之间内在联系的表征。自然信息是融合 式的、特殊的、弥漫的。
信息检索教程(第三版)PPT6
3.2.1 概念逻辑
２．概念逻辑方法 检索语言在表达各种概念及其相互关系时，普遍地应用了概念逻辑的原理，有效地利 用了
“概念的划分与概括”和 “概念的分析与综合”这两种逻辑方法来建立自己的结构 体系。 （１）概念的划分与概括 （分类） 即利用概念内涵由反映事物本质属性的概念因素构成，概念因素的增加或减少可以形 成新的
之间相互交叉渗透和综合而形成的新知识领域很困难，也难以反映客观实际中多维的知 识 空间结构。
3.3.2 体系分类法
（三）主要体系分类法介绍 目前，国内常见的体系分类法有 《中国人民大学图书馆图书分类法》，简称 《人大
法》，初版于１９５３年； 《中国图书馆分类法》，简称 《中图法》，初版于１９７５年，名为 《中 国图书馆图
１．标引信息内容特征及某些外表特征，保证不同标引人员表达信息的一致性 ２．对内容相同及相关的文献信息加以集中或揭示其相关性 ３．使信息的存储集中化、系统化、组织化，便于检索人员按照一定的排列次序进行 有
序化检索 检索语言将表达成千上万个信息主题概念的全部信息标识排列成一个有序的系统。排 列
信息标识的方法主要有三种： ①分类排列法，用于号码标识系统； ②字顺排列法，用于 语词标识系统和代码标识系统； ③分类和字顺结合的排列法，即先按照分类排，再按字顺 排，用于语词标识系统 （如分
3.1.3 检索语言的分类
２．描述文献内容特征的检索语言 描述文献内容特征的语言指主要依据文献内容特 征而形成的检索语言，这是检索语言 研究的核心部分，具体有分类语言、主题语言 和代码语言。
3.1.3 检索语言的分类
（二）按结构或原理，可分为分类语言、主题语言、代码语言和引文语言 分类语言用分类号来表达各种概念，将各种概念按学科性质进行分类和系统编排。分
lecture8-evaluation 信息检索导论 王斌 PPT 课件 第8章
15
现代信息检索
评价任务的例子
两个系统，一批查询，对每个查询每个系统 分别得到一些结果。目标：哪个系统好？ 系统&查询 系统1，查询1 系统1，查询2 系统2，查询1 系统2，查询2 1 d3 d1 d6 d1 2 d6 d4 d7 d2 3 d8 d7 d3 d4 4 … d10 d11 d9 d13
19
现代信息检索
评价指标分类
对单个查询进行评估的指标
在单个查询上检索系统的得分
对多个查询进行评估的指标
在多个查询上检索系统的得分
20
现代信息检索
回到例子
系统&查询
系统1，查询1 系统1，查询2 系统2，查询1 系统2，查询2
1
2
3
4
d10 d11 d9 √ d13
…
d3 √ d6 √ d8 d1 d4 d7 d6 √ d7 d2 d1 d2 d4
29
现代信息检索
关于正确率和召回率的讨论(2)
虽然Precision和Recall都很重要，但是不同的应 用、不用的用户可能会对两者的要求不一样。 因此，实际应用中应该考虑这点。
垃圾邮件过滤：宁愿漏掉一些垃圾邮件，但是尽量 少将正常邮件判定成垃圾邮件。 有些用户希望返回的结果全一点，他有时间挑选； 有些用户希望返回结果准一点，他不需要结果很全 就能完成任务。
23
现代信息检索
四种关系的矩阵表示
真正相关文档 RR+NR 真正不相关文档 系统判定相关 RR+RN (检索出)
RR
RN
Ret = RR+RN Precision
系统判定不相关 (未检索出)
NR
NN
信息检索概论思考题答案
第一章信息检索概论思考题：1.什么是信息?简述信息的特点和分类？我们认为，信息是事物或事物之间不确定性的量度，即负熵。
掌握的信息越多，所需认识的事情的确定性就会越少。
信息由信源，信宿和信道（载体）构成。
信息的特点：（1）客观真实性：客观、真实是信息的最重要的本质特性（2）普遍性：信息是物质的普遍属性，物质是具有普遍性，所以信息也拥有该特性（3）针对性：信息的作用和价值可以随着接受者的不同而不同（4）传递性：过程：信息源（信息的发出者）——>编码—>信道（载体）—>译码—>信宿（信息的接收者）信息源:是信息的发出者信宿:是信息的接收者信息的传播是双向的，多维的。
信息源和信宿是相对的，也是可以相互转换的。
信道：就是在传播过程中，编码经过的物理通道（5）时效性：指信息发出、接收到利用的时间间隔及效率，也包括信息的本身更新速度。
客观物质不断的变化，反映事务的运动状态和运动方式的信息也会发展变化一般而言，随着时间的推移，信息的价值会逐渐减少也有反例：如考古信息（恐龙、古钱币），年代越久，使用价值越大衡量信息的时效性参数不只是时间参数，还有地理环境（6）可转换性：信息可以从一种形态转换成另一种形态（7）可处理性（可识别性）：可以通过人们的感觉器官所感知，也可以通过仪表、器械来检测进而予以识别。
（8）可共享性：指同一内容的信息可以在同一时间里被若干个用户使用，此时信息载体本身的信息量不会被磨损、消失信息的类型：(1)按信息表现形式划分，可分为文字信息，图象信息，数值数据信息，语音信息。
▪文字信息：文字是人们为了实现信息交流、通信联系所创造的一种约定的形象符号。
▪图象信息：图象（形）是一种视角信息，它比文本信息直接，易于理解。
如，一幅画、一部电影。
▪数值数据信息：数值数据是“信息的数字形式”或“数字化的信息形式”。
▪语音信息：人讲话实际是大脑的某种编码形式的信息转换成的语言信息的输出，是一种最普遍的信息表现形式。
信息检索教程第六章
第六章 网络信息检索
本章的主要内容为：网络信 息系统及网络信息资源的特征 、 网络信息检索的原理与方法 、常 用的网络信息检索工具、网络信 息检索技巧和专业性信息的网络 检索 。
1
第一节 网络信息系统及网络信息资源的特征
一、Internet网络信息系统
TCP/IP协议
DN域名和IP地址
全球资源定位器URL
17
(一)Google()
Google的核心技术称为PageRank(TM)，它 是Larry Page和Sergey Brin在斯坦福大学开发的 一套用于网页评级的系统。该系统以PageRank 技术为基础，这项技术可以确保将搜索结果首先 呈现给用户。Google使用一组独特的硬件和软件， 制造出了一部超网页的 数量每天正以相关搜索 拼音提示
12
(三)自动索引程序
自动索引程序robot广泛搜集网络信 息资源数据，经过一系列判断、选择、 标引、分类等处理后形成供检索用的数 据库，并以Web页面的形式向用户提供 有关的资源导航、目录索引以及检索界 面。
13
二、搜索引擎的运作和检索
(一)搜索引擎技术的运作
发现并搜集网页信息
对信息进行提取并建立索引库
15
(二)搜索引擎的检索方法
简单搜索(Simple Search) 词组搜索(Phrase Search)
高级搜索(Advanced Search)
16
三、万维网搜索引擎
万维网搜索引擎(Web Search Engines)的 主体是全文搜索引擎(Full text Search Engine)， 具 有 代 表 性 的 全 文 搜 索 引 擎 是 Google、 AlltheWeb、AltaVista、Ink站的信息，建立索引数据库，并 在用户检索时予以匹配响应，然后按一定的排 列顺序将结果返回给用户。这里重点介绍四大擎
本章的主要内容为：网络信 息系统及网络信息资源的特征 、 网络信息检索的原理与方法 、常 用的网络信息检索工具、网络信 息检索技巧和专业性信息的网络 检索 。
1
第一节 网络信息系统及网络信息资源的特征
一、Internet网络信息系统
TCP/IP协议
DN域名和IP地址
全球资源定位器URL
17
(一)Google()
Google的核心技术称为PageRank(TM)，它 是Larry Page和Sergey Brin在斯坦福大学开发的 一套用于网页评级的系统。该系统以PageRank 技术为基础，这项技术可以确保将搜索结果首先 呈现给用户。Google使用一组独特的硬件和软件， 制造出了一部超网页的 数量每天正以相关搜索 拼音提示
12
(三)自动索引程序
自动索引程序robot广泛搜集网络信 息资源数据，经过一系列判断、选择、 标引、分类等处理后形成供检索用的数 据库，并以Web页面的形式向用户提供 有关的资源导航、目录索引以及检索界 面。
13
二、搜索引擎的运作和检索
(一)搜索引擎技术的运作
发现并搜集网页信息
对信息进行提取并建立索引库
15
(二)搜索引擎的检索方法
简单搜索(Simple Search) 词组搜索(Phrase Search)
高级搜索(Advanced Search)
16
三、万维网搜索引擎
万维网搜索引擎(Web Search Engines)的 主体是全文搜索引擎(Full text Search Engine)， 具 有 代 表 性 的 全 文 搜 索 引 擎 是 Google、 AlltheWeb、AltaVista、Ink站的信息，建立索引数据库，并 在用户检索时予以匹配响应，然后按一定的排 列顺序将结果返回给用户。这里重点介绍四大擎
信息检索系统导论
准确率和召回率
设有查询 q ，q 对应的标准相关文档集为 R 。用某给定检索系统针对 q 进 行检索， 的交集。 行检索，得到检出结果 A 。令 Ra 为 A 与 R 的交集。 C R Ra A
P= Ra A
准确率：即系统检出的相关文档数与检出文档数的比值， 准确率：即系统检出的相关文档数与检出文档数的比值，即
取队列头URL 取队列头 抓取网页 提取超链接 网页去重
网页正文提取
现在，许多网页（尤其是新闻网页） 现在，许多网页（尤其是新闻网页）在其头部都包含类似的 上述信息，分别为标题、关键词及摘要提示。 上述信息，分别为标题、关键词及摘要提示。 显然， 显然，这里的文字及所出现的词对描述该网页的内容具有重 要作用，因此这里的正文内容提取就尤为重要。同时， 要作用，因此这里的正文内容提取就尤为重要。同时，这里的正 文有着非常明显的格式。 文有着非常明显的格式。 正文提取的过程就是扫描网页源代码字符串， 正文提取的过程就是扫描网页源代码字符串，从中提取出上 述格式中的正文文字串即可。 述格式中的正文文字串即可。 对于网页中的其它正文信息，其格式较多， 对于网页中的其它正文信息，其格式较多，我们不妨就采取 见到汉字就提取的简单办法。 见到汉字就提取的简单办法。
召回率：即系统检出的相关文档数与实际相关文档数的比值， 召回率：即系统检出的相关文档数与实际相关文档数的比值，即 R = 显然，希望系统的准确率和召回率均越高越好。 显然，希望系统的准确率和召回率均越高越好。
Ra R
准确率和召回率计算示例
假定针对查询 q 的相关文档集为 Rq = { d2 , d5 , d9 , d12 , d23 }，共 5 个。 ， 而实际检出文档集为 Aq = { d3 , d4 , d5 , d6 , d8 , d10 , d12 , d19 , d20 , d23 } ，共 10 个文档。 个文档。 则检索准确率为： 则检索准确率为：P = 3/10 = 0.3；召回率为：R = 3/5 = 0.6。 ；召回率为： 。 可以对每个召回率水平下的准确率进行平均化处理，称为平均准确率， 可以对每个召回率水平下的准确率进行平均化处理，称为平均准确率， 平均准确率 即 例如， 检索时， 例如，某检索系统在使用 q1 检索时，在召回率为 0.1 下的准确率为 0.8 ； 检索时， 在使用 q2 检索时，在召回率为 0.1 下的准确率为 0.6 ； 检索时， 在使用 q3 检索时，在召回率为 0.1 下的准确率为 0.3 ； 则该系统在召回率为 0.1 下的平均准确率为 (0.8+0.6+0.3)/3≈0.567 ；
信息检索教程 第6章 网络信息检索
有目前世界上最大 的中文信息库，并且还在以每天几十万页的速度快速增长。 使用高性能的“网络蜘蛛”程序自动在Internet中搜索 信息。能在极短的时及个性化的各种检索需求。的服务产品• 前程无忧
– 前程无忧是国内第一个集多种媒介资源优势的专业人力资源服务机构， 已成为中国占有领导地位的专业招聘网站 。 – 网站目标有两大部分：致力于为积极进取的白领阶层和专业人士提供更 好的职业发展机会；同时，网站致力于为企业搜寻、招募到最优秀的人
是大势所趋。
(1) IPv4
目前，我国大部分上网用户使用的都是IPv4地址，IPv4
使用32位地址，因此最多可能有232个网络地址。一般的
书写法为4个用小数点分开的十进制数，每段数字范围为0
～255，段与段之间用句点隔6是IETF（Internet Engineering Task Force，互联网工程任务组）设
6.3 常用网站介绍
目录：
6.3.1
教育类网站
求职招聘类网站
6.3.2
6.3.3
医学健康类网站
其他网站
6.3.4
6.3.1 教育类网站
• 教育网站是专门提供教学、招生、学校宣传、教材、教学 资源共享等的网站。各大学校和教育部门、机构都有自己 的网站 。 • 一般情况下教育网站的后缀域名是edu，代表教育的意思 ，也有部分域名是以com/cn/net作为域名后缀。
第6章 网络信息检索
目录：
6.1 6.2
Internet应用基础
网络搜索引擎
6.3
6.4 6.5 6.6 6.7
常用网站介绍
学术论坛介绍 开放存取资源 小结 习题
6.2 网络搜索引擎
6.2.1 搜索引擎 6.2.2 6.2.3 学术6.1 Internet应用基础
– 前程无忧是国内第一个集多种媒介资源优势的专业人力资源服务机构， 已成为中国占有领导地位的专业招聘网站 。 – 网站目标有两大部分：致力于为积极进取的白领阶层和专业人士提供更 好的职业发展机会；同时，网站致力于为企业搜寻、招募到最优秀的人
是大势所趋。
(1) IPv4
目前，我国大部分上网用户使用的都是IPv4地址，IPv4
使用32位地址，因此最多可能有232个网络地址。一般的
书写法为4个用小数点分开的十进制数，每段数字范围为0
～255，段与段之间用句点隔6是IETF（Internet Engineering Task Force，互联网工程任务组）设
6.3 常用网站介绍
目录：
6.3.1
教育类网站
求职招聘类网站
6.3.2
6.3.3
医学健康类网站
其他网站
6.3.4
6.3.1 教育类网站
• 教育网站是专门提供教学、招生、学校宣传、教材、教学 资源共享等的网站。各大学校和教育部门、机构都有自己 的网站 。 • 一般情况下教育网站的后缀域名是edu，代表教育的意思 ，也有部分域名是以com/cn/net作为域名后缀。
第6章 网络信息检索
目录：
6.1 6.2
Internet应用基础
网络搜索引擎
6.3
6.4 6.5 6.6 6.7
常用网站介绍
学术论坛介绍 开放存取资源 小结 习题
6.2 网络搜索引擎
6.2.1 搜索引擎 6.2.2 6.2.3 学术6.1 Internet应用基础
《信息检索导论》课件
未来发展方向
人工智能技术在信息检索中的应用
自然语言处理、图像识别和深度学习等技术将被应 用于信息检索领域。
信息检索领域的研究热点
如可解释性、个性化推荐和区块链技术等将成为未 来信息检索研究的热点。
总结
信息检索的意义
改善人们获取信息的方式， 为人们提供更快速的信息服 务。
目前的研究状况
信息检索领域的研究涵盖了 多个方向，包括模型、算法 和应用等。
3
用户界面
提供搜索框和界面展示，最直接的与用户交互的方式。
检索性能评价
1 评价指标
如准确率、召回率、F值和MAP等，用于评估 检索系统的效果。
2 评价方法
如离线评估、在线评估和交互式评估，来评 价检索系统的性能。
检索应用
检索引擎• 谷歌搜索 • 搜索 • 必应搜索应用案例
• 企业文献管理系统 • 网络社交媒体搜索 • 学术期刊检索服务
向量空间模型
一种基本的信息检索模型，使用向量表示文档和查 询，适合大规模文本数据。
BM25模型
一种基于统计的信息检索模型，以链接分析算法为 基础，比传统检索模型更有效。
检索系统组成与工作流程
1
检索系统组成
包括爬虫、索引器、查询处理器和用户界面。 → 建立索引 → 处理查询 → 返回结果。
《信息检索导论》课件
本课件将介绍信息检索的基础概念和应用，了解信息检索的意义和未来趋势。
什么是信息检索
定义
信息检索是从大量非结构化和半结构化的数据 中获取相关信息的过程。
应用领域
信息检索被广泛应用于各种领域，如Web搜索、 数字图书馆、数字档案等。
检索模型
传统检索模型
如布尔模型、向量空间模型和概率模型，检索效果 受到诸多限制。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第6讲 文档评分、词项权重计算及向 量空间模型
❶ ❷
上一讲回顾参数化索引及域索引❸ Nhomakorabea❹
词项频率及权重计算
向量空间模型
1
提纲
❶ ❷
上一讲回顾
排序式检索
❸
❹ ❺
词项频率词项频率
tf-idf权重计算 向量空间模型
2
现代信息检索
本讲内容
对搜索结果排序(Ranking) : 为什么排序相当重要？ 词项频率(Term Frequency, TF): 排序中的重要因子 Tf-idf 权重计算方法: 最出名的经典排序方法 向量空间模型(Vector space model): 信息检索中最重要的形 式化模型之一 (其他模型还包括布尔模型和概率模型)
6 4 3 2 1 0
25
现代信息检索
idf对排序的影响
idf 会影响至少包含2个词项的查询的文档排序结果 例如，在查询 “arachnocentric line”中, idf权重计算方法 会增加ARACHNOCENTRIC的相对权重，同时降低 LINE的相对
权重
对于单词项查询,idf对文档排序基本没有任何影响
22
现代信息检索
文档频率(Document frequency, df)
对于罕见词项我们希望赋予高权重 对于常见词我们希望赋予正的低权重 接下来我们使用文档频率df这个因子来计算查询-文档的 匹配得分 文档频率指的是出现词项的文档数目
23
现代信息检索
6.2.3 idf 权重
dft 是出现词项t的文档数目 dft 是和词项t的信息量成反比的一个值 于是可以定义词项t的idf权重:
The Hamlet Tempest
0 0 0 0 0 3 1 0 2 2 0 0 8 1
Othello
Macbeth ...
0 0 1 0 0 5 1 1 0 0 0 0 8 5
每篇文档可以表示成一个词频向量 ∈ N|V|
16
现代信息检索
词袋(Bag of words)模型
不考虑词在文档中出现的顺序 John is quicker than Mary 及 Mary is quicker than John 的 表示结果一样 这称为一个词袋模型(bag of words model)
27
现代信息检索
6.2.4 tf-idf权重计算
词项的tf-idf权重是tf权重和idf权重的乘积
信息检索中最出名的权重计算方法 注意：上面的 “-”是连接符，不是减号 其他叫法：tf.idf、tf x idf
28
现代信息检索
课堂练习: 词项、文档集及文档频率
统计量
词项频率 文档频率 文档集频率
3
现代信息检索
排序式检索(Ranked retrieval)
迄今为止，我们主要关注的是布尔查询
文档要么匹配要么不匹配
对自身需求和文档集性质非常了解的专家而言，布尔查询 是不错的选择 对应用开发来说也非常简单，很容易就可以返回1000多条 结果 然而对大多数用户来说不方便
4
现代信息检索
6
现代信息检索
排序式检索中的评分技术
我们希望，在同一查询下，文档集中相关度高的文档排名 高于相关度低的文档 如何实现？ 通常做法是对每个查询-文档对赋一个[0, 1]之间的分值 该分值度量了文档和查询的匹配程度
7
现代信息检索
查询-文档匹配评分计算
如何计算查询-文档的匹配得分？ 先从单词项查询开始 若该词项不出现在文档当中，该文档得分应该为0 该词项在文档中出现越多，则得分越高 后面我们将给出多种评分的方法
8
现代信息检索
6.1 参数化索引及域索引
我们将文档看成一系列词项的序列。 实际上大多数文档具有额外的结构信息。 元数据（DC都柏林核心）
9
现代信息检索
10
现代信息检索
11
现代信息检索
图6-2 基本的域索引示意图，每个域采用词典项的某种扩 展表示方法
图6-3 一种域索引的实现方法，支持加权评分
ANTHONY BRUTUS CAESAR CALPURNIA CLEOPATRA MERCY WORSER ... 1 1 1 0 1 1 1 1 1 1 1 0 0 0
The Hamlet Tempest
0 0 0 0 0 1 1 0 1 1 0 0 1 1
Othello
Macbeth ...
0 0 1 0 0 1 1 1 0 1 0 0 1 0
30
→ 0 个结果 – 太少
在布尔检索中，需要大量技巧来生成一个可以获得合适规 模结果的查询
5
现代信息检索
排序式检索
排序式检索可以避免产生过多或者过少的结果 大规模的返回结果可以通过排序技术来避免 只需要显示前10条结果 不会让用户感觉到信息太多
前提：排序算法真的有效，即相关度大的文档结果会排在 相关度小的文档结果之前
(其中N 是文档集中文档的数目) idft 是反映词项t的信息量的一个指标
24
现代信息检索
idf的计算样例
利用右式计算idft:
词项 calpurnia animal sunday fly under the dft idft
1 100 1000 10,000 100,000 1,000,000
常见词项所期望的权重
常见词项的信息量不如罕见词 考虑一个查询词项，它频繁出现在文档集中 (如 GOOD, INCREASE, LINE等等) 一篇包含该词项的文档当然比不包含该词项的文档的相 关度要高 但是，这些词对于相关度而言并不是非常强的指示词 于是，对于诸如GOOD、INCREASE和LINE的频繁词，会给 一个正的权重，但是这个权重小于罕见词权重
布尔搜索的不足: 结果过少或者过多
布尔查询常常会倒是过少(=0)或者过多(>1000)的结果 查询 1 (布尔与操作): [standard user dlink 650]
→ 200,000 个结果 – 太多
查询2 (布尔与操作): [standard user dlink 650 no card found]
每篇文档可以看成是一个二值的向量 ∈ {0, 1}|V|
15
现代信息检索
非二值关联矩阵(词频)
Anthony Julius and Caesar Cleopatra
ANTHONY BRUTUS CAESAR CALPURNIA CLEOPATRA MERCY WORSER ... 157 4 232 0 57 2 2 73 157 227 10 0 0 0
26
现代信息检索
文档集频率 vs. 文档频率
单词 INSURANCE TRY 文档集频率 10440 10422 文档频率 3997 8760
词项t的文档集频率(Collection frequency) : 文档集中出现 的t词条的个数 词项t的文档频率: 包含t的文档篇数 为什么会出现上述表格的情况？即文档集频率相差不大， 但是文档频率相差很大 哪个词是更好的搜索词项？即应该赋予更高的权重 上例表明 df (和idf) 比cf (和“icf”)更适合权重计算
符号
tft,d dft cft
定义
t在文档d中出现的次数 出现 t的文档数目 t在文档集中出现的总次数
df和cf有什么关系? tf和cf有什么关系? tf和df有什么关系？
29
现代信息检索
本讲内容
对搜索结果排序(Ranking) : 为什么排序相当重要？ 词项频率(Term Frequency, TF): 排序中的重要因子 Tf-idf 权重计算方法: 最出名的经典排序方法 向量空间模型(Vector space model): 信息检索中最重要的形 式化模型之一 (其他模型还包括布尔模型和概率模型)
18
现代信息检索
一种替代原始tf的方法: 对数词频
t 在 d 中的对数词频权重定义如下：
tft,d → wt,d : 0 → 0, 1 → 1, 2 → 1.3, 10 → 2, 1000 → 4, 等等
19
现代信息检索
6.2.2 DF权重
除词项频率tf之外，我们还想利用词项在整个文档集中 的频率进行权重和评分计算
20
现代信息检索
罕见词项所期望的权重
罕见词项比常见词所蕴含的信息更多 考虑查询中某个词项，它在整个文档集中非常罕见 (例 如 ARACHNOCENTRIC). 某篇包含该词项的文档很可能相关 于是，我们希望像ARACHNOCENTRIC一样的罕见词项将有 较高权重
21
现代信息检索
在某种意思上说，这种表示方法是一种“倒退”，因为 位置索引中能够区分上述两篇文档 本课程后部将介绍如何“恢复”这些位置信息 这里仅考虑词袋模型
17
现代信息检索
词项频率 tf
词项t的词项频率 tft,d 是指t 在d中出现的次数 下面将介绍利用tf来计算文档评分的方法 第一种方法是采用原始的tf值(raw tf) 但是原始tf不太合适： 某个词项在A文档中出现十次，即tf = 10，在B文档中 tf = 1，那么A比B更相关 但是相关度不会相差10倍 相关度不会正比于词项频率tf
12
现代信息检索
域加权评分
给定一个布尔查询q和一篇文档d，域加权评分方法给每个 （q,d）对计算出一个[0,1]之间的得分。 例6-1
练习：习题6-2
13
现代信息检索
6.2 词项频率及权重计算
词项频率 Tf-idf权重计算
14
❶ ❷
上一讲回顾参数化索引及域索引❸ Nhomakorabea❹
词项频率及权重计算
向量空间模型
1
提纲
❶ ❷
上一讲回顾
排序式检索
❸
❹ ❺
词项频率词项频率
tf-idf权重计算 向量空间模型
2
现代信息检索
本讲内容
对搜索结果排序(Ranking) : 为什么排序相当重要？ 词项频率(Term Frequency, TF): 排序中的重要因子 Tf-idf 权重计算方法: 最出名的经典排序方法 向量空间模型(Vector space model): 信息检索中最重要的形 式化模型之一 (其他模型还包括布尔模型和概率模型)
6 4 3 2 1 0
25
现代信息检索
idf对排序的影响
idf 会影响至少包含2个词项的查询的文档排序结果 例如，在查询 “arachnocentric line”中, idf权重计算方法 会增加ARACHNOCENTRIC的相对权重，同时降低 LINE的相对
权重
对于单词项查询,idf对文档排序基本没有任何影响
22
现代信息检索
文档频率(Document frequency, df)
对于罕见词项我们希望赋予高权重 对于常见词我们希望赋予正的低权重 接下来我们使用文档频率df这个因子来计算查询-文档的 匹配得分 文档频率指的是出现词项的文档数目
23
现代信息检索
6.2.3 idf 权重
dft 是出现词项t的文档数目 dft 是和词项t的信息量成反比的一个值 于是可以定义词项t的idf权重:
The Hamlet Tempest
0 0 0 0 0 3 1 0 2 2 0 0 8 1
Othello
Macbeth ...
0 0 1 0 0 5 1 1 0 0 0 0 8 5
每篇文档可以表示成一个词频向量 ∈ N|V|
16
现代信息检索
词袋(Bag of words)模型
不考虑词在文档中出现的顺序 John is quicker than Mary 及 Mary is quicker than John 的 表示结果一样 这称为一个词袋模型(bag of words model)
27
现代信息检索
6.2.4 tf-idf权重计算
词项的tf-idf权重是tf权重和idf权重的乘积
信息检索中最出名的权重计算方法 注意：上面的 “-”是连接符，不是减号 其他叫法：tf.idf、tf x idf
28
现代信息检索
课堂练习: 词项、文档集及文档频率
统计量
词项频率 文档频率 文档集频率
3
现代信息检索
排序式检索(Ranked retrieval)
迄今为止，我们主要关注的是布尔查询
文档要么匹配要么不匹配
对自身需求和文档集性质非常了解的专家而言，布尔查询 是不错的选择 对应用开发来说也非常简单，很容易就可以返回1000多条 结果 然而对大多数用户来说不方便
4
现代信息检索
6
现代信息检索
排序式检索中的评分技术
我们希望，在同一查询下，文档集中相关度高的文档排名 高于相关度低的文档 如何实现？ 通常做法是对每个查询-文档对赋一个[0, 1]之间的分值 该分值度量了文档和查询的匹配程度
7
现代信息检索
查询-文档匹配评分计算
如何计算查询-文档的匹配得分？ 先从单词项查询开始 若该词项不出现在文档当中，该文档得分应该为0 该词项在文档中出现越多，则得分越高 后面我们将给出多种评分的方法
8
现代信息检索
6.1 参数化索引及域索引
我们将文档看成一系列词项的序列。 实际上大多数文档具有额外的结构信息。 元数据（DC都柏林核心）
9
现代信息检索
10
现代信息检索
11
现代信息检索
图6-2 基本的域索引示意图，每个域采用词典项的某种扩 展表示方法
图6-3 一种域索引的实现方法，支持加权评分
ANTHONY BRUTUS CAESAR CALPURNIA CLEOPATRA MERCY WORSER ... 1 1 1 0 1 1 1 1 1 1 1 0 0 0
The Hamlet Tempest
0 0 0 0 0 1 1 0 1 1 0 0 1 1
Othello
Macbeth ...
0 0 1 0 0 1 1 1 0 1 0 0 1 0
30
→ 0 个结果 – 太少
在布尔检索中，需要大量技巧来生成一个可以获得合适规 模结果的查询
5
现代信息检索
排序式检索
排序式检索可以避免产生过多或者过少的结果 大规模的返回结果可以通过排序技术来避免 只需要显示前10条结果 不会让用户感觉到信息太多
前提：排序算法真的有效，即相关度大的文档结果会排在 相关度小的文档结果之前
(其中N 是文档集中文档的数目) idft 是反映词项t的信息量的一个指标
24
现代信息检索
idf的计算样例
利用右式计算idft:
词项 calpurnia animal sunday fly under the dft idft
1 100 1000 10,000 100,000 1,000,000
常见词项所期望的权重
常见词项的信息量不如罕见词 考虑一个查询词项，它频繁出现在文档集中 (如 GOOD, INCREASE, LINE等等) 一篇包含该词项的文档当然比不包含该词项的文档的相 关度要高 但是，这些词对于相关度而言并不是非常强的指示词 于是，对于诸如GOOD、INCREASE和LINE的频繁词，会给 一个正的权重，但是这个权重小于罕见词权重
布尔搜索的不足: 结果过少或者过多
布尔查询常常会倒是过少(=0)或者过多(>1000)的结果 查询 1 (布尔与操作): [standard user dlink 650]
→ 200,000 个结果 – 太多
查询2 (布尔与操作): [standard user dlink 650 no card found]
每篇文档可以看成是一个二值的向量 ∈ {0, 1}|V|
15
现代信息检索
非二值关联矩阵(词频)
Anthony Julius and Caesar Cleopatra
ANTHONY BRUTUS CAESAR CALPURNIA CLEOPATRA MERCY WORSER ... 157 4 232 0 57 2 2 73 157 227 10 0 0 0
26
现代信息检索
文档集频率 vs. 文档频率
单词 INSURANCE TRY 文档集频率 10440 10422 文档频率 3997 8760
词项t的文档集频率(Collection frequency) : 文档集中出现 的t词条的个数 词项t的文档频率: 包含t的文档篇数 为什么会出现上述表格的情况？即文档集频率相差不大， 但是文档频率相差很大 哪个词是更好的搜索词项？即应该赋予更高的权重 上例表明 df (和idf) 比cf (和“icf”)更适合权重计算
符号
tft,d dft cft
定义
t在文档d中出现的次数 出现 t的文档数目 t在文档集中出现的总次数
df和cf有什么关系? tf和cf有什么关系? tf和df有什么关系？
29
现代信息检索
本讲内容
对搜索结果排序(Ranking) : 为什么排序相当重要？ 词项频率(Term Frequency, TF): 排序中的重要因子 Tf-idf 权重计算方法: 最出名的经典排序方法 向量空间模型(Vector space model): 信息检索中最重要的形 式化模型之一 (其他模型还包括布尔模型和概率模型)
18
现代信息检索
一种替代原始tf的方法: 对数词频
t 在 d 中的对数词频权重定义如下：
tft,d → wt,d : 0 → 0, 1 → 1, 2 → 1.3, 10 → 2, 1000 → 4, 等等
19
现代信息检索
6.2.2 DF权重
除词项频率tf之外，我们还想利用词项在整个文档集中 的频率进行权重和评分计算
20
现代信息检索
罕见词项所期望的权重
罕见词项比常见词所蕴含的信息更多 考虑查询中某个词项，它在整个文档集中非常罕见 (例 如 ARACHNOCENTRIC). 某篇包含该词项的文档很可能相关 于是，我们希望像ARACHNOCENTRIC一样的罕见词项将有 较高权重
21
现代信息检索
在某种意思上说，这种表示方法是一种“倒退”，因为 位置索引中能够区分上述两篇文档 本课程后部将介绍如何“恢复”这些位置信息 这里仅考虑词袋模型
17
现代信息检索
词项频率 tf
词项t的词项频率 tft,d 是指t 在d中出现的次数 下面将介绍利用tf来计算文档评分的方法 第一种方法是采用原始的tf值(raw tf) 但是原始tf不太合适： 某个词项在A文档中出现十次，即tf = 10，在B文档中 tf = 1，那么A比B更相关 但是相关度不会相差10倍 相关度不会正比于词项频率tf
12
现代信息检索
域加权评分
给定一个布尔查询q和一篇文档d，域加权评分方法给每个 （q,d）对计算出一个[0,1]之间的得分。 例6-1
练习：习题6-2
13
现代信息检索
6.2 词项频率及权重计算
词项频率 Tf-idf权重计算
14