当前位置：文档之家 › 北邮郭军web搜索chapter2

北邮郭军web搜索chapter2

  • 格式：ppt
  • 大小：4.54 MB
  • 文档页数：78

下载文档原格式

  / 78

合集下载

北邮郭军web搜索第五章

北邮郭军web搜索第五章
d
ln Rl ln P(c1 ) ln P(c2 ) lnP(t j | c1 ) lnP(t j | c2 )
j 1 j 1
d
对数似然比：
朴素Bayes分类器
向量距离分类器

向量距离分类器可以看作是Bayes分类器的简化，它用 各类别数据的均值向量、方差向量、协方差矩阵等参 数近似描述它们的分布特性，利用向量之间的各种距 离进行分类，常用的距离尺度有:
和对应的特征向量 a i ，并构成矩阵
y At ( x x )
称为x的PCA变换(也称K-L变换)
PCA的性质
PCA变换后的变量y是零均值的随机变量，其协方差矩阵为：
y At x A
由于A是列为 x 的特征向量的正交矩阵，所以 y 是对角阵且对角线元素为 x 的特征值，即：
精度指标
分类与标注对应关系的频次
标注 为L类 判别为L类 判别为非L类 a c
标注为 非L类 b d
i) 准确率(Precision)表示 所有被分类器分到类L的数 据中正确的所占的比例
ii) 召回率(Recall)表示 所有实际属于L的数据被 分类器分到L中的比例
P
R
a ab
a ac
iii) 平衡点BEP(Break-even Point): P和R值是互相影响的: P会随着R的升 高而降低，反之亦然。因此，为了更全面地反映分类器的性能，一种做法 是选取P和R相等时的值来表征系统性能，这个值叫BEP iv) F值 一种把准确率和召回率综合考虑的评价方法，定义如下：
g ( x) w x b

x R d y 1, 1
D维空间中线性判别函数的一般形式为 分类超平面方程为

北邮Web技术阶段作业二-2

北邮Web技术阶段作业二-2

一、单项选择题（共10道小题，共100.0分）1.在开发Java Web应用程序的时候，HTTP请求消息使用GET或POET方法以便在WEB上传输数据，下列关于GET和POST 方法描述正确的是（）A.POST请求的数据在地址栏不可见B.GET请求提交的数据在理论上没有长度限制C.POST请求对发送的数据的长度限制在240——255个字符D.GET请求提交数据更加安全知识点: 阶段作业二学生答案: [A;]标准答案:A得分: [10] 试题分值:10.0提示:2.JSP页面中，可以在以下哪个标记之间插入变量与方法声明（）A.<% =和%>B.<%!和%>C.</ 和%>D.<% 和!>知识点: 阶段作业二学生答案: [B;]标准答案:B得分: [10] 试题分值:10.0提示:3.下列关于JSP动作元素说法中错误的是（）A.<jsp:plugin>元素用于把另外一个资源的输出内容插入进当前JSP页面的输出内容之中B.当Jsp文件被编译，送往浏览器时，<jsp:plugin>元素将会根据浏览器的版本替换成<object>或者<embed>元素C.<jsp:param>操作被用来以"名-值"对的形式为其它标签提供附加信息D.<jsp:fallback>是<jsp:plugin>动作的一部分，并且只能在<jsp:plugin>动作中使用知识点: 阶段作业二学生答案: [A;]标准答案:A得分: [10] 试题分值:10.0提示:4.下面关于page指令说法中错误的是（）A.page指令用来定义JSP页面中的全局属性B.一个JSP页面只能包含一个page指令C.除了import外，其他page指令定义的属性/值只能出现一次nguage属性用来指示所使用的语言知识点: 阶段作业二学生答案: [B;]标准答案:B得分: [10] 试题分值:10.0提示:5.下列关于Tomcat个目录说法错误的是（）A.bin目录--包含启动/关闭脚本程序B.conf目录——包含不同的配置文件C.lib目录—包一些Tomcat的核心类库，在应用中如果需要扩展Tomcat的功能，也可以将第三方类库复制到该文件夹下D.work目录--包含web项目示例，当发布web应用时，默认情况下把web文件夹放于此目录下知识点: 阶段作业二学生答案: [D;]标准答案:D得分: [10] 试题分值:10.0提示:6.如果在HTML页面中包含如下图片标签，则下述能够实现隐藏该图片的功能的JavaScript代码段是（）。

2018北京邮电大学信息与通信工程考研复试通知复试时间复试分数线复试经验

2018北京邮电大学信息与通信工程考研复试通知复试时间复试分数线复试经验

2018北京邮电大学信息与通信工程考研复试通知复试时间复试分数线复试经验启道考研网快讯：2018年考研复试即将开始，启道教育小编根据根据考生需要，整理2017年北京邮电大学信息与通信工程学院081000信息与通信工程考研复试细则，仅供参考：一、复试科目（启道考研复试辅导班）件定义网络、网络人工智能李莉,姚海鹏,刘江,谢人超,张娇201英语一③301数学一④801通信原理⑤804信号与系统④⑤选一07 高速宽带网络融合技术纪越峰,孙咏梅,王宏祥,李慧,黄治同,顾仁涛,杨大全,张佳玮①101思想政治理论②201英语一③301数学一④801通信原理08 移动互联网与空间通信张琳,苏驷希,吴晓非,刘雨,禹可,顾昕钰,朱①101思想政治理论②201英语一③301数学一④801通信原理⑤804信④⑤选一15 移动通信、网络智能化与数据挖掘纪红,高泽华,孙文生,李曦,张鹤立①101思想政治理论②201英语一③301数学一④801通信原理⑤804信号与系统④⑤选一16 移动通信与无线网络数据分析啜钢,李广成,刘辛越,高伟东①101思想政治理论②201英语一③301数学一④801通信原理⑤804信号与系统④⑤选一①101思想政治理论②处理④801通信原理⑤804信号与系统24 认知无线网络、多协议网络和移动互联网技术张陆勇,黄小军,陈佃军①101思想政治理论②201英语一③301数学一④801通信原理⑤804信号与系统④⑤选一25 宽带移动通信与网络融合王晓湘,张鸿涛①101思想政治理论②201英语一③301数学一④801通信原理⑤804信④⑤选一32 下一代接入网与移动互联网寿国础,胡怡红①101思想政治理论②201英语一③301数学一④801通信原理⑤804信号与系统④⑤选一33 数据挖掘、行为认知及智能应用胡铮,唐晓晟①101思想政治理论②201英语一③301数学一④801通信原理⑤804信号与系统④⑤选一①101思想政治理论②40 5G移动通信王亚峰201英语一③301数学一④801通信原理41 )移动大数据袁超伟①101思想政治理论②201英语一③301数学一④801通信原理42 多媒体信息处理与传输别红霞①101思想政治理论②201英语一③301数学一④801通信原理⑤804信号与系统④⑤选一号与系统49 移动互联网与数据中心(IDC)新技术彭扬①101思想政治理论②201英语一③301数学一④801通信原理50 光传输系统与网络乔耀军①101思想政治理论②201英语一③301数学一④801通信原理①101思想政治理论②201英语一③301数学一二、复试通知（启道考研复试辅导班）考生参加复试流程1. 网上支付复试费支付时间：3月23日-3月25日;支付方式：网上支付特别提示：缴费成功后(在招生宣传咨询会上领取到免复试费证明的考生无须支付)，打印《2017年报考攻读硕士学位研究生登记表》，仔细核对信息，确认无误后签字，在报到时提交，否则不予复试。

用例图, 类图

用例图, 类图

Get Upload Files
Receive Data
Manage Log
Breake Connection
Time
18/336
1.用例图 (19/29)
•
20/336
21/336
22/336
1.用例图 (22/29)
23/336
24/336
1.用例图 (25/29)
智能电梯系统
25/336
1.用例图 (26/29)
Deal with Auditing Data
Auditing break connection
break connection
Server 17/336
1.用例图 (18/29)
• 学生课程注册系统例子
– 每个学生都可以增删改查自己的课程注册表 – 每个教师都可以查询课程花名册 – 学校管理人员可以维护全部课程，可以登记
Dat aObjec t
38/336
2.顺序图 (8/19)
40/336
2.顺序图 (9/19) 2.顺序图 (11/19)
41/336
: Actor
FormObject
1: Open form
ControlObject
DataObject
2: Enter information
3: Save informat ion
is displayed
4. Select a file
12/336
1.用例图 (12/29)
• 例子: 远程通讯
– 背景 – 任务
• 远程审核 • 远程客户端
Client
13/336
logon Request Data Receive Data

北京邮电大学研究生导师个人及科研情况简介

北京邮电大学研究生导师个人及科研情况简介

共有三个招生专业：
一、现代密码学，主要研究方向：现代密码应用基础研究，电子商务安全平台研究，信息伪装与数字水印研究。
二、信号与信息处理，主要研究方向：现代通信系统的信息安全技术，计算机与英特网的安全内核技术，现代编码理论与技术。
三、应用数学，主要研究方向：现代密码基础理论，信息隐慝技术与理论。
已毕业研究生分布在国内外的移动通信技术公司工作。
丁炜 教授
丁炜，男，1935年出生，北京邮电学院毕业，教授、博士生导师；曾负责国家863、国家自然科学基金、国家科技攻关、邮电部等重大、重点项目六项，获邮电部二、三等奖、北京市二、三等奖六项，发明专利一项，发表学术论文百余篇；从事通信与信息系统专业，研究方向为宽带通信网接入理论和技术，现负责两个重大项目，经费充足，能提供研究生良好的实验环境和参加重大项目研究的机会，能提供助研岗位20余个，过去指导的研究生100%就业，去向一般在研究单位、企业、政府部门、外企和学校等。
舒华英 教授
舒华英，男，教授 、博士生导师。中国通信学会会士、中国通信学会组织委员会委员、中国邮电企业管理协会理事、中国电子学会工业工程专门委员会副主任。
目前主要进行信息系统及系统集成及IP及其网络管理方面和知识创新、决策管理咨询方面的研究。目前在研的项目有IP电话系统集成、Internet网络有关软件开发、企业科研创新等，可支配经费约100万。可提供助研岗位6人。已毕业的研究生都就业于通信行业及中外合资的IT业。
余重秀 教授
余重秀，46年生，69年北邮学院无线系毕业，在北邮任教30多年，现任电子工程学院教授（博导）。招收博士生的专业为电磁场与微波技术及物理电子学，招收硕士生专业为光学、物理电子学；研究方向为光波技术与光通信，目前的科研项目有国家863、国家自然科学基金项目等65万元，近年毕业生在外企和国内电信部门工作。

北京邮电大学信息与通信工程学院

北京邮电大学信息与通信工程学院
☆本科“数字媒体技术”专业——2009年被评为“北京市级特色专业建设点”
此外，学院面向社会企事业单位培养“电子与通信工程领域”在职工程硕士专业学位研究生。
学院的毕业生以良好的专业素质、扎实的理论基础和踏实的工作态度颇受社会的青睐和好评。研究生就业率一直保持在100％，本科生就业率达到99％左右，本科生考取研究生及出国深造的比例为50％左右。毕业生遍布全国信息通信领域的各大运营商、制造商、公司、企事业单位、科研院所以及合资企业和外资企业，许多毕业生在单位担任领导职务、承担重要工作，为我国信息通信事业的发展做出了突出贡献。
信息工程系信息工程、应用数学（86～93）、信息科学（94）、自动化（95～96）
1997年～1999年
电信工程学院通信工程、电子信息工程、通信工程（97～99夜大）
信息工程系信息工程、信息科学、自动化
2000年～2008年
电信工程学院通信工程、电子信息工程
信息工程学院信息工程、信息与计算科学、自动化、信息安全（02～08）、数字媒体艺术（04～08）、智能科学与技术（06～08）
苗建松
泛网无线张平新一代无线通信基础理论与网络技术田辉、刘宝玲、陶小峰、
刘培植、康桂霞、王莹、
张建华、李立华、冯志勇、
崔琪楣、姜军、张治、
唐晓晟、陈佃军
周正短距离无线通信新技术蒋挺、黄小军、赵成林、
张陆勇、邹卫霞、陈萍
网络搜索郭军Web搜索理论与技术蔺志青、杨文川、张彬、
董远、张洪刚、刘刚、
徐蔚然、张闯、刘瑞芳、
学院以信息科技为特色，以突出的学科实力和明显的专业优势，在全国信息通信领域享有很高的声誉，重点建设的一级学科“信息与通信工程”是国家级重点学科。学院拥有“泛网无线通信”教育部重点实验室，以及多个信息产业部重点实验室；承担完成了大量国家自然科学基金、国家攻关、国家863计划、国家973计划和省部级等多项重点科研项目，也承担完成了大批横向科研任务，取得了丰硕的科研成果。

北邮郭军web搜索chapter3


实验—“男人”概念的训练样本
基于COREL公司6万张照片数据库
实验—图像自动标注实例
有监督的多类标注SML

SML结合有监督二类标注和无监督多类标注的优点，将 图像文本标注定义为多个图像类的分类问题

避免了串行独立地进行多个二值分类 保留了有监督标注在分类和检索意义上的优化特性
SML的基本过程
块中像素的3个平均彩色成分(在LUV亮度/色度空间计算)

小波变换中3个高频带中的纹理特征，每个特征对 应各自频带中小波系数二阶矩的平方根

以HL频带为例，设其系数为{ck,l,ck,l+1,ck+1,l,ck+1,l+1}， 则其纹理特征为:
1 f 2
2 c k i,l j i 0 j 0
M分量的混合模型
m { cm , cm , c }, m 1,..., M
用于GMM分量聚类的扩展EM算法
E-step:
1 k m 1 k [G( ) exp( trace{(c ) j })] j cm 2 hm jk 1 k k l l l 1 k l j [ G ( ) exp( trace {( ) })] l j , c, c c j c 2
标注算法

对于一个测试图像It

1: 用与训练阶段相同的方法抽取It的口袋特征B， B={x1 ,…, xN} 2 log P(B | wi ) log P(wi ) log P(B)
其中， log P(B | wi ) log P( x | wi )
xB

3:用后验概率logP(wi|B)最大的5个类wi对测试图 像It进行标注

计算机网络管理

OSI系统管理体系结构仅定义了单个网络管理体系结构，而TMN体系结构则定义了功能体系结构、物理体系结构、信息体系结构等多个体系结构；
单击此处添加小标题
1
TMN采用了独立的数据通信网DCN传递管理信息，DCN与被管网络独立，避免了OSI系统管理中故障管理不能管理通信系统内部故障的缺点。
单击此处添加小标题
*
需要注意的是，虽然OSI管理是由ISO组织提出的，但真正的研究工作是由ISO组织与CCITT组织（ITV-T的前身）合作、共同进行的。两个标准组织合作产生了大量的研究成果，但其最初的研究出发点不同，ISO组织最初的目标是为数据通信网制定网络管理标准，ITU-T组织为电信管理网制定相关标准。
*
“OSI管理框架”主要有如下几个贡献： 提出了故障管理、配置管理、计费管理、性能管理和安全管理的五个管理功能域的概念，并明确了各管理功能域的管理功能； 提出了三种交换管理信息的方式，分别是系统管理（systems management）、应用管理（application management）和层管理（layer management）； 提出了被管对象(managed object)、管理信息（management information)和管理信息库（MIB：Management Information Base）。
05
八、九讲 新型的网络管理模型和技术 （第6、12章）
06
十一讲 OSI网络管理的功能 （第7章）
07
第十二讲 安全管理与信息安全相关技术 （第11章）
*
第一讲 绪论
计算机网络
电话网
有线电视网
（通信/信息）网络 计算机网络与网络的概念上的联系与区别
*
1.1 网络管理是什么？

北邮郭军web搜索第七章第二讲


产业界的跟进

2012年11月，微软在天津公开演示了一个全自动的同声传译 系统，讲演者用英文演讲，后台的计算机一气呵成自动完成 语音识别、英中机器翻译和中文语音合成，效果非常流畅。所
对Deep Learning而言，设有输入I（如一批图像或文本）进入了 系统 S，通过调整系统参数，使得它的输出 O仍然是输入 I，那 么就可以自动地获取输入I的一系列层次特征，即S1，…, Sn

深度学习的基本思想

深度学习就是堆叠多个层，使当前层的输出作为下
一层的输入。通过这种方式实现对输入信息的分级 表达


初级（浅层）特征表示

他们提出的问题是，如何从这400个碎片中，选取一组 碎片S[k], 通过叠加的办法，合成出一个与T尽可能相 似的碎片，同时，S[k]的数量尽可能少。数学上：
Sum_k (a[k] * S[k]) T, 时的权重系数 其中 a[k] 是在叠加碎片 S[k]


这便引出了稀疏编码
Output Features
Decoder
Encoder
Input (Image/ Features)
非监督学习获取特征


在以往神经网络中，输入的样本是有标签的 ，即 (input, target)，因而可根据当前输出和标签之间 的差去调整参数 如果只有无标签数据，那么误差如何得到呢？
非监督学习获取特征

还可以略微放松一下限制，即只要使输入与输出的 差别尽可能小即可，这个放松会导致另外一类不同 的Deep Learning方法
浅层学习和深度学习

浅层学习（Shallow Learning） 机器学习的第一次浪潮
深度学习（Deep Learning） 机器学习的第二次浪潮

Web应用系统测试有效性的研究与应用

北京邮电大学Ｗｅｂ应用系统测试有效性的研究与应用图６－１ＬｏａｄＲｕｎｎｅｒ工作示意图经过设置后，如图６—２选择”ｓｔａｒｔｓｃｅｎａｒｉｏ”来开始本次压力测试调度。

图６－２压力测试调度过程执行结果分析如图６－３所示北京邮电大学Ｗｅｂ应用系统测试有效性的研究与应用图６－３测试结果施压时间为５分４１秒，Ｖｕｓｅｒｓ数量为ｉ００，一共完成的Ａｃｔｉｏｎｓ交易数量为５８２５笔，平均响应时间为５．５６１秒，ＴＰＳ为１７．０８。

６．３．３安全测试Ｗｅｂ服务器安全的测试是非常重要的内容，维护和测试Ｗｅｂ服务器安全是信息安全中最不讨好的差事之一，测试人员对系统ＣＧＩ（通用网关接口）进行了安全测试。

ＣＧＩ是一个协议而不是一种编程语言，许多Ｗｅｂ应用利用ＣＯｌ协议实现Ｗｅｂ服务器与其他程序之间的通信，Ｏｎ—ＬｉｎｅＧａｔｅＷａｙ系统也不例外。

ＣＧＩ很容易被发现并且在ｒｏｏｔ权限下运行，黑客开发易受攻击的ＣＧＩ程序来摧毁网页，盗取信用卡信息并且为将来的入侵设置后门。

测试人员创建～个短小的ＣＧＩ程序，测试ＣＧＩ程序集合继承的安全许可是否太多，然后将它上传到Ｗｅｂ服务器接受测试。

这个ＣＧＩ程序包括多个命令，完成一项应该被服务器的安全设置阻止的操作。

２４北京邮电大学Ｗｅｂ应用系统测试有效性的研究与应用６．３．５可用性测试图６—５ＩＥ浏览器选项图６—６ＩＥ浏览器设置Ｗｅｂ应用系统可用性测试是通过收集用户与Ｗｅｂ应用系统交互的信息来测试、评估Ｗｅｂ应用系统的用户友好性和适宜性。

可用性测试包括：导航测试、整体界面测试、图形测试、内容测试、帮助系统测试、功能测试、整体效果测试及其他测试，因为已进行了功能性测试，所以进行可用性测试时，我们主要考虑的是整个软件的易用性。

在进行可用性测试时，项目组特邀请了客户一起参加。

下面分别论述：≯导航测试：导航描述了用户在一个页面内操作的方式，在不同的用户接口控制之间，例如按钮、对话框、列表和窗口等；或在不同的链接页面之间。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

用户相关反馈


先将检索出的文档清单提交给用户，用户查阅后，对 相关的文档进行标记 设D+为用户标记的相关文档的集合，D-为反馈文档中 非相关文档的集合 Rocchio公式
q q d d
D+ D

α，β和γ都是可调参数，简单的设置是令它们都为1 在D-不好确定时，常令γ 为0
TF:
fij
freqij MaxFreq j
IDF:
N idfi log ni
TF-IDF:
N wij ( ) log MaxFreq j ni
N wiq (0.5 ) log MaxFreqq ni 0.5 freqiq
freqij
查询词的权重:
概率模型(1/2)
文本聚类

在文本检索中的作用非常广泛和重要 聚类一直是模式识别、机器学习、数据挖掘等领域中 的一个重点课题 无监督学习(Unsupervised learning) 目的是找到数据集合中潜在(latent)的聚合结构 两大类聚类算法 区分法(discriminative method) 生成法(generative method)
返回文档集合V后的改进估计
P( wij 1| R, q)
ni | Vi | P( wij 1| R, q) N |V |
Bayesian推理网络模型

节点对应文档、检索词、概念、查询等各类实体 每个节点v都与一个随机Boolean变量相联系，给定父节点 u1, … uk, P(v|u1,…uk) 通常采用“或”逻辑，即只要有一个父 节点的置信逻辑为“真”，则本节点就为“真”

概率模型(2/2)
dj与q的相似性sim(dj,
q)被定义为 P(R | q, d j ) P(d j | R, q) P(R) sim(d j , q) P(R | q, d j ) P(d j | R, q) P(R)
m
取对数后简化
sim(d j , q) wij wiq log
i 1
p(wij 1| R, q)(1 p( wij 1| R, q)) (1 p(wij 1| R, q)) p( wij 1| R, q)
P( wij 1| R, q) ni N
两个概率的初始化
P(wij 1| R, q) 0.5
| Vi | |V |
则 pi 1 LT pi p将收敛于LT的主特征向量
PageRank的完善

假设用户在Web图的每个节点上将进行两种选择 以概率q随机浏览Web上的任意一个网页 以概率1-q在所有的出链接中以均匀概率选择一个， 继续前进 则
1/ N 1/ N pi 1 (1 q)LT pi q pi 1/ N 1/ N (1 q)LT pi q / N (1,...,1)T
相关系数
w
i 1 m i 1
m
ij
wiq
2 w iq i 1 m
2 w ij
r (q, d j )
(w
i 1 m i 1
m
ij
w j ) ( wiq wq )
2 2 ( w w ) iq q i 1 m
(wij w j )
索引词的权重


文档的标识符压缩: delta编码
词标识、去停词(stopword)、词干化(stemming)

索引词的选取

检索模型


文本检索的本质问题: 用户需求文本集中最相关(最切题)的文档 需解决的3个基本问题 用户如何提出需求 简单、便捷，关键词的方式 相关文档如何定义和计算 语法层相关/语义层相关 检索结果如何反馈 URL地址清单 段落检索 QA
PageRank


模拟用户在Web上可用Markov链建模的网页浏览行为 假设任意节点u对于节点v都有一条有向路径，用户以 概率分布p0随机地从一个节点出发，pi为i时刻到达各 节点的概率 令Web邻接矩阵(图)为E，如果节点u和v之间存在超 链接，则E(u,v) = 1，否则为0 (Nu是节点u的出度) 令 L(u, v) E(u, v) / Nu


文本的表示
用户查询方法 相关文档排序 文本聚类 文本分类
Web信息采集

Crawler/Spider:


利用hyperlink自动获取网页的URL
利用HTTP 进行网络编程自动下载网页 网页采集过程是一个从WWW的某网页出发不断 向前漫游的过程 漫游的方向和路线是随机的 为了将随机漫游变成有序的向外扩展，必须对其 进行有效地控制
自动局部分析

对于一个给定的查询q，称检索出来的文档集合Dl为局 部文档集合 自动局部分析从Dl中查找查询词的近邻词 近邻的测度 suv suv f uj f vj 关联度 suv
d j Dl
suu svv suv

近邻度
nuv
1 di Duv r i (tu , tv )
max j ( f ij )
) log( m / m j )
[(0.5 0.5
l 1
f il ) log( m / ml )]2 max l ( fil )
iq i

而查询 q
w t
ti q
通过计算q与各检索词的相关性进行查询扩展
基于同义词辞典的全局分析

辞典包含若干同义词类
基于概念空间的全局分析

寻找整个查询的近邻词 用文本集的所有N个文档构成一个概念空间，每个文档是空 间中的一个维度 无论是检索词还是查询，都被看作概念空间中的数据点， 即概念，对于检索词ti(i = 1,…,m)，ti=(wi1,…,wiN)，其中
(0.5 0.5 wij
N
f ij
a(u)

h = Ea a = ET h 赋初值a = h = 1 迭代， 收敛后，a等于ETE的主特征向量 h等于EET的主特征向量
( v ,u )E

h(v)
h(u)
(u ,v )E

a(v)
查询重构

用户提出一个适当的查询请求往往是不容易的 可将用户的第一个查询看作是初始的尝试，通过对获 得的文档的相关分析，对初始查询进行重构 查询重构的三类方法 基于用户反馈信息的的方法 基于对初始反馈文档的局部分析的方法 基于对全部文档集合的全局分析的方法
Web 搜索 郭 军
北京邮电大学
第2章 文本检索





Web信息采集 文本的保存与索引 检索模型 网页排序 查询重构 文本聚类 文本分类 特征选择 特征变换
引

言
文本是最基本、同时也是最高级的信息媒体


文本检索是Web搜索的起点也是重点
文本检索所涉及的问题

Web信息的采集与组织
PageRank的近似解

当N很大时，直接求解改进PageRank方程组是困难的
简单算法是先将p0的所有元素设为1/N，然后反复用 因子(1-q)LT+q/N 1N乘以pi，并将|pi|缩放至1。

但此方法不能保证收敛。
HITS

HITS (Hypertext Induced Topic Search) 与PageRank不同，是与查询相关的网页质量评价算法 收到查询q后，系统返回一个网页的集合R R中的任意节点(网页)指向的节点和指向R中任意节点 的节点构成集合X，R与X共同构成一个基本集合V 构造图G = (V , E)，E为节点间的有向链接 评价网页的两个测度: a(authority)和h(hub)
VSM


用索引词出现的绝对或相对频度来表达文档和查询
所有m个不同的索引词构成m维的特征向量 文档dj的特征向量dj = [w1j, w2j, …,wmj] 查询q的特征向量q = [w1q, w2q, …,wmq] 计算q和dj之间相关性或相似性有多种方法
相关性计算
余弦相似度
cos(q, d j )

流行度高的网页给予高频访问 基于链接分析判断网页的活跃度
文本的预处理与保存


预处理 网页去重: 基于消息摘要/链接结构 网页解析: HTML/XML文档的解析，取出其中的 元数据、超链接、标题和文本内容 文本的保存 文本通常以压缩的形式保存 网页一般长度为10KB，压缩后为2-4KB 通用文件系统的存储块尺寸为4-8KB 网页存储通常采用专门开发的文件系统 大型商用搜索引擎需要在全球建立多个镜像的文 件系统骨干服务器
Boolean模型


查询: 由关键词及逻辑关系符构成的Boolean表达式 文档: 索引词的集合 查询与文档相关的定义: 索引词的集合是否满足查 询Boolean表达式 二元决策，无相关程度的度量 人们常常不容易用Boolean表达式描述查询 用户往往只是同时输入多个关键词，隐含地应用 “与”逻辑
每个类由通过文档聚类算法获得的若干检索词构成

采用全链接(complete link)的聚类算法，即类对之间的相似度 被定义为所有文档对的相似度的最小值 Bottom-up的层次聚类 通过设置以下参数进行同义词类选择


Tsim:最小类内相似度阈值 Tnod:类内最大文档数阈值 Tidf:倒文档频度阈值


查询步骤: 查询词汇表位置表文档或段落
文本的索引(2/2)

倒排索引的更新—批量更新