Google工作流程图
- 格式:doc
- 大小:31.50 KB
- 文档页数:3
服务器分配给300条链接)
广度链接策略
作用:提供初始Url 地址
页面信息或文档传送给压缩服务器,压缩服务器把Web 页面压缩后存储在仓库中)
检索服务器
用户
广度链接策略:
当Robot 抓取到页面ABC 的时候,先顺着其中一个链接A 抓取DEF 页面,对DEF 页面进行信息抓取但瞻时不处理DEF 页面上的链接。
抓取完DEF 页面上的信息后返回ABC 页面,重新顺着B 链接抓取JKL 页面,处理方法与处理DEF 一样。
一旦ABC 上的所有超链都已被处理过,就可以返回刚才处理过的DEF 页面中搜索其余的超链进行处理。
爬行过程中必须主要解决几个问题:消除重复、辨别类型、限制范围、限制深度 网页中通常存在着相互链接,指向主页的链接也是常见的。
站点爬行时对页面重复处理可能使robot 陷入死循环中。
所以一般建立一个已访问URL 的列表,在处理新链接前先检查此表。
一般robot 只处理指向同一服务器的链接。
对于某些信息层次很深的站点应设定robot 的爬行深度,以便robot 能自动结束对此站点的爬行。