什么是百度蜘蛛
- 格式:doc
- 大小:14.50 KB
- 文档页数:2
什么是百度蜘蛛
所谓百度蜘蛛,英文名是“Baiduspider”是百度搜索引擎的一个自动程序。
它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
简单点来说,百度的搜索功能就是依靠蜘蛛来实现的。
蜘蛛从互联网上搜集大量的各种网页信息并建立索引数据库,这样用户在搜索的时候就能依据搜索的关键字去匹配索引,进而显示要查找的那类网页或者图片等。
百度蜘蛛下载回来的网页放到补充数据区,通过各种程序计算过后才放到检索区,才会形成稳定的排名,所以说只要下载回来的东西都可以通过指令找到,补充数据是不稳定的,有可能在各种计算的过程中给k掉,检索区的数据排名是相对比较稳定的,百度目前是缓存机制和补充数据相结合的,正在向补充数据转变,这也是目前百度收录困难的原因,也是很多站点今天给k了明天又放出来的原因。
深度优先和权重优先,百度蜘蛛抓页面的时候从起始站点(即种子站点指的是一些门户站点)是广度优先抓取是为了抓取更多的网址,深度优先抓取的目的是为了抓取高质量的网页,这个策略是由调度来计算和分配的,百度蜘蛛只负责抓取,权重优先是指反向连接较多的页面的优先抓取,这也是调度的一种策略,一般情况下网页抓取抓到40%是正常范围,60%算很好
作者:Zyk。