JIU JIANG UNIVERSITY
毕业论文
题目网络爬虫技术探究
英文题目Web Spiders Technology Explore 院系信息科学与技术学院
专业计算机科学与技术
姓名闻泽
班级学号A081129
指导教师邱兴兴
二○一二年五月
信息科学与技术学院学士学位论文
摘要
网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息，以及网络营销常要的邮箱地址信息等。
本文通过JA V A实现了一个基于广度优先算法的爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；系统实现过程中的数据存储；网页信息解析等。
通过实现这一爬虫程序，可以搜集某一站点的所有URLs，并通过得到的URLs 采集到页面的内容，在从内容中提取到需要的内容，如邮箱地址以及页面标题等。再将得到的URLs等采集到的数据存到数据库，以便检索。本文从搜索引擎的应用出发，探讨了网络爬虫在搜索引擎中的作用和地位，提出了网络爬虫的功能和设计要求。在对网络爬虫系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用Java实现了一个网络爬虫的程序，对其运行结果做了分析。
关键词：网络爬虫，广度优先，搜索引擎
信息科学与技术学院学士学位论文
Abstract
The Web Spider is an automated program collects information on the Internet. The Web Spider can not only search engine to collect network information and can be used as directional information collection, directed acquisition of some site specific information, such as recruitment information, rental information, as well as network marketing often have to e-mail address information.
JA V A Implementation of an algorithm based on breadth first Spider program. This paper described the data stored in the Web Spider to achieve some of the major questions: Why use a breadth-first crawling strategy, as well as how to implement the breadth-first crawling; system implementation process; web page information to resolve.
Through the realization of this Spider can collect all of a site's URLs, URLs collected by and get to the page content, to extract from the content, the content, such as email address and page title. And then get the Urls collected was data saved to the database to retrieve. In this paper, the application of the search engine to explore the role and status of a Web Spider search engine, web Spider functionality and design requirements. Web Spider system structure and working principle of the analysis based on study strategies and algorithms of the page crawling, parsing, etc. and use the Java implementation of a Web Spider program, its operating results analysis.
Keywords:Spider, Breadth First Search, Search Engine
信息科学与技术学院学士学位论文
目录
摘要 ...................................................... I Abstract ................................................... II 1 绪论
1.1 现状分析 (1)
1.2 系统开发背景 (2)
1.3 系统意义 (3)
1.4 论文主要的工作 (4)
1.5 论文结构 (4)
2 需求分析
2.1 系统非功能性需求 (5)
2.2 系统功能需求 (5)
2.3 系统数据流程分析 (5)
2.4 环境需求 (8)
2.5 本章小结 (9)
3 系统设计
3.1 系统结构设计 (10)
3.2 爬行策略分析 (12)
3.3 爬虫技术分析 (14)
3.4 数据库设计 (17)
信息科学与技术学院学士学位论文
3.5 本章小结 (17)
4 系统实现
4.1 系统功能简介 (18)
4.2 核心算法 (20)
4.3 功能模块实现 (21)
4.4 数据库实现. (30)
4.5 本章小结 (33)
5 系统测试
5.1 抓取测试 (34)
5.2 搜索测试 (37)
5.3 本章小结 (38)
6 总结与展望
致谢 (40)
参考文献 (41)
信息科学与技术学院学士学位论文
1 绪论
1.1 现状分析
从雅虎最初的网页分类技术，谷歌PageRank开始，到目前的百度等搜索引擎的迅猛发展，搜索引擎在互联网中应用领域展示了越来越广泛的作用。
搜索引擎的科学研究价值不仅仅体现在其高技术挑战性，而且表现在其对于整个互联网络乃至民生提供的便捷性和信息高速传达方式，对整个社会的高度的经济促进作用[1]。
从2000年开始在国内的缓慢发展，到目前国内百度，谷歌，搜搜，搜狗，有道等搜索引擎林立，搜索引擎的研究还只是刚刚的开始，如何在Web信息中寻找最符合用户需求的信息展示出来，这不仅在尺度上是空前巨大，而且规范条件也是非常的不确定。及其的系统往往是很难判别出用户真正需要的是什么信息的，而目前乃至以后，用户总是希望以最简短的搜索约束范围(即用户输入的关键字)搜索到自己想要的信息，所以系统得到的输入是一个笼统的模糊的概念，而这种笼统的不确定性的约束范围，和海量数据的处理，已经将搜索引擎研究技术乃至整个科学研究技术带入了一个真正的高度。
在搜索技术中，对信息的处理，既要考虑到数据的客观性，又要考虑到行为的主观性。数据的客观性表现在Web中数据形式的客观存在性，面对任何人，同一网页中的信息是不变的，而主观性则是指，每条信息对于不同用户不同需求所能提供的信息量区别是很大的，这个可以很深刻的理解：一个介绍机器用法的网页对于新用户来说肯定是很有用的，而对于开发者来说，却不一定有用或者作用的层次不同了。搜索引擎技术中客观性和主观性存在很多这样的矛盾之处，而不同的处理方式则会导致最后传达信息量的巨大或细微差别，这是以前的科学技术研究的盲点，而针对目前的社会需求，这又是刻不容缓的需要解决的一个方面，越来越多的人已经对这个领域产生了强大的兴趣。
信息科学与技术学院学士学位论文搜索引擎技术带动了很多相关学科的发展，离散数学，矩阵技术的应用让大家对数学产生了广泛的兴趣，搜索引擎优化技术(SEO)成为了许多人研究和工作的方向,同时也是电子商务的强力武器。而搜索引擎对于人工智能的贡献更是真正具有伟大意义的!自然语言理解，模式识别，机器学习，数据挖掘技术在搜索引擎的发展中得到了强大的提高。而文本分类，多媒体识别，海量数据挖掘，机器在线增量学习，在线分类类聚，信息抽取和摘取，命名等又和实际应用紧密的结合成商用搜索引擎，而其强大的资金后盾，也促进了Web搜索和人工智能行业的大力发展。
1.2 系统开发背景
随着信息时代的到来和发展，Web上的信息正在飞速地增长，这带给人们前所未有护的丰富的信息资源。然而，在给人们提供丰富信息的同时，却在web信息的高效便捷使用方面给人们带来巨大的挑战：一方面Web上的信息种类繁多、丰富多彩，而另一方面却很难找到真正有用的信息。在信息社会中，没有控制和组织的信息不再是一种资源，它倒反而成为信息工作者的敌人。搜索引擎的问世，为快速、准确、有效地获取网络信息资源提供了极大的帮助。搜索引擎是为满足人们搜索网络信息的需要而开发的网络工具，是互联网信息查询的导航针，是沟通用户与网络信息的桥梁。搜索引擎的出现很大程度上解决了人们在Web上查找信息的困难，但是随着信息多元化的增长，千篇一律给所有用户同一个入口显然不能满足特定用户更深入的查询需求。即现有搜索引擎在提供用户便利获取丰富的信息资源的同时，也存在着种种的不足之处。
（1）查准率低：对任意主题，都可能很容易地包含成百上千的文档，这会使得搜索引擎返回的文档数过于庞大，其中很多相关性并不大，或所包含的内容质量不高。
（2）查全率低：搜索引擎的索引能力正在越来越落后于网络的快速增长速度。
（3）内容相对陈旧：各个搜索引擎搜索到的文件有时是不再有效的，因为网页已被移至别处或不存在。有调查发现，几个不同搜索引擎检索到的第一个文件在网上存在的平均时间是186天。
信息科学与技术学院学士学位论文（4）信息分布不平衡：有83%的站点包含商业的内容，只有6%的站点包含科学或教育的内容。
因而，人们提出了对搜索引擎新的要求：
（l）运行在常规的软/硬件设备之上；
（2）只采集某一特定学科或特定主题的Web信息资源；
（3）能够方便地对专题和学科进行配置。
为了满足这些新的要求，主题爬虫应运而生。主题爬虫就是针对性的为某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。可以简单的说成是搜索引擎领域的行业化分工。由于主题爬虫分类细致精确、数据全面深入、更新及时，并且运用了人工分类以及特征提取等智能化策略，因此它将更加有效和准确。主题爬虫是主题搜索引擎的重要组成部分，它负责对用户感兴趣的某一主题的网页进行抓取。具备普通爬虫的功能，即通过网页的链接地址来寻找网页，从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。主题爬虫还具备主题过滤的功能，即使爬虫尽可能多地爬行主题相关的网页，尽可能少地爬行无关网页，对非主题的网页进行剔除。因此，主题爬虫得到越来越多研究者的关注。主题爬虫的优势在于，由于Web上的内容丰富多样，每个主题在其中占的比例都很小，需要采集的内容也相对较少，可以极大地减少时间和存储空间的要求。在时间上的优势保证了网页的及时更新。而且，主题信息采集搜集的内容单一，用户查找时得到的冗余和无用信息也较少[2]。
1.3 系统意义
网络爬虫的工作是不停的抓取互联网上资源的信息，随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，为了解决上述问题，定向抓取相关网页资
信息科学与技术学院学士学位论文
源的网络爬虫应运而生。网络爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。网络爬虫的准确高效直接关系到搜索引擎的功能是否强大[3]。
1.4 论文主要的工作
（1）针对网络爬虫的工作原理，进行需求分析、结构分析、系统分析。
（2）开始初期的实现，主要实现的功能是：网页抓取、URLs提取、页面内容解析、数据存储等。
（3）系统测试网络爬虫的功能，修改不完善的地方，尽量做到符合基本的功能要求。
1.5 论文结构
本论文主要介绍的网络爬虫的开放过程，全文共分为五章：
第一章绪论，简要的介绍了系统的开放背景级研究现状，以及文本的工作概要；
第二章系统需求分析，主要介绍了系统所要解决的问题，以及系统的体系结构和类结构；
第三章系统总体设计，主要是介绍了系统实现的主要算法策略，以及具体的功能划分；
第四章系统实现，主要介绍了实现的各个功能的具体代码的分析；
第五章系统测试，主要是对整个系统进行各个模块的测试，是否符合要求；
第六章总结与展望，主要讲述了整个系统完成后的心得以及系统的一些缺陷。
论文的致谢和参考文献部分。
信息科学与技术学院学士学位论文
2 需求分析
2.1 系统非功能性需求
所谓非功能性需求是指为满足用户业务需求必须具有且除功能需求外的特性。虽然此需求与系统业务逻辑无直接关系，但也影响着系统的质量，不能忽视。本系统的非功能性需求主要包括以下几个方面：
（1）易用性
本系统在功能完善的情况下，用户界面尽量做到简洁友好、便于操作，并应有效地防止误操作的发生。
（2）性能可靠
本系统属于一个需要联网进行抓取数据的系统，因此需要做到用户在使用时，避免影响到用户上网浏览网页出现网速慢的问题。
（3）通用性
本系统可以适应各种系统环境，满足了不同类型用户的需求。
2.2 系统功能需求
通过需求分析，确定本系统有以下一些基本功能：
（1）前台界面管理：前台界面主要用于对用户输入进行判断处理，再将合法输入提交到处理单元。
（2）Servlet处理程序：主要用于接收传来的初始URL ,然后再调用Spider主程序。
（3）Spider主程序：主要的功能是建立初始队列、解析URLs、抓取内容、数据存储等系统核心的功能。
（4）数据库管理：主要用于存放抓取的数据保存以便用户的检索。
2.3 系统数据流程分析
通过对网络爬虫的数据流动分析，得出数据流程如图2-1所示。
信息科学与技术学院学士学位论文
图2-1 爬虫工作原理流程图
网络爬虫是搜索引擎的核心部分，其名称出自Spider 的意译,具有相同词义的词语还有Spider ,robots ,bots ,wanderer 等等。网络爬虫定义有广义和狭义之分,狭义上将初始的URLS
加入到等待队列
启动爬虫程序
从URL 队列获取
等待URL
解析HTML ，获取
URLs
重复URL 吗
绝对地址吗
将URLs 加入到URL
等待队列 将相对地址转换为绝对地址
非法URL 吗
NO
YES
NO
NO
YES
YES
信息科学与技术学院学士学位论文
的定义为利用标准的Http协议根据超级链接和Web文档检索的方法遍历万维网信息空间的软件程序,而广义则是所有能利用Http协议检索Web文档的软件都称之为网络爬虫。网络爬虫是一个功能很强的自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。它通过请求站点上的HTML文档访问某一站点。它遍历Web空间,不断从一个站点移动到另一个站点,自动建立索引,并加入到网页数据库中。网络爬虫进入某个超级文本时,它利用HTML语言的标记结构来搜索信息及获取指向其他超级文本的URL地址,可以完全不依赖用户干预实现网络上的自动“爬行”和搜索。下面将详细分析爬虫的工作流程，通过流程图来描述爬虫的工作原理，本网络爬虫工作原理如下。
（1）将给定的初始URL加入到URL等待队列。
（2）创建爬虫程序，启动爬虫程序。
（3）爬虫线程从URL等待队列中取得任务URL，根据URL下载网页内容，然后解析网页内容，获取超链接URLs以及页面内容信息。如果获取到的URL为相对地址，则需要转换为绝对地址，然后在判断是否为站外地址，是则淘汰站外URLs，如果是不能访问的地址如错误URLs或者不能解析的URL地址，则也要删除掉。再判断这些URL是否已经被下载到，如果没有则加入到URL等待队列[4]。
（4）继续重复的执行步骤（3），直到结束条件满足后则停止继续爬行。
通过图2-1所示的爬虫工作原理流程图，我们可以清楚的知道爬虫的工作流程以及工作的原理。
网络爬虫的主要目的就是爬取用户需要的内容，即尽可能的爬取有关内容的页面，尽可能减少抓取无关页面，对非主题的网页进行剔除，确保网页的质量。因而，在设计主题爬虫时，本文主要采用两种手段来实现高质量主题网页的下载。一是对已经下载到本地的网页进行主题相关性判断，将相关的网页保存，无关的丢弃。二是分析已有信息，预测出与主题相关的URL进行下一轮抓取。在设计的过程中，要考虑到以下几点：
（1）稳定性：设计的总体结构要合理，保证系统能够稳定运行。
（2）高效性：系统采用多线程技术对网页实现高效的抓取。
信息科学与技术学院学士学位论文（3）灵活性：对系统的各个配置参数进行修改，使系统能够更好地运行。
（4）主题性：系统能够很好地应用于不同主题的网页抓取。
基于以上原则，本文对主题爬虫的结构，数据结构、存储文件和所采用的主题采集策略进行了详细设计。
2.4 环境需求
操作系统是winXP；JA V A程序的编写工具是MyEclipse 8.5 M1；数据库是SQLServer 2000。
2.4.1 开发平台
此系统开发选用的平台是Java Server Page(简称JSP)+SQL Server数据库，它适应于Windows操作系统并能很好的与其应用程序结合，而且SQL Server数据库也易操作，从而大大降低了编程难度。具体如下：
（1）Web服务器采用Tomcat5.5服务器，数据库管理系统为SQL Server。
（2）采用了jdk1.6的环境。
（3）开发工具使用Dreamweaver搭建系统页面框架。
（4）使用Myeclipse工具开发。
2.4.2 系统开发工具
本系统是基于JSP+SQL Server数据库技术实现的，现对JSP技术和SQL Server 数据库作简要的介绍。
2.4.3 开发语言
JSP页面由HTML代码和嵌入其中的Java代码所组成。JSP具备了Java技术的简单易用，完全的面向对象，具有平台无关性且安全可靠，主要面向因特网等特点。JSP的技术的优势：
（1）一次编写，到处运行。在这一点上Java比PHP更出色，除了系统之外，
信息科学与技术学院学士学位论文
代码不需要做任何更改。
（2）系统的多平台支持。基本上可以在所有平台上的任意环境中开发，在任意环境中进行系统部署，在任意环境中扩展。相比ASP/PHP的局限性是显而易见的。
（3）JSP技术是用Java语言作为脚本语言的。Java语言是成熟的、强大的、易扩充的编程语言。
（4）高效性与安全性。JSP在执行前先被编译成字节码，字节码由Java虚拟机解释执行，比源码解释效率高。
（5）可维护性。由于JSP技术是一种开放的、跨平台的结构，因此Web服务器、平台及其他组件能很容易升级或切换，且不会影响JSP基本的应用程序。
（6）多样化和功能强大的开发工具支持。Java已经有了许多非常优秀的开发工具，而且许多可以免费得到，并且其中许多已经可以顺利的运行于多种平台之下。
2.4.4 数据库
SQL Server是微软公司的一款数据库产品，它是关系型数据库，针对电子商务、数据仓库和在线商务解决方案的卓越的数据平台。它执行效率高，可在多用户之间有效的分配可用资源，比如：内存、网络带宽和磁盘I/O等。另外，SQL Server可以动态的将自身配置成能有效地使用客户端桌面的可用资源[5]。
2.5 本章小结
这章主要是明确系统开发的需求分析，明确系统要实现的功能，确立系统的功能模块，按照系统开发的流程，先确立系统要实现的功能模块，最后确立系统的用户需求的定位，本需求分析报告的目的是规范化本软件的编写，旨在于提高软件开发过程中的能见度，便于对软件开发过程中的控制与管理，同时提出了网络爬虫软件开发过程，便于程序员与操作者之间的交流、协作，并作为工作成果的原始依据，同时也表明了本软件的共性，以期能够获得更大范围的应用。
网络爬虫技术 网络机器人 1.概念： 它们是Web上独自运行的软件程序，它们不断地筛选数据，做出自己的决定，能够使用Web获取文本或者进行搜索查询，按部就班地完成各自的任务。 2.分类： 购物机器人、聊天机器人、搜索机器人（网络爬虫）等。 搜索引擎 1.概念： 从网络上获得网站网页资料，能够建立数据库并提供查询的系统。 2.分类（按工作原理）： 全文搜索引擎、分类目录。 1> 全文搜索引擎数据库是依靠网络爬虫通过网络上的各种链接自动获取大量 网页信息内容，并按一定的规则分析整理形成的。（百度、Google） 2> 分类目录：按目录分类的网站链接列表而已，通过人工的方式收集整理网 站资料形成的数据库。(国内的搜狐) 网络爬虫 1.概念： 网络爬虫也叫网络蜘蛛，它是一个按照一定的规则自动提取网页程序，其会自动的通过网络抓取互联网上的网页，这种技术一般可能用来检查你的站点上所有的链接是否是都是有效的。当然，更为高级的技术是把网页中的相关数据保存下来，可以成为搜索引擎。 搜索引擎使用网络爬虫寻找网络内容，网络上的HTML文档使用超链接连接了起来，就像织成了一张网，网络爬虫也叫网络蜘蛛，顺着这张网爬行，每到一个网页就用抓取程序将这个网页抓下来，将内容抽取出来，同时抽取超链接，作为进一步爬行的线索。网络爬虫总是要从某个起点开始爬，这个起点叫做种子，你可以告诉它，也可以到一些网址列表网站上获取。
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。 基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为： （1）预先给定的初始抓取种子样本； （2）预先给定的网页分类目录和与分类目录对应的种子样本，如Y ahoo!分类结构等； （3）通过用户行为确定的抓取目标样例，分为： a) 用户浏览过程中显示标注的抓取样本； b) 通过用户日志挖掘得到访问模式及相关样本。 其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。 一些算法的介绍 1> 网页分析算法
网络爬虫工作原理 1 聚焦爬虫工作原理及关键技术概述 网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索;对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。 相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题: (1) 对抓取目标的描述或定义; (2) 对网页或数据的分析与过滤; (3) 对URL的搜索策略。 抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。 2 抓取目标描述 现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为: (1) 预先给定的初始抓取种子样本; (2) 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等; (3) 通过用户行为确定的抓取目标样例，分为: a) 用户浏览过程中显示标注的抓取样本; b) 通过用户日志挖掘得到访问模式及相关样本。 其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征，基于目标数据模式和基于领域概念三种。 基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为:(1)预先给定的初始抓取种子样本;(2)预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等;(3)通过用户行为确定的抓取目标样例。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。 基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。 另一种描述方式是建立目标领域的本体或词典，用于从语义角度分析不同特征在某一主题中的重要程度。 3 网页搜索策略 网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。
第1章Python爬虫环境与爬虫简介 教案 课程名称：Python网络爬虫技术 课程类别：必修 适用专业：大数据技术类相关专业 总学时：32学时（其中理论14学时，实验18学时） 总学分：2.0学分 本章学时：2学时 一、材料清单 （1）《Python网络爬虫技术》教材。 （2）配套PPT。 （3）引导性提问。 （4）探究性问题。 （5）拓展性问题。 二、教学目标与基本要求 1.教学目标 先对爬虫的概念和原理，及反爬虫的概念进行基本的概述，列举针对反爬虫的常用手段制定对应爬取策略。而后简要介绍了Python常用爬虫库和爬虫环境，以及用于存储爬取的数据的MySQL、MongoDB数据库。 2.基本要求 （1）了解爬虫的原理。
（2）了解爬虫运作时应遵守的规则。 （3）了解反爬虫的目的和常用手段。 （4）了解Python常用爬虫库。 （5）掌握MySQL、MongoDB数据库的配置方法。 三、问题 1.引导性提问 引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。 （1）爬虫能够做什么？ （2）爬虫能爬哪些数据？ （3）Python语言在爬虫方面有哪些优势？ 2.探究性问题 探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。 （1）爬虫能够应用在那些场景？ （2）爬虫的原理是什么？ 3.拓展性问题 拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。 （1）爬虫是不是万能的？ （2）爬虫在数据分析有哪些作用？
山东科技大学 本科毕业设计（论文）开题报告 题目网络爬虫 定向爬取?脚本之家?文本信息 学院名称信息科学与工程学院 专业班级计算机科学与技术2012级2班 学生姓名包志英 学号 201201050201 指导教师赵中英 填表时间：二0一六年三月二十八日
下，并不能很稳定的工作，内存消耗随着程序的运行而不断增大，直到达到jvm 分配的上限而崩溃。很多时候，你只能做个权衡，每个webclient使用若干次后就把它回收，然后重新启动一个，这非常影响性能。Rhino对于javascript的支持并不好，实际使用中，会发现各种Exception，很多时候会导致无法渲染出想要的结果，这个htmlunit的又一大缺陷。随着版本的更新，能够渐次解决一些问题，但是好的程序员，还是应该自己读源码来尝试解决问题。 Phantomjs相比于htmlunit，对于js的支持更接近真实的浏览器，但是并发性能差，通过java的exec调用系统命令来启动，更加降低了性能。 此外主流的浏览器都提供了相应的抓取支持，selenium可谓是一个集大成者，包含了上述的所有组件，以WebDriver的形式，适配各种爬虫组件，你可以用它操控浏览器自动抓取，当然，并发和性能的问题依然存在。 爬虫开发的主要问题是性能和反封锁。很多时候，采用高并发高频率抓取数据是可行的，前提是目标站点没有采用任何反爬措施（访问频率限制、防火墙、验证码……）；更多时候，有价值的信息，一定伴随着严格的反爬措施，一旦ip 被封，什么组件都没戏了。你不得不维护一个代理IP池来解决这个问题，当然，这也带来了代理ip稳定性和速度的问题，这些问题都是无法回避的问题，我们需要针对具体的情况，采用对应的措施，以最大限度的完成爬虫爬取任务。 目前，爬虫的需求呈爆炸式增长的趋势，这是当前各种互联网创新和大数据时代的新常态。火车和八爪鱼等团队看到了这一点，并率先开发了相对完备的爬虫产品，很多用户都在使用，但是更多的用户希望直接把爬虫抓取任务外包出去，因为他们不懂技术，工具的使用需要逾越技术的鸿沟，大部分用户并没有这个逾越鸿沟的打算。我相信像猪八戒这样的技术外包平台会活的越来越好，我也相信各个技术门类会不断聚集，形成相对独立的社区，P2P的社区平台将提供爬虫开发者和爬虫需求者更加通畅的交流渠道。 目前，淘宝等平台上出现很多爬虫服务商，如 https://www.doczj.com/doc/2b5735801.html,/item.htm?spm=a230r.1.14.4.10ZOWj&id=42659198536 &ns=1&abbucket=6#detail，这种定制开发的服务，增加了服务商的成本，服务往往是一次性的，满足了一个用户的需求，然而具有相似需求的用户，却很难有机会找到这个服务商，这就是为什么我们需要爬虫信息交流的平台。
网络爬虫的设计与实现
摘要 网络爬虫将下载的网页和收集到的网页信息存储在本地数据库中以供搜索引擎使用，它是一个专门从万维网上下载网页并分析网页的程序。随着网络的快速发展，人们对搜索引擎的要求也越来越高，而网络爬虫的效率直接影响着搜索引擎的质量。 本课题研究的是通用网络爬虫，它是从一个或若干个初始网页的链接开始进而得到一个链接队列。伴随着网页的抓取又不断从抓取到的网页中抽取新链接放入到链接队列中，直到爬虫系统满足了停止条件。该课题主要涉及到了缓冲池技术，多线程技术，套接字技术，HTTP和SSL协议，正则表达式，Linux网络编程技术，PHP+Apache的使用等相关技术。 本说明书叙述的网络爬虫是以Linux C实现的，加以PHP语言编写的界面使用户更加方面的操作，利用Shell脚本和Apache服务器使得爬虫系统和界面很好的结合在一起。 关键词：网络爬虫缓冲池正则表达式 SSL协议多线程
目次 1 引言 (1) 1.1 课题选题背景 (1) 1.2 课题研究的意义 (2) 2 需求分析 (3) 2.1 功能需求分析 (3) 2.2 系统性能分析 (4) 3 系统设计 (5) 3.1 系统工作流程图 (5) 3.2 数据结构设计 (6) 3.3 系统各功能流程图 (7) 4 系统实现 (10) 4.1 相关技术分析 (10) 4.2 系统功能模块的实现 (11) 5 测试与结果 (17) 结论 (23) 致谢............................................................................................ 错误!未定义书签。参考文献. (24)
第7章Scrapy爬虫 教案 课程名称：Python网络爬虫技术 课程类别：必修 适用专业：大数据技术类相关专业 总学时：32学时（其中理论14学时，实验18学时） 总学分：2.0学分 本章学时：5学时 一、材料清单 （1）《Python网络爬虫技术》教材。 （2）配套PPT。 （3）引导性提问。 （4）探究性问题。 （5）拓展性问题。 二、教学目标与基本要求 1.教学目标 使用Scrapy框架爬取网站，学会Scrapy的数据流向、框架，以及框架各组成部分的作用。Scrapy的常用命令及其作用。创建Scrapy爬虫项目，创建爬虫模板的方法。根据项目最终目标修改items/piplines脚本。编写spider脚本，解析网页。修改settings脚本，实现下载延迟设置等。定制下载中间件，实现随机选择访问USER_AGENT与IP。 2.基本要求
（1）了解Scrapy爬虫框架。 （2）熟悉Scrapy常用命令。 （3）修改items/piplines脚本存储数据。 （4）编写spider脚本解析网页信息。 （5）修改settings脚本设置爬虫参数。 （6）定制Scrapy中间件。 三、问题 1.引导性提问 引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。 （1）如何实现对爬取过的内容不重新爬取？ 2.探究性问题 探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。 （1）如何实现日志打印到文件中？ （2）piplines脚本中item是什么数据类型？ （3）如何实现保存数据到MongoDB数据库？ 3.拓展性问题 拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。 （1）Requests库和Scarpy库对比各有什么优缺点？ （2）Scarpy如何实现人工验证码验证？
网络爬虫 摘要随着互联网的日益壮大，搜索引擎技术飞速发展。搜索引擎已成为人们在浩瀚的网络世界中获取信息必不可少的工具，利用何种策略有效访问网络资源成为专业搜索引擎中网络爬虫研究的主要问题。文章介绍了搜索引擎的分类及其工作原理．阐述了网络爬虫技术的搜索策略，对新一代搜索引擎的发展趋势进行了展望。 关键词网络爬虫；策略；搜索引擎 概念： 网络爬虫也叫网络蜘蛛，它是一个按照一定的规则自动提取网页程序，其会自动的通过网络抓取互联网上的网页，这种技术一般可能用来检查你的站点上所有的链接是否是都是有效的。当然，更为高级的技术是把网页中的相关数据保存下来，可以成为搜索引擎。 搜索引擎使用网络爬虫寻找网络内容，网络上的HTML文档使用超链接连接了起来，就像织成了一张网，网络爬虫也叫网络蜘蛛，顺着这张网爬行，每到一个网页就用抓取程序将这个网页抓下来，将内容抽取出来，同时抽取超链接，作为进一步爬行的线索。网络爬虫总是要从某个起点开始爬，这个起点叫做种子，你可以告诉它，也可以到一些网址列表网站上获取。 网络爬虫的构成及分类 网络爬虫又被称为做网络蜘蛛、网络机器人，主要用于网络资源的收集工作。在进行网络舆情分析时，首要获取舆情信息内容，这就需要用到网络爬虫(蜘蛛程序)这个工具，它是一个能自动提取网页内容的程序，通过搜索引擎从互联网上爬取网页地址并抓取相应的网页内容，是搜索引擎(Search Engine)的重要组成部分。 一个典型的网络爬虫主要组成部分如下： 1. URL 链接库，主要用于存放爬取网页链接。 2. 文档内容模块，主要用于存取从Web 中下载的网页内容。 3. 文档解析模块，用于解析下载文档中的网页内容，如解析PDF，Word，HTML 等。 4. 存储文档的元数据以及内容的库。 5. 规范化URL 模块，用于把URL 转成标准的格式。 6. URL 过滤器，主要用于过滤掉不需要的URL。 上述模块的设计与实现，主要是确定爬取的内容以及爬去的范围。最简单的例子是从一个已知的站点抓取一些网页，这个爬虫用少量代码就可以完成。然而在实际互联网应用中，可能会碰到爬去大量内容需求，就需要设计一个较为复杂的爬虫，这个爬虫就是N个应用的组成，并且难点是基于分布式的。 网络爬虫的工作原理 传统网路爬虫的工作原理是，首先选择初始URL，并获得初始网页的域名或IP 地址，然后在抓取网页时，不断从当前页面上获取新的URL 放入候选队列，直到满足停止条件。聚焦爬虫(主题驱动爬虫)不同于传统爬虫，其工作流程比较复杂，首先需要过滤掉跟主题不相关的链接，只保留有用的链接并将其放入候选URL 队列。然后，根据搜索策略从候选队列中选择下一个要抓取的网页链接，并重复上述过程，直到满足终止条件为止。与此同时，将所有爬取的网页内容保存起来，并进行过滤、分析、建立索引等以便进行性检索和查询。总体来讲，网络爬虫主要有如下两个阶段： 第一阶段，URL 库初始化然后开始爬取。
https://www.doczj.com/doc/2b5735801.html, 爬虫技术是什么 爬虫就似乎对于做数据分析、人工智能、SEOSEM的人来说非常熟悉，是日常工作中都需要用到或者得非常熟悉的一种数据采集的技术。 爬虫技术是什么 互联网上有着无数的网页，包含着海量的信息。但很多时候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，但是我们不可能去每一个网页去点去看，然后再复制粘贴。所以我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序，这就是爬虫技术。 爬虫技术能用来做哪些好玩的事情 利用爬虫技术挖掘社交网站，比如有知乎大牛挖掘Twitter数据，然后分析一般大家几点睡觉，通过统计一下sleep这个词在twitter上出现的频率。又比如如何判断一个用户的职业，验证六度分隔理论, 以及网络扩张速度的建模。
https://www.doczj.com/doc/2b5735801.html, 利用爬虫技术建立机器翻译的语料库。具体思路可以参考知乎大V刘飞的文章：网上双语的资源还是挺多的，利用爬虫技术在爬取网页时对当前网页进行简易判断，如果有双语嫌疑，则收录整理出来双语的正文；如果没有，弃用； 将正文内容进行详细判断，确定是双语文本，则进行段落对齐和句子对齐，整理到语料库；如果没有，弃用；对当前网页的所有链接网页，重复步骤。抓取大量的这种数据之后，就可以建立一个庞大的语料库了。 3、利用爬虫技术预测票房。利用爬虫技术抓取新浪博客某部电影相关的数据，然后利用微博上大家表现出来的，对某部电影的期待值和关注度，来预测其票房。 4、利用爬虫技术抓取数据训练AI，比如知乎用户grapeot爬了知乎12万用户的头像，把长得像的头像放在一起，方便浏览，然后搜集了用户的点击，预测出来这是你们（平均）最喜欢的人长的样子：然后根据点击数据训练出来了一个机器人，可以自动识别美女。
网络爬虫开题报告 篇一：毕设开题报告及开题报告分析 开题报告如何写 注意点 1.一、对指导教师下达的课题任务的学习与理解 这部分主要是阐述做本课题的重要意义 2.二、阅读文献资料进行调研的综述 这部分就是对课题相关的研究的综述落脚于本课题解决了那些关键问题 3.三、根据任务书的任务及文件调研结果，初步拟定执行实施的方案（含具体进度计划） 这部分重点写具体实现的技术路线方案的具体实施方法和步骤了，具体进度计划只是附在后面的东西不是重点南京邮电大学通达学院毕业设计(论文)开题报告文献[5] 基于信息数据分析的微博研究综述[J]；研究微博信息数据的分析，在这类研究中，大多数以微博消息传播的三大构件---微博消息、用户、用户关系为研究对象。以微博消息传播和微博成员组织为主要研究内容，目的在于发祥微博中用户、消息传博、热点话题、用户关系网络等的规律。基于微博信息数据分析的研究近年来在国内外都取得了很多成果，掌握了微博中的大量特征。该文献从微博消息传播三大构件的角度，对当前基于信息数据分析的微博研究
进行系统梳理,提出微博信息传播三大构件的概念,归纳了此类研究的主要研究内容及方法。 对于大多用户提出的与主题或领域相关的查询需求,传统的通用搜索引擎往往不能提供令人满意的结果网页。为了克服通用搜索引擎的以上不足,提出了面向主题的聚焦爬虫的研究。文献[6]综述了聚焦爬虫技术的研究。其中介绍并分析了聚焦爬虫中的关键技术：抓取目标定义与描述，网页分析算法和网页分析策略，并根据网络拓扑、网页数据内容、用户行为等方面将各种网页分析算法做了分类和比较。聚焦爬虫能够克服通用爬虫的不足之处。 文献[7]首先介绍了网络爬虫工作原理,传统网络爬虫的实现过程,并对网络爬虫中使用的关键技术进行了研究,包括网页搜索策略、URL去重算法、网页分析技术、更新策略等。然后针对微博的特点和Ajax技术的实现方法,指出传统网络爬虫的不足,以及信息抓取的技术难点,深入分析了现有的基于Ajax的网络爬虫的最新技术——通过模拟浏览器行为,触发JavaScript事件(如click, onmouseover等),解析JavaScript脚本,动态更新网页DOM树,抽取网页中的有效信息。最后,详细论述了面向SNS网络爬虫系统的设计方案,整(转载自：https://www.doczj.com/doc/2b5735801.html, 小草范文网:网络爬虫开题报告)体构架,以及各功能模块的具体实现。面向微博的网络爬虫系统的实现是以新浪微博作为抓取的
JIU JIANG UNIVERSITY 毕业论文 题目网络爬虫技术探究 英文题目Web Spiders Technology Explore 院系信息科学与技术学院 专业计算机科学与技术 姓名闻泽 班级学号A081129 指导教师邱兴兴 二○一二年五月
信息科学与技术学院学士学位论文 摘要 网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息，以及网络营销常要的邮箱地址信息等。 本文通过JA V A实现了一个基于广度优先算法的爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；系统实现过程中的数据存储；网页信息解析等。 通过实现这一爬虫程序，可以搜集某一站点的所有URLs，并通过得到的URLs 采集到页面的内容，在从内容中提取到需要的内容，如邮箱地址以及页面标题等。再将得到的URLs等采集到的数据存到数据库，以便检索。本文从搜索引擎的应用出发，探讨了网络爬虫在搜索引擎中的作用和地位，提出了网络爬虫的功能和设计要求。在对网络爬虫系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用Java实现了一个网络爬虫的程序，对其运行结果做了分析。 关键词：网络爬虫，广度优先，搜索引擎
信息科学与技术学院学士学位论文 Abstract The Web Spider is an automated program collects information on the Internet. The Web Spider can not only search engine to collect network information and can be used as directional information collection, directed acquisition of some site specific information, such as recruitment information, rental information, as well as network marketing often have to e-mail address information. JA V A Implementation of an algorithm based on breadth first Spider program. This paper described the data stored in the Web Spider to achieve some of the major questions: Why use a breadth-first crawling strategy, as well as how to implement the breadth-first crawling; system implementation process; web page information to resolve. Through the realization of this Spider can collect all of a site's URLs, URLs collected by and get to the page content, to extract from the content, the content, such as email address and page title. And then get the Urls collected was data saved to the database to retrieve. In this paper, the application of the search engine to explore the role and status of a Web Spider search engine, web Spider functionality and design requirements. Web Spider system structure and working principle of the analysis based on study strategies and algorithms of the page crawling, parsing, etc. and use the Java implementation of a Web Spider program, its operating results analysis. Keywords:Spider, Breadth First Search, Search Engine
网络爬虫技术的概述与研究 摘要 网络爬虫，又被称为网页蜘蛛，网络机器人，随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎 (Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google 等，作为一个辅助人们检索信息的工具成为用户访问web的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性。为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。本文将对网络爬虫技术及其原理进行简单的介绍，并且给出实例。 关键词 网络爬虫聚焦爬虫网页抓取搜索策略 URL
一、网络爬虫的简介 1、URL 在介绍网络爬虫之前，先引入URL的相关知识。URL是URI的一个子集。它是Uniform Resource Locator的缩写，译为“统一资源定位符”。通俗地说，URL 是Internet上描述信息资源的字符串，主要用在各种WWW客户程序和服务器程序上，特别是著名的Mosaic。采用URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。URL的格式由三部分组成： ·第一部分是协议(或称为服务方式)。 ·第二部分是存有该资源的主机IP地址(有时也包括端口号)。 ·第三部分是主机资源的具体地址，如目录和文件名等。 第一部分和第二部分用“://”符号隔开，第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的，第三部分有时可以省略。 用URL表示文件时，服务器方式用file表示，后面要有主机IP地址、文件的存取路径(即目录)和文件名等信息。有时可以省略目录和文件名，但“/”符号不能省略。例如file://https://www.doczj.com/doc/2b5735801.html,/pub/files/foobar.txt 爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进行进一步的处理。 2、传统爬虫与聚焦爬虫 网络爬虫是一个自动提取网页的程序，它为搜索引擎从web上下载网页，是搜索引擎的重要组成。 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。搜索引擎是基于传统爬虫技术建立的，但其存在着一定的局限性，例如：(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。 (2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。 (3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。 (4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。 为了解决以上问题，定向抓取网页的聚焦爬虫应运而生。 聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取URL的队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。 二、网络爬虫的工作原理 在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要
网络爬虫技术的概述与 研究 Company number：【WTUT-WT88Y-W8BBGB-BWYTT-19998】
网络爬虫技术的概述与研究 摘要 网络爬虫，又被称为网页蜘蛛，网络机器人，随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎 (Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问web的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性。为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。本文将对网络爬虫技术及其原理进行简单的介绍，并且给出实例。 关键词 网络爬虫聚焦爬虫网页抓取搜索策略 URL 一、网络爬虫的简介 1、URL 在介绍网络爬虫之前，先引入URL的相关知识。URL是URI的一个子集。它是Uniform Resource Locator的缩写，译为“统一资源定位符”。通俗地说，URL是Internet上描述信息资源的字符串，主要用在各种WWW客户程序和服务器程序上，特别是着名的Mosaic。采用URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。URL的格式由三部分组成：·第一部分是协议(或称为服务方式)。 ·第二部分是存有该资源的主机IP地址(有时也包括端口号)。
·第三部分是主机资源的具体地址，如目录和文件名等。 第一部分和第二部分用“://”符号隔开，第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的，第三部分有时可以省略。 用URL表示文件时，服务器方式用file表示，后面要有主机IP地址、文件的存取路径(即目录)和文件名等信息。有时可以省略目录和文件名，但“/”符号不能省略。例如 爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进行进一步的处理。 2、传统爬虫与聚焦爬虫 网络爬虫是一个自动提取网页的程序，它为搜索引擎从web上下载网页，是搜索引擎的重要组成。 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。搜索引擎是基于传统爬虫技术建立的，但其存在着一定的局限性，例如：(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。 (2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。 (3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。
网络爬虫技术浅析 在当今社会，越来越多的人使用互联网看视频，听音乐，查资料等等，使得网络上的数据越来越多。人们想从海量的数据中获取到自己想要的知识，靠人力浏览很难实现查找到需要的东西，除非运气相当好。这个时候搜索引擎就出现了，搜索引擎可以通过关键字，查找网页并显示在用户面前，用户可以得到有用的信息。在搜索引擎中非常关键的数据来源来自一种很神奇的技术：网络爬虫技术，它构成了搜索引擎的基础部分。 网络爬虫的基本概念 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。 一、网络爬虫的历史 1994年的1月份，第一个既可搜索又可浏览的分类目录EINetGalaxy上线了。它之后才出现了雅虎，直至我们现在熟知的Google、百度。但是他们都不是第一个吃搜索引擎这个螃蟹的人。从搜索FTP上的文件开始，搜索引擎的原型就出现了，那时还未有万维网，当时人们先用手工后用蜘蛛程序搜索网页，但随着互联网的不断壮大，怎样能够搜集到的网页数量更多、时间更短成为了当时的难点和重点，成为人们研究的重点。 1994年7月20日发布的Lycos网站第一个将“蜘蛛”程序接入到其索引程序中。引入“蜘蛛”后给其带来的最大优势就在于其远胜于其它搜索引擎的数据量。自此之后几乎所有占据主导地位的搜索引擎中，都靠“蜘蛛”来搜集网页信息。 通用网络爬虫和聚焦网络爬虫的工作原理 网络爬虫是搜索引擎的重要组成部分，它是一个自动提取网页的程序，为搜索引擎从网上下载网页. 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。与传统爬虫相比，聚焦爬虫的工作流程则较为复杂，需要根据一定
毕业设计（论文）说明书 题目：网络爬虫设计与实现 学院软件学院 专业软件工程
毕业设计（论文）任务书题目：网络爬虫设计与实现
独创声明 本人郑重声明：所呈交的毕业设计(论文)，是本人在指导老师的指导下，独立进行研究工作所取得的成果，成果不存在知识产权争议。尽我所知，除文中已经注明引用的内容外，本设计（论文）不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体均已在文中以明确方式标明。 本声明的法律后果由本人承担。 作者签名: 二〇一〇年九月二十日 毕业设计（论文）使用授权声明 本人完全了解滨州学院关于收集、保存、使用毕业设计（论文）的规定。 本人愿意按照学校要求提交学位论文的印刷本和电子版，同意学校保存学位论文的印刷本和电子版，或采用影印、数字化或其它复制手段保存设计（论文）；同意学校在不以营利为目的的前提下，建立目录检索与阅览服务系统，公布设计（论文）的部分或全部内容，允许他人依法合理使用。 （保密论文在解密后遵守此规定） 作者签名: 二〇一〇年九月二十日
一、原始依据（包括设计或论文的工作基础、研究条件、应用环境、工作目的等。） 互联网是一个庞大的非结构化的数据库，将数据有效的检索并组织呈现出来有着巨大的应用前景。搜索引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。所以需要一个能基于主题搜索的满足特定需求的网络爬虫。 为了解决上述问题，参照成功的网络爬虫模式，对网络爬虫进行研究，从而能够为网络爬虫实现更深入的主题相关性，提供满足特定搜索需求的网络爬虫。 二、参考文献 [1]Winter．中文搜索引擎技术解密：网络蜘蛛 [M]．北京：人民邮电出版社，2004年． [2]Sergey等．The Anatomy of a Large-Scale Hypertextual Web Search Engine [M]．北京：清华大学出版社，1998年． [3]Wisenut．WiseNut Search Engine white paper [M]．北京：中国电力出版社，2001年． [4]Gary R.Wright W.Richard Stevens．TCP-IP协议详解卷3：TCP事务协议，HTTP，NNTP和UNIX域协议 [M]．北京：机械工业出版社，2002 年1月. [5]罗刚王振东．自己动手写网络爬虫[M]．北京：清华大学出版社，2010年10月. [6]李晓明，闫宏飞，王继民．搜索引擎：原理、技术与系统——华夏英才基金学术文库[M]．北京：科学出版社，2005年04月.
第5章模拟登录 教案 课程名称：Python网络爬虫技术 课程类别：必修 适用专业：大数据技术类相关专业 总学时：32学时（其中理论14学时，实验18学时） 总学分：2.0学分 本章学时：3学时 一、材料清单 （1）《Python网络爬虫技术》教材。 （2）配套PPT。 （3）引导性提问。 （4）探究性问题。 （5）拓展性问题。 二、教学目标与基本要求 1.教学目标 分别用表单和Cookie实现模拟登录。在表单模拟登录时，学会查找提交入口、查找并获取需要提交的表单数据、使用POST方法请求登录。在Cookie实现模拟登录时，知道保存已经成功登录的Cookie、使用保存的Cookie发送请求。 2.基本要求 （1）使用Requests库实现POST请求。
（2）使用Chrome开发者工具查找模拟登录需要的相关信息。 （3）掌握表单登录、Cookie登录的流程。 三、问题 1.引导性提问 引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。 （1）当你登录一个网站，关闭了之后短时间内再进去并不用登录是为什么？ （2）当你登录一个网站，关闭了之后短时间内再进去并不用登录长时间内再进去却要登录是为什么？ （3）你把你的用户账号，密码输入然后点击登录为什么每次都能成功，错误账号，密码却不行？ 2.探究性问题 探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。 （1）为什么表单登录要用POST请求？ （2）使用浏览器Cookie登录和基于表单登录的Cookie登录，两种基于Cookie的模拟登录各有什么优缺点？ 3.拓展性问题 拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。 （1）你能想到哪些Cookie泄露带来的安全问题？ （2）除人工识别认证码还有那些方法识别认证码？
Computer Knowledge and Technology 电脑知识与技术第6卷第15期(2010年5月)网络爬虫技术的研究 孙立伟，何国辉，吴礼发 （解放军理工大学指挥自动化学院，江苏南京210007） 摘要：网络信息资源的迅猛增长使得传统搜索引擎已经无法满足人们对有用信息获取的要求，作为搜索引擎的基础和重要组成部分，网络爬虫的作用显得尤为重要，该文介绍了网络爬虫的基本概念、爬行Web 面临的困难及应对措施，其次从体系结构、爬行策略和典型应用等方面研究了通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫四种常见网络爬虫，最后指出了进一步工作的发展方向。 关键词：搜索引擎；网络爬虫 中图分类号：TP393文献标识码：A 文章编号：1009-3044(2010)15-4112-04 Research on the Web Crawler SUN Li-wei,HE Guo-hui,WU Li-fa (Institute of Command and Automation of PLAUST,Nanjing 210007,China) Abstract:The traditional search engines can not satisfy the demands of getting useful information with the blast developing of information resources on Internet,as the foundation and important part of search engine,the action of the Web Crawler appears especially important,the article introduces the concept of Web crawler,the trouble of crawling and the resolvent,also have a research on four kinds of familiar Web Crawler. Key words:search engines;web crawler 网络爬虫（Web Crawler ），又称为网络蜘蛛（Web Spider ）或Web 信息采集器，是一个自动下载网页的计算机程序或自动化脚本，是搜索引擎的重要组成部分。网络爬虫通常从一个称为种子集的URL 集合开始运行，它首先将这些URL 全部放入到一个有序的待爬行队列里，按照一定的顺序从中取出URL 并下载所指向的页面，分析页面内容，提取新的URL 并存入待爬行URL 队列中，如此重复上面的过程，直到URL 队列为空或满足某个爬行终止条件，从而遍历Web [1]。该过程称为网络爬行（Web Crawling ）。 1网络爬虫面临的问题 截止到2007年底，Internet 上网页数量超出160亿个，研究表明接近30%的页面是重复的；动态页面的存在：客户端、服务器端脚本语言的应用使得指向相同Web 信息的URL 数量呈指数级增长。上述特征使得网络爬虫面临一定的困难，主要体现在Web 信息的巨大容量使得爬虫在给定时间内只能下载少量网页。Lawrence 和Giles 的研究[2]表明没有哪个搜索引擎能够索引超出16%的Internet 上Web 页面，即使能够提取全部页面，也没有足够的空间来存储。 为提高爬行效率，爬虫需要在单位时间内尽可能多的获取高质量页面，是它面临的难题之一。当前有五种表示页面质量高低的方式[1]：Similarity （页面与爬行主题之间的相似度）、Backlink （页面在Web 图中的入度大小）、PageRank （指向它的所有页面平均权值之和）、Forwardlink （页面在Web 图中的出度大小）、Location （页面的信息位置）；Parallel （并行性问题）[3]。为了提高爬行速度，网络通常会采取并行爬行的工作方式，随之引入了新的问题：重复性（并行运行的爬虫或爬行线程同时运行时增加了重复页面）、质量问题（并行运行时，每个爬虫或爬行线程只能获取部分页面，导致页面质量下降）、通信带宽代价（并行运行时，各个爬虫或爬行线程之间不可避免要进行一些通信）。并行运行时，网络爬虫通常采用三种方式：独立方式（各个爬虫独立爬行页面，互不通信）、动态分配方式（由一个中央协调器动态协调分配URL 给各个爬虫）、静态分配方式（URL 事先划分给各个爬虫）。 2网络爬虫的分类 网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler ）、聚焦网络爬虫（Focused Web Crawler ）、增量式网络爬虫（Incremental Web Crawler ）、深层网络爬虫（Deep Web Crawler ）。实际的网络爬虫系统通常是几种爬虫技术相结合实现的。 2.1通用网络爬虫 通用网络爬虫[3]又称全网爬虫（Scalable Web Crawler ），爬行对象从一些种子URL 扩充到整个Web ，主要为门户站点搜索引擎和大型Web 服务提供商采集数据。由于商业原因，它们的技术细节很少公布出来。这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时收稿日期：2010-03-11 ISSN 1009-3044 Computer Knowledge and Technology 电脑知识与技术Vol.6,No.15,May 2010,pp.4112-4115E-mail:kfyj@https://www.doczj.com/doc/2b5735801.html, https://www.doczj.com/doc/2b5735801.html, Tel:+86-551-56909635690964