下载文档原格式
摘要网络爬虫是一种自动搜集互联网信息的程序。
通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。
本文通过JAVA实现了一个基于广度优先算法的多线程爬虫程序。
本论文阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。
通过实现这一爬虫程序，可以搜集某一站点的URLs，并将搜集到的URLs 存入数据库。
【关键字】网络爬虫；JAVA；广度优先；多线程。
ABSTRACTSPIDER is a program which can auto collect informations from internet. SPIDER can collect data for search engines, also can be a Directional information collector, collects specifically informations from some web sites, such as HR informations, this paper, use JAVA implements a breadth-first algorithm multi-thread SPDIER. This paper expatiates some major problems of SPIDER: why to use breadth-first crawling strategy, and collect URLs from one web site, and store URLs into database.【KEY WORD】SPIDER; JA V A; Breadth First Search; multi-threads.目录第一章引言 (1)第二章相关技术介绍 (2)2.1JAVA线程 (2)2.1.1 线程概述 (2)2.1.2 JAVA线程模型 (2)2.1.3 创建线程 (3)2.1.4 JAVA中的线程的生命周期 (4)2.1.5 JAVA线程的结束方式 (4)2.1.6 多线程同步 (5)2.2URL消重 (5)2.2.1 URL消重的意义 (5)2.2.2 网络爬虫URL去重储存库设计 (5)2.2.3 LRU算法实现URL消重 (7)2.3URL类访问网络 (8)2.4爬行策略浅析 (8)2.4.1宽度或深度优先搜索策略 (8)2.4.2 聚焦搜索策略 (9)2.4.3基于内容评价的搜索策略 (9)2.4.4 基于链接结构评价的搜索策略 (10)2.4.5 基于巩固学习的聚焦搜索 (11)2.4.6 基于语境图的聚焦搜索 (11)第三章系统需求分析及模块设计 (13)3.1系统需求分析 (13)3.2SPIDER体系结构 (13)3.3各主要功能模块（类）设计 (14)3.4SPIDER工作过程 (14)第四章系统分析与设计 (16)4.1SPIDER构造分析 (16)4.2爬行策略分析 (17)4.3URL抽取，解析和保存 (18)4.3.1 URL抽取 (18)4.3.2 URL解析 (19)4.3.3 URL保存 (19)第五章系统实现 (21)5.1实现工具 (21)5.2爬虫工作 (21)5.3URL解析 (22)5.4URL队列管理 (24)5.4.1 URL消重处理 (24)5.4.2 URL等待队列维护 (26)5.4.3 数据库设计 (27)第六章系统测试 (29)第七章结论 (32)参考文献 (33)致谢 (34)外文资料原文 (35)译文 (51)第一章引言随着互联网的飞速发展，网络上的信息呈爆炸式增长。
爬虫爬取课程设计一、课程目标知识目标：1. 学生能理解爬虫的基本概念、工作原理及应用场景。
2. 学生能掌握至少一种编程语言（如Python）的基本语法，并运用其编写简单的爬虫程序。
3. 学生能了解网络数据抓取的基本方法，如HTTP请求、HTML解析等。
4. 学生了解数据存储与处理的基本方法，如文件存储、数据库操作等。
技能目标：1. 学生能独立完成简单的网络数据抓取任务，具备实际操作能力。
2. 学生能运用所学知识解决实际问题，具备一定的编程思维和分析解决问题的能力。
3. 学生能在团队中协作完成复杂的数据抓取项目，具备良好的沟通与协作能力。
情感态度价值观目标：1. 学生对爬虫技术产生兴趣，提高对计算机编程和数据科学的热情。
2. 学生能认识到网络数据抓取在现实生活中的应用价值，培养学以致用的意识。
3. 学生在学习和实践过程中，培养良好的道德素养，遵循法律法规，尊重数据版权。
本课程针对高年级学生，结合爬虫技术在实际应用中的需求，以提高学生的实际操作能力和编程思维为核心。
课程性质为实践性、应用性较强的课程，要求学生在掌握基本理论知识的基础上，注重实践操作，培养解决实际问题的能力。
通过本课程的学习，学生将能够具备一定的网络数据抓取和处理能力，为后续相关课程打下坚实基础。
二、教学内容1. 爬虫基本概念与原理- 爬虫的定义与作用- 爬虫的工作流程- 常见爬虫类型及特点2. 编程语言基础- Python语言简介与安装- Python基本语法- Python常用库与函数3. 网络数据抓取- HTTP协议基础- 网络请求库的使用（如requests）- HTML解析库的使用（如BeautifulSoup）4. 数据存储与处理- 文件存储（如CSV、JSON）- 数据库操作（如SQLite）- 数据清洗与处理5. 实践项目与案例分析- 简单爬虫案例实现- 复杂爬虫项目分析与实现- 爬虫实战经验分享6. 爬虫伦理与法律法规- 爬虫与数据版权- 网络爬虫的合规性- 爬虫道德规范本教学内容按照教学大纲，循序渐进地安排，使学生能够系统地掌握爬虫技术。
Lucene很强大，这点在前面的章节中，已经作了详细介绍。
但是，无论多么强大的搜索引擎工具，在其后台，都需要一样东西来支援它，那就是网络爬虫Spi der。
网络爬虫，又被称为蜘蛛Spider，或是网络机器人、BOT等，这些都无关紧要，最重要的是要认识到，由于爬虫的存在，才使得搜索引擎有了丰富的资源。
Heritrix是一个纯由Java开发的、开源的Web网络爬虫，用户可以使用它从网络上抓取想要的资源。
它来自于。
Heritrix最出色之处在于它的可扩展性，开发者可以扩展它的各个组件，来实现自己的抓取逻辑。
本章就来详细介绍一下Heritrix和它的各个组件。
10.1 Heritrix的使用入门要想学会使用Heritrix，当然首先得能把它运行起来。
然而，运行Heritrix并非一件容易的事，需要进行很多配置。
在Heritrix的文档中对它的运行有详细的介绍，不过尽管如此，笔者仍然花了大量时间，才将其配置好并运行成功。
10.1.1 下载和运行HeritrixHeritrix的下载页面为：/downloads.html。
从上面可以链接到SourceForge的下载页面。
当前Heritrix的最新版本为1.10。
（1）在下载完Heritrix的完整开发包后，解压到本地的一个目录下，如图10-1所示。
图10-1 Heritrix的目录结构其中，Heritrix所用到的工具类库都存于lib下，heritrix-1.10.1.jar是Her itrix的Jar包。
另外，在Heritrix目录下有一个conf目录，其中包含了一个很重要的文件：heritrix.properties。
（2）在heritrix.properties中配置了大量与Heritrix运行息息相关的参数，这些参数主要是配置了Heritrix运行时的一些默认工具类、WebUI的启动参数，以及Heritrix的日志格式等。
当第一次运行Heritrix时，只需要修改该文件，为其加入WebUI的登录名和密码，如图10-2所示。
基于主题的网络爬虫系统的研究与实现作者：谭翔纬来源：《科学与信息化》2016年第22期摘要针对高校软件教学中有效学习资源获取困难的现状，拟通过对开源的网络爬虫框架Heritrix进行二次开发，在爬虫的网络资源识别、数据筛选等功能点上开展研究工作，提出一种基于主题的数据采集方案，并在此基础上实现一种基于指定主题的网络爬虫系统，以满足高校软件教学对高质量学习资源的需求。
关键词学习资源；网络爬虫；HeritrixResearch and Implementation of Topic - based Web Crawler SystemTan xiang-weiSouth China Institute of Software Engineering， Guangzhou University Guangzhou 510990，ChinaAbstract In view of the difficulty of acquisition of effective learning resources in the software teaching of colleges and universities， it is proposed to carry out the secondary development of Heritrix， an open-source web crawler framework， and carry out research work on the reptile network resource identification and data selection， etc.， and propose a theme- Data acquisition program， and on this basis to achieve a designated theme based on the network crawler system to meet the software teaching of high-quality learning resources needs.Key words Learning resources； web crawler； Heritrix引言现在高校软件专业的教学活动开展越来越离不开网络，体现在教师课前备课需要上网搜索相关的课程资源、学生课后自学需要上网获取对应的学习资源。
Lucene很强大，这点在前面的章节中，已经作了详细介绍。
但是，无论多么强大的搜索引擎工具，在其后台，都需要一样东西来支援它，那就是网络爬虫Spi der。
网络爬虫，又被称为蜘蛛Spider，或是网络机器人、BOT等，这些都无关紧要，最重要的是要认识到，由于爬虫的存在，才使得搜索引擎有了丰富的资源。
Heritrix是一个纯由Java开发的、开源的Web网络爬虫，用户可以使用它从网络上抓取想要的资源。
它来自于。
Heritrix最出色之处在于它的可扩展性，开发者可以扩展它的各个组件，来实现自己的抓取逻辑。
本章就来详细介绍一下Heritrix和它的各个组件。
10.1 Heritrix的使用入门要想学会使用Heritrix，当然首先得能把它运行起来。
然而，运行Heritrix并非一件容易的事，需要进行很多配置。
在Heritrix的文档中对它的运行有详细的介绍，不过尽管如此，笔者仍然花了大量时间，才将其配置好并运行成功。
10.1.1 下载和运行HeritrixHeritrix的下载页面为：/downloads.html。
从上面可以链接到SourceForge的下载页面。
当前Heritrix的最新版本为1.10。
（1）在下载完Heritrix的完整开发包后，解压到本地的一个目录下，如图10-1所示。
图10-1 Heritrix的目录结构其中，Heritrix所用到的工具类库都存于lib下，heritrix-1.10.1.jar是Her itrix的Jar包。
另外，在Heritrix目录下有一个conf目录，其中包含了一个很重要的文件：heritrix.properties。
（2）在heritrix.properties中配置了大量与Heritrix运行息息相关的参数，这些参数主要是配置了Heritrix运行时的一些默认工具类、WebUI的启动参数，以及Heritrix的日志格式等。
当第一次运行Heritrix时，只需要修改该文件，为其加入WebUI的登录名和密码，如图10-2所示。
本科毕业设计（论文）基于Lucene与Heritrix的搜索引擎构建学院（系）：计算机科学与工程专业：软件工程学生姓名：学号：指导教师：评阅教师：完成日期：摘要在互联网蓬勃发展的今天，互联网上的信息更是浩如烟海。
人们在享受互联网带来的便利的同时，却面临着一个如何在如此海量的内容中准确、快捷地找到自己所需要的信息的问题，由此互联网搜索引擎应运而生。
本文在对搜索引擎的原理、组成、数据结构和工作流程等方面深入研究的基础上，对搜索引擎的三个核心部分即网络蜘蛛、网页索引和搜索的分析及实现过程进行阐述。
网络蜘蛛部分采用了基于递归和归档机制的Heritrix网络爬虫；网页索引部分利用开源的Lucene引擎架构设计并实现了一个可复用的、可扩展的索引建立与管理子系统；搜索部分在Ajax技术支持上，设计并实现了一个灵活、简洁的用户接口。
本系统具有抓取网页、建立和管理索引、建立日志以及搜索信息等功能，具备一定的应用前景。
关键词：搜索引擎；中文分词；索引The Construction of Search Engine Based on Lucene and HeritrixAbstractThe contents on the Web are increasing exponentially as the rapid development of the Internet. A problem how to obtain the useful information from vast contents quickly and accurately is facing us while people are enjoying the convenience of the Internet. The solver of this problem is Web Search Engine.The analysis and implementation process of three basic components of search engine(Crawler, Indexer and Searcher) is described in this paper on the basis of further study on the principles, composition, data structure and work flow of search engine. The crawler component is implemented with Heritrix crawler based on the mechanism of recursion and archiving; A reusable, extensible index establishment and management subsystem are designed and implemented by open-source package named “Lucene” in the indexer component; The Searcher component based on the Ajax technology is designed and realized as a flexible, concise user interface. The system has some functions, such as crawling web page, establishment and management index, establishment log and search information, it has a certain application prospect.Key Words：Search Engine；Chinese Word Segmentation；Index目录摘要 (I)Abstract (II)1 绪论 (1)1.1 项目背景 (1)1.2 国内外发展现状 (1)2 系统的开发平台及相关技术 (3)2.1 系统开发平台 (3)2.2 系统开发技术 (3)2.2.1 Heritrix网络爬虫简介 (3)2.2.2 Lucene技术简介 (4)2.2.3 Ajax技术简介 (4)3 系统分析与设计 (6)3.1 系统需求分析 (6)3.1.1 系统架构分析 (6)3.1.2 系统用例模型 (6)3.1.3 系统领域模型 (10)3.2 系统概要设计 (11)3.3 系统详细设计 (12)3.3.1 索引建立子系统 (13)3.3.2 用户接口子系统 (17)4 系统的实现 (18)4.1 系统包框架的构建 (18)4.1.1 索引建立子系统 (18)4.1.2 用户接口子系统 (19)4.2 系统主要功能实现 (19)4.2.1 索引建立子系统 (19)4.2.2 用户接口子系统 (22)结论 (24)参考文献 (25)致谢 (26)1 绪论1.1 项目背景1994年左右，万维网（world wide web）出现了。
网络爬虫heritrix1、heritrix的安装、配置首先需下载heritrix1.14.4.zip和heritrix-1.14.4-src.zip（最新版本）。
下载地址：/projects/archive-crawler/files/archive-crawler%20(heritrix%201.x)/ Heritrix的安装有两种方式：命令行方式运行和在Eclipse中配置Heritrix。
1.1 命令行方式运行。
a、将得到的heritrix-1.14.4.zip压缩包直接解压缩到某一目录，我选择的是E:\Heritrix。
b、然后，将E:\Heritrix 目录中的heritrix-1.14.4.jar文件解压缩，把profiles\default下的两个文件order.xml和seeds.txt复制到E:\Heritrix\conf 目录下。
c、以文本编辑方式打开E:\Heritrix\conf 下的heritrix.properties文件，在“heritrix.cmdline.admin = ” 项的后面加入你所要设定的管理员账户和密码，用“:”分割，如：heritrix.cmdline.admin = admin:admind、复制E:\Heritrix\conf 下的jmxremote.password.template文件到主目录E:\Heritrix下，并更名为jmxremote.password，属性最好设置为只读文件。
编辑此文件，更改最后两行"monitorRole @PASSWORD@"、"controlRole @PASSWORD@"中的"@PASSWORD@"为管理员密码。
如：monitorRole admincontrolRole admine、打开“运行”，将cmd定位到E:\heritrix\bin下，执行"heritrix--admin=admin:admin" 命令，即可启动heritrix。
