基于主题的网络爬虫系统的研究与实现

■傅一平4聚焦爬虫技术聚焦网络爬虫也就是主题网络爬虫，它增加了链接评价和内容评价模块，其爬行策略实现要点就是评价页面内容以及链接的重要性。

基于链接评价的爬行策略，主要是以Web页面作为半结构化文档，其中拥有很多结构信息可用于评价链接重要性。

还有一个是利用Web结构来评价链接价值的方法，也就是HITS法，通过计算每个访问页面的Authority权重和Hub权重来决定链接访问顺序。

而基于内容评价的爬行策略，主要是将与文本相似的计算法加以应用。

Fish-Search算法就是把用户输入查询词当作主题，在算法的进一步改进后，通过Shark-Search算法就能利用空间向量模型计算页面和主题相关度大小。

而面向主题爬虫与面向需求爬虫会针对某种特定的内容去爬取信息，而且会保证信息和需求尽可能相关。

通用爬虫技术通用爬虫技术也就是全网爬虫，其实现过程如下。

第一，获取初始URL。

初始URL地址可以由用户人为指定，也可以由用户指定的某个或某几个初始爬取网页决定。

第二，根据初始的URL爬取页面并获得新的URL。

获得初始的URL地址之后，需要先爬取对应URL地址中的网页，接着将网页存储到原始数据库中，并且在爬取网页的同时，发现新的URL地址，并将已爬取的URL地址存放到一个URL 列表中，用于去重及判断爬取的进程。

第三，将新的URL放到URL队列中，再于第二步内获取下一个新的URL地址之后，再将新的URL地址放到URL队列中。

第四，从URL队列中读取新的URL，并依据新的URL爬取网页，同时从新的网页中获取新的URL并重复上述的爬取过程。

第五，满足爬虫系统设置的停止条件时，停止爬取。

在编写爬虫的时候，一般会设置相应的停止条件。

如果没有设置停止条件，爬虫便会一直爬取下去，一直到无法获取新的URL 地址为止，若设置了停止条件，爬虫则会在停止条件满足时停止爬取。

通用爬虫技术应用有着不同的爬取策略，其中的广度优先策略以及深度优先策略都比较关键，深度优先策略的实施是依照深度从低到高的顺序来访问下一级网页链接。

TECHNOLOGY 技术应用摘要：网络爬虫在网络数据收集与分析上发挥了重要的作用。

在大数据背景下，依托于Python的网络爬虫技术具有操作简单、应用便捷、第三方库功能齐全以及文本字符串处理效果好等优势。

论文利用爬虫技术进行网页抓取具有广度最先、深度最先以及相似最先三种检索方案，包含了URL管理器模块、网页下载器模块与网页解析器模块。

关键词：Python；网络爬虫；技术研究大数据时代，数据和各个行业领域之间的联系越来越密切，也逐渐成为了行业领域不断发展和进步的重要基础。

怎样从庞大的数据资源中获取自身需要的数据，成为当下众多行业共同关注的问题。

从数据搜索层面来看，现在使用的搜索引擎较之前也有非常大的进步，做出了许多优化和改进，然而面临某些特别的数据以及难度大的搜索，还是难以达到理想的效果，得到的数据信息已经无法达到实际的使用标准。

不管是互联网安全，还是产品市场调查，这些都要有大量的数据资源作支撑，但是在互联网环境中并没有可以直接使用的数据资源，工作人员必须要手动进行搜索、分析以及挖掘等工作，并将获得的数据信息格式转化成需要的数据。

手动操作不仅难以获得全面的数据信息，同时也会造成工作效率低下，浪费时间和精力，而通过网络爬虫就可以轻松、便捷地完成网络数据信息的收集和分析工作，很好的改善了工作效率。

为此，本文探究了大数据背景下依托于Python的网络爬虫技术，为进一步提高网络数据分析和整合效果提供帮助。

一、依托于Python实现网络爬虫技术分析（一）网络爬虫概述网络爬虫也被叫做网页蜘蛛，能够依照设定的规则，实现万维网数据信息的程序以及脚本的自动抓取[1]。

现阶段网络爬虫技术越来越成熟，在互联网搜索引擎以及许多相关网站上都有着非常深入的应用，在促进网站发展上发挥了重要的作用。

网络爬虫可以便捷获得关联网站的内容以及检索途径，并且能够将网站的各个访问数据以及内容自动收集起来，为搜索引擎不断优化和改进提供支持，让使用者在进行信息检索时可以快速、便捷地检索到需要的数据信息。

基于 Python的网络爬虫程序设计内蒙古自治区呼和浩特市 010057摘要：网络信息量的迅猛增长，从海量的信息中准确的搜索到用户需要的信息提出了极大的挑战。

网络爬虫具有能够自动提取网页信息的能力。

对现在流行的网络爬虫框架进行分析和选择，在现有框架的基础上设计了一种适合资源库建设的爬虫系统，利用爬虫的自动化特性完成教学资源库的内容获取及入库工作。

同时，选用Scrapyredis对爬虫进行拓展，利用Redis实现对目标网站资源的分布式爬取，提高获取资源的速度。

关键词：Python的网络爬虫程序；设计；应用一、概述1、Python 语言。

Python 语言语法简单清晰、功能强大，容易理解。

可以在 Windows、Linux 等操作系统上运行；Python 是一种面向对象的语言，具有效率高、可简单地实现面向对象的编程等优点。

Python 是一种脚本语言，语法简洁且支持动态输入，使得 Python在很多操作系统平台上都是一个比较理想的脚本语言，尤其适用于快速的应用程序开发。

2、网络爬虫。

网络爬虫是一种按照一定的规则，自动提取 Web 网页的应用程序或者脚本，它是在搜索引擎上完成数据抓取的关键一步，可以在Internet上下载网站页面。

爬虫是为了将 Internet 上的网页保存到本地，爬虫是从一个或多个初始页面的 URL[5]，通过分析页面源文件的 URL，抓取新的网页链接，通过这些网页链接，再继续寻找新的网页链接，反复循环，直到抓取和分析所有页面。

这是理想情况下的执行情况，根据现在公布的数据，最好的搜索引擎也只爬取整个互联网不到一半的网页。

二、网络爬虫的分类网络爬虫作为一种网页抓取技术，其主要分为通用网络爬虫、聚焦网络爬虫两种类型。

其中通用网络爬虫是利用捜索引擎，对网页中的数据信息进行搜索、采集与抓取的技术，通过将互联网网页下载到本地，来保证网络内容的抓取、存储与镜像备份。

首先第一步是对网站 URL 低质进行抓取，解析 DNS 得到主机IP 地址，并对相应的 URL 网页进行下载。

基于大数据的招聘信息爬虫技术研究与实现作者：张婷姚仿秋来源：《中国新通信》2020年第02期摘要：网络招聘中信息量巨大，数据冗余较多，导致很多求职者在浏览招聘信息时往往不知道如何选择。

网络爬虫，一种基于python语言的专有性搜索工具，能够将网络上的信息下载保存到本地，还能将网页爬取到的大量信息用于数据分析和大数据研究。

本文实现了Scrapy爬虫对招聘网站的数据爬取，通过搭建Flask框架对采集的数据进行可视化分析。

其分析结果可以帮助求职者在浏览招聘信息时更好地评估工资水平，有效地判断招聘信息是否合理，进而有效提高求职者在寻求招聘岗位时的效率。

关键词：网络爬虫;Scrapy框架;网络招聘信息随着互联网的高速发展和大数据时代的来临，网络招聘已经成为企业之间人才竞争的主要手段。

相对于传统的线下招聘而言，网络招聘成本低、覆盖面广、易于发布信息、招聘信息种类众多[1]，通过网络平台求职者还可以更快地与招聘者进行沟通联系，节约了彼此之间的时间成本。

同时由于“互联网+”经济的蓬勃发展，使得网络招聘成为我国招聘市场的主流趋势[2]。

招聘信息本身存在不同时段的时效性，不同政策的工资变化不同，冗余度大，成效低，让求职者很难匹配到自己心仪的工作。

本文使用网络爬虫技术爬取三个招聘网站的招聘信息，将爬取下来的招聘数据进行智能可视化分析，发掘数据中隐藏的价值，摸索网站招聘规律。

通过得出结论，可以更有效地帮助求职者找到适合自己的工作。

一、网络爬虫技术概述随着大数据时代的来临，互联网上的数据容量爆炸性地增长，高性能的网络搜索引擎以及定向的信息获取的需求，使得网络爬虫技术逐渐成为人们研究的对象。

网络爬虫就是通过模拟浏览器发出网络请求，获取网站服务器返回的响应，并按照一定需求爬取数据的脚本程序。

网络爬虫可以分为两类：通用爬虫和聚焦爬虫。

1.1 通用爬虫概述通过用户初始规定的一个待爬取URL地址列表，爬虫从中按顺序爬取URL地址，通过DNS解析获得到主机网页的ip地址，然后交给下载器去下载网页，将采集成功的网页保存到本地磁盘中，并且将已爬取的URL地址做出标志防止二次爬取，保存到磁盘中的网页又存在许多链接信息，再从中抓取URL地址放入待爬取列表中去进行分析。

收稿日期：２０１９ １１ １９；修回日期：２０１９ １２ ２７ 基金项目：国家自然科学基金资助项目（６１７７２０８１）；科技创新服务能力建设—科研基地建设—北京实验室—国家经济安全预警工程北京实验室项目（ＰＸＭ２０１８＿０１４２２４＿００００１０）；国家重点研发计划课题（２０１８ＹＦＢ１４０２９０１）作者简介：侯晋升（１９９４ ），男，山西太原人，硕士研究生，主要研究方向为中文信息处理；张仰森（１９６２ ），男（通信作者），山西运城人，教授，博导，博士（后），主要研究方向为中文信息处理、人工智能（ｚｈａｎｇｙａｎｇｓｅｎ＠１６３．ｃｏｍ）；黄改娟（１９６４ ），女，山西运城人，高级实验师，主要研究方向为智能信息处理；段瑞雪（１９８４ ），女，河北石家庄人，讲师，博士，主要研究方向为自然语言处理、意图理解、问答系统．基于多数据源的论文数据爬虫技术的实现及应用侯晋升１，张仰森１，２ ，黄改娟１，段瑞雪１，２（１．北京信息科技大学智能信息处理研究所，北京１００１０１；２．国家经济安全预警工程北京实验室，北京１０００４４）摘　要：在使用单个数据源进行论文数据采集的过程中，存在着数据全面性不足、数据采集速度因网站访问频率限制而受限等问题。

针对这些问题，提出了一个基于多数据源的论文数据爬虫技术。

首先，以知网、万方数据、维普网、超星期刊四大中文文献服务网站为数据源，针对检索关键词完成列表页数据的爬取与解析；然后通过任务调度策略，去除各数据源之间重复的数据，同时进行任务的均衡；最后采用多线程对各数据源进行论文详情信息的抓取、解析与入库，并构建网页进行检索与展示。

实验表明，在单个网页爬取与解析速度相同的情况下，该技术能够更加全面、高效地完成论文信息采集任务，证实了该技术的有效性。

关键词：网络爬虫；多源数据源；多线程；信息处理；数据展示中图分类号：ＴＰ３９１．１ 文献标志码：Ａ 文章编号：１００１ ３６９５（２０２１）０２ ０３７ ０５１７ ０５ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０１９．１１．０６７１ＩｍｐｌｅｍｅｎｔａｔｉｏｎａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｐａｐｅｒｄａｔａｃｒａｗｌｅｒｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎｍｕｌｔｉｐｌｅｄａｔａｓｏｕｒｃｅｓＨｏｕＪｉｎｓｈｅｎｇ１，ＺｈａｎｇＹａｎｇｓｅｎ１，２ ，ＨｕａｎｇＧａｉｊｕａｎ１，ＤｕａｎＲｕｉｘｕｅ１，２（１．ＩｎｓｔｉｔｕｔｅｏｆＩｎｔｅｌｌｉｇｅｎｔＩｎｆｏｒｍａｔｉｏｎ，ＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１００１０１，Ｃｈｉｎａ；２．ＮａｔｉｏｎａｌＥｃｏｎｏｍｉｃＳｅｃｕｒｉｔｙＥａｒｌｙＷａｒｎｉｎｇＥｎｇｉｎｅｅｒｉｎｇＢｅｉｊｉｎｇＬａｂｏｒａｔｏｒｙ，Ｂｅｉｊｉｎｇ１０００４４，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｈｅｒｅａｒｅｍａｎｙｐｒｏｂｌｅｍｓｉｎｔｈｅｐｒｏｃｅｓｓｏｆｃｏｌｌｅｃｔｉｎｇｐａｐｅｒｄａｔａｕｓｉｎｇｓｉｎｇｌｅｄａｔａｓｏｕｒｃｅ，ｓｕｃｈａｓｉｎｓｕｆｆｉｃｉｅｎｔｄａｔａｃｏｍｐｒｅｈｅｎｓｉｖｅｎｅｓｓａｎｄｌｉｍｉｔｅｄｄａｔａｃｏｌｌｅｃｔｉｏｎｓｐｅｅｄｄｕｅｔｏｗｅｂｓｉｔｅａｃｃｅｓｓｆｒｅｑｕｅｎｃｙｌｉｍｉｔａｔｉｏｎ．Ａｉｍｉｎｇａｔｔｈｅｓｅｐｒｏｂｌｅｍｓ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｐａｐｅｒｄａｔａｃｒａｗｌｉｎｇｔｅｃｈｎｏｌｏｇｙｆｏｒｍｕｌｔｉ ｄａｔａｓｏｕｒｃｅｓ．Ｆｉｒｓｔｌｙ，ｉｔｕｓｅｄｔｈｅｆｏｕｒＣｈｉｎｅｓｅｄｏｃｕｍｅｎｔｓｅｒｖｉｃｅｗｅｂ ｓｉｔｅｓ ＨｏｗＮｅｔ，ＷａｎｆａｎｇＤａｔａ，Ｗｅｉｐｕ，ａｎｄＣｈａｏｘｉｎｇａｓｄａｔａｓｏｕｒｃｅｓ，ｃｏｍｐｌｅｔｅｄｔｈｅｔａｓｋｏｆｃｒａｗｌｉｎｇａｎｄｐａｒｓｉｎｇｌｉｓｔｐａｇｅｄａｔａｆｏｒｔｈｅｓｅａｒｃｈｋｅｙｗｏｒｄｓ．Ｔｈｅｎｉｔｕｓｅｄｔｈｅｔａｓｋｓｃｈｅｄｕｌｉｎｇｓｔｒａｔｅｇｙｔｏｒｅｍｏｖｅｒｅｐｅａｔｅｄｄａｔａａｎｄｂａｌａｎｃｅｔｈｅｔａｓｋｓ．Ｆｉｎａｌｌｙ，ｉｔｕｓｅｄｍｕｌｔｉ ｔｈｒｅａｄｓｆｏｒｅａｃｈｄａｔａｓｏｕｒｃｅｔｏｃｒａｗｌ，ｐａｒｓｅａｎｄｓｔｏｒｅｔｈｅｄｅｔａｉｌｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｐａｐｅｒｓ，ａｎｄｂｕｉｌｔａｗｅｂｓｉｔｅｆｏｒｓｅａｒｃｈａｎｄｄｉｓｐｌａｙ．Ｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｕｎｄｅｒｔｈｅｓａｍｅｃｒａｗｌｉｎｇａｎｄｐａｒｓｉｎｇｓｐｅｅｄ，ｔｈｉｓｔｅｃｈｎｏｌｏｇｙｃａｎｃｏｍｐｌｅｔｅｔｈｅｐａｐｅｒｉｎｆｏｒｍａｔｉｏｎｃｏｌｌｅｃｔｉｏｎｔａｓｋｍｏｒｅｃｏｍｐｒｅｈｅｎｓｉｖｅｌｙａｎｄｅｆｆｉｃｉｅｎｔｌｙ，ｗｈｉｃｈｐｒｏｖｅｓｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｉｓｔｅｃｈｎｏｌｏｇｙ．Ｋｅｙｗｏｒｄｓ：Ｗｅｂｃｒａｗｌｅｒ；ｍｕｌｔｉｐｌｅｄａｔａｓｏｕｒｃｅ；ｍｕｌｔｉｔｈｒｅａｄｉｎｇ；ｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇ；ｄａｔａｄｅｍｏｎｓｔｒａｔｉｏｎ０　引言大数据技术从兴起之初到日益成熟，在各行各业都发挥出巨大的作用；借着大数据的东风而再一次焕发出生命力的人工智能领域近些年更是取得了一个又一个的重大突破，在科研与应用方面创造出了巨大的价值，人们逐渐意识到数据已是当下最重要的资源。

第37卷 第1期 福 建 电 脑 Vol. 37 No.12021年1月Journal of Fujian ComputerJan. 2021———————————————李文华，女，1984年生，主要研究领域为计算机科学与技术。

E-mail:****************。

解析网络爬虫技术原理李文华(新疆交通职业技术学院 乌鲁木齐 831401)摘 要 网络爬虫是一种计算机程序，可以根据科学计算、数据处理及网页开发等方面的需求，在互联网上进行数据、信息的爬取，高效、精准地进行数据采集。

基于此，本文结合络爬虫的技术原理进行分析，了解不同类型网络爬虫特征，明确其功能、应用范围及使用要求。

在此基础上，进行数据采集系统、采集系统模型的设计，同时论述了实际生活中的应用。

关键词 网络爬虫；技术原理；应用数据中图法分类号 TP312 DOI:10.16707/ki.fjpc.2021.01.034Analysis of the Principle of Web Crawler TechnologyLI Wenhua(Xinjiang Traffic Vocational and Technical College, Urumqi, China, 831401)1 引言网络爬虫是具有自动下载网页功能的计算机程序，按照URL 的指向，在互联网上“爬行”，由低到高、由浅入深，逐渐扩充至整个Web 。

在科学计算、数据处理及网页开发等多个方面，网络爬虫有着十分重要的应用价值，根据其技术原理，科学、合理地应用，可以充分发挥其功能与价值。

2 网络爬虫的技术原理2.1 网络爬虫的类型网络爬虫是作为一种计算机程序，具有自动下载网页功能，可以在互联网里采集数据，满足科学计算、数据处理以及网页开发等多个方面的用途。

网络爬虫有着通用网络爬虫、聚焦网络爬虫、增量式网络爬虫以及深层网络爬虫等多种类型[1]。

（1）通用网络爬虫：是根据URL 指向爬行的过程中，采取深度优先、广度优先的策略。

基于Python的网络爬虫-开题报告基于Python的网络爬虫的设计与实现1．本课题所涉及的问题在国内（外）的研究现状综述无论国内国外，随着动态网页技术的发展，网络爬虫的难度也越来越高。

很大一部分的动态网页是搜索不到的，例如聊天室系统，另外还有很多页面是需要注册为用户并登录才可以看到，并且在登录过程中有输入验证码这一操作，验证码现在对于网络爬虫是一大难题。

目前来说，大多数爬虫是用后台脚本类语言写的，其中python无疑是用的最多最广的，并且页诞生了很多优秀的库和框架。

但是一般来说，搜索引擎的爬虫对爬虫的效率要求更高，对于大多用户提出的与主题或者领域相关的查询需求，传统的通用搜索引擎往往不能提供令人满意的结果为了克服通用搜索引擎的不足，提出了面向主题的聚焦爬虫的研究。

现在，聚焦爬虫已经成为爬虫的研究热点之一。

2．本人对课题任务书提出的任务要求及实现预期目标的可行性分析过去，不管是翻阅书籍，还是通过手机，电脑等从互联网上手动点击搜索信息，视野受限，信息面太过于狭窄，且数据量大而杂乱，爆炸式信息的更新速度是快速且不定时的。

要想手动获取到海量的信息，并进行分析整理，都要耗费巨多的时间，精力，效率低下，但是通过网络爬虫，根据需求获取海量网络数据，进行数据清洗，去重，入库，存表，数据可视化，把分析结果反馈给用户，并把数据结合搜索引擎存储，用户在查询数据的时候实现搜索建议，搜索结果关键字高亮化，展示热门搜索等功能，精简搜索范围，提高搜索效率，提供令人满意的结果，克服了通用搜索引擎的不足。

3．本课题需要重点研究的、关键的问题及解决的思路绝大部分网站都有反爬虫机制,数据不能获取到,这时需要采取设置请求头,设置请求的时间间隔,伪造代理信息或者采取其他的措施来解决。

部分网站需要登录之后才能找到需要的数据,在登录的过程中会遇到输入验证码的问题,可以选择模拟登陆,第一次登录之后,鼠标右键,查看网络,查找登录时的参数字段信息,利用这些字段名,通过模拟浏览器操作实现自动登录,验证码可以选择手动输入也可以选择人工打码。