Python网络爬虫技术案例教程

Python爬虫技术的实践应用

前言

Python爬虫技术在当今的互联网时代被广泛应用，既有商业应用也有研究学术应用，前者可用于产品销售、网站广告、市场数据等，后者则可以用于学术研究、文本挖掘、情感分析等领域。本文将分为两个部分，分别介绍爬虫技术的基本原理和实践应用，通过案例分析以帮助读者深入理解Python爬虫技术的实践应用。

一、爬虫技术的基本原理

Python爬虫技术的本质是模拟人类浏览器行为，自动化得获取Web上的信息。Python爬虫的工作流程包括两个关键步骤：发送请求、解析响应。

1.发送请求

Python爬虫发送请求，即发送HTTP请求，采用该协议的原因是它是当今最常用的互联网协议。Python爬虫通过发送HTTP请求获取Web上的信息。这份请求由四个主要部分组成：方法、URL、头字段和空行。方法表示该请求的目的是获取、修改、删除等。通常情况下，Python爬虫发送的是GET请求。URL表示该请求的目标位置。头字段前面已经提到过。空行告诉服务器请求头结束了，后面的内容是正文。作为服务器的响应，也包括类似GET请求的响应头和响应正文两个部分。

2.解析响应

Python爬虫解析响应，即将得到的响应解析为Python可以处理的对象。解析响应的主要工具是正则表达式或者现成的第三方库，如lxml、BeautifulSoup、pyquery等。这些工具有助于解析HTML，并从中提取只想要的信息。另外，要注意几点，如响应数据可能是压缩的，需要用GZip解压；响应时可能需要登录以验证身份；响应可能来自反爬虫机制，需要伪装请求头。

二、本节将介绍爬虫技术在商业和学术领域中的实践应用。对于商业应用，Python爬虫技术可以加速数据采集、开发大规模网站等。对于研究学术领域，Python爬虫技术可以用于情感分析、文本挖掘等。

1.商业应用

商业应用爬虫主要用于市场数据分析、竞争环境分析等。大数据时代的到来，Python爬虫技术成为了数据分析重要的辅助工具。以下是一个案例：

Python爬⾍⼊门案例：爬取某⽹站付费⽂档内容保存PDF知识点：requests

css选择器第三⽅库：requests >>> pip install requestsparsel >>> pip install parsel

pdfkit >>> pip install pdfkit开发环境：

版 本：anaconda5.2.0（python3.6.5）

编辑器：pycharm (安装包/安装教程/激活码/使⽤教程/插件[翻译插件/主题/汉化包])

软件环境: wkhtmltopdf 把html⽂件转成pdf

本节课上课流程思路:

⼀. 数据来源分析

确定要爬⽬标: ⽂档内容

这些⽂档数据内容是可以从哪⾥获取的

分析数据的过程:

1. ⿏标右键点击检查或者F12 打开开发者⼯具 选择 network

2. 通过开发者⼯具进⾏搜索(相关⼀些数据) 虽然返回数据 (字体编码)

3. 搜索没有返回数据 可以查看本⾝⽹址发送请求 服务器返回的数据内容

4. 分析多个⽂章的url地址区别 请求url地址情况

⼆. 代码实现过程

1. 发送请求, 对于⽂章列表页⾯发送请求

2. 获取数据, 获取⽹页源代码

3. 解析数据, 提取⽂章url地址或者⽂章标题

4. 发送请求, 对于⽂章详情页url地址发送请求

5. 获取数据, 获取⽹页源代码

6. 解析数据, 提取⽂章内容

7. 保存数据, 保存成html⽂件内容

8. 保存PDF, 需要把html⽂件转成PDF⽂件内容

9. 多页爬取

导⼊模块

import requests # 数据请求模块 第三⽅模块 pip install requests 在CMD⾥⾯即可安装

import parsel # 数据解析模块 第三⽅模块 pip install parsel

import os # ⽂件操作模块 内置模块

import pdfkit

1. 发送请求, 对于⽂章列表页⾯发送请求

# 请求url地址

url = 'https:///zlist-55-1.html'

用Python写一个小小的爬虫程序

浏览次数：1356次 2007年11月11日 互联网 字号: 大 中 小

分享到：QQ空间新浪微博腾讯微博人人网豆瓣网开心网更多1

Python有一个urllib的库，可以很方便的从给定的url抓取网页，以下这段程序实现了抓取一个url并存到指定文件的功能：

爬虫工作的基本原理就是，给定一个初始的url，下载这个url的网页，然后找出网页上所有满足下载要求的链接，然后把这些链接对应的url下载下来，然后再找下载下来的这些网页的url，我们可以用广度优先搜索实现这个算法，不过，首先得有一个函数找出网页上所有的满足要求的url，下面这个例子用正则表达式找出url.

最后就是广度优先搜索了，这个实现起来也很简单：

作者用上面的算法，感觉速度还行，1小时可以抓10000多网页，可以满足小型系统的要求。

第⼀个成功的Python爬⾍：加请求头多线程爬取⼩说并简单清

理数据保存当地⽂件夹

⽤到BeautifulSoup与threading库，来根据⽹上源码规律找到⽬标数据的url爬取！

import os

import re

import requests

import threading

from bs4 import BeautifulSoup

header = {"ttp-equiv":"mobile-agent",

"content":"format=wml,"

}

url = "https:///info/1013066244#Catalog"

html = requests.get(url, header).content.decode()

soup = BeautifulSoup(html, "lxml")

html_list = soup.find_all(class_="volume")

# print(str(html_list))

# 查找⽂章名

book_name = soup.find(class_="book-info")

book_name = book_name.find("em").string

print(book_name)

url_list = re.findall(r"//(vipreader.*?)(data|target)", str(html_list))

print(url_list)

# 查看是否有需要下载的⽂件⽬录，没有就创建⼀个

if os.path.exists("./"+ book_name) == False:

os.mkdir("./"+ book_name)

# 定义⼀个函数来保存读取的数据

def down_load(tuple_url):

url = "https://" + tuple_url[0]

qidian_html = requests.get(url).content.decode()