Python爬虫PPT课件

Python解释器
Python的官方网站提供最新版本的 Python解释器下载。
pip包管理工具
可以使用Python解释器中自带的pip工具 安装所需的第三方库。
其他工具
如文本编辑器、命令行终端等，都是Python开发中常用的工具。
爬虫获取数据的基本流程
爬虫获取数据的基本流程包括发送HTTP请求、解析网页获取数据、数据存储等步骤。
1
发送HTTP请求
使用库如Requests库，向目标网站发送
解析网页获取数据
2
HTTP请求。
使用库如BeautifulSoup、Scrapy等，解
析目标网页，提取所需数据。
3
数据存储
将数据存储在数据库或文件中，以备后 续使用。
爬虫如何避免被封IP
网站往往会通过IP封锁等方式防止被爬虫抓取，因此爬虫开发需要避免被封锁。
JSON格式
使用Python自带的json库，将数 据以JSON格式存储在文件中。
爬虫实战案例分析
通过实战案例，了解爬虫如何应用于实际项目中。
爬取新闻网站
使用爬虫框架爬取新闻网站， 提取头条新闻、分类新闻等。
爬取电商网站
使用爬虫获取电商网站中的 商品信息，价格、图片等。
爬取社交媒体数据
利用爬虫爬取社交媒体中用 户发布的留言、评论、转发 等内容。
2
数据筛选
筛选出符合要求的数据，如去除重复和无用数据。
3
数据去噪
去除数据中的杂乱信息， 如空格、特殊符号等。
常见的数据存储方式
爬虫获取到的数据需要进行存储，以备后续使用。
S QL数据库
使用Python自带的sqlite3库或第 三方数据库库，将数据存储在关 系数据库中。

基于Scrapy框架的网站爬虫实例
Scrapy框架介绍
爬虫实例
学习使用Scrapy框架构建Python 爬虫系统的基本概念和使用方法。
分享一些使用Scrapy框架构建的 实际爬虫项目的案例和经验。
数据抓取效果
展示使用Scrapy框架进行网站数 据抓取的实际效果和成果。
了解常见的爬虫错误和异常， 并学习如何处理和避免它们。
3 最佳实践
分享一些爬虫性能优化和错误处理的最佳实践和技巧。
持续学习与社区分享
探讨如何在Python爬虫领域持续学习和改进自己的技能，并与社区分享经验和知识。
常见爬虫面试题及解答技巧
解答一些常见的Python爬虫面试题，并分享解答技巧和策略。
数据分析案例
分享一些实践案例，如新闻抓取、 价格监测和社交媒体数据分析。
展示一些实际项目中使用Python 爬虫进行数据提取的案例和应用。
介绍一些使用爬虫获取数据并进 行数据分析的实践案例。
爬虫性能优化和错误处理方法
1 性能优化
学习如何优化爬虫的性能， 包括并发请求、异步爬取和 缓存技术。
2 错误处理
介绍如何构建分布式爬虫系统，包括任务调度、数 据同步和通信机制。
数据清洗和预处理方法
数据清洗
学习如何清理和处理爬虫获取的原始数据，如 去除重复项和处理缺失值。
数据预处理
介绍常见的数据预处理方法，如数据规范化和 特征选择。
爬虫数据的可视化分析和展示
1 可视化工具
探索用于可视化爬虫数据 的常用工具和库，如 Matplotlib和Seaborn。
2 数据on进行数据分析， 包括数据聚合、统计分析 和生成可视化图表。
分享一些使用可视化工具 分析爬虫数据的实际案例。

• selenium+Firefox（36版） • 抓包应对动态网页
4
引言 爬虫能做什么？
微博最近有啥热门话题 淘宝京东上某商品价格变动邮箱通知 女/男神最新动态 谁点赞最活跃 BBS抢沙发 社交网络分析 ….
5
引言 爬虫能做什么
一句话， 只要浏览器有的， 你都可以抓可以爬
6
引言 爬虫好学吗？
三、网页请求
• 找规律构建url • requests库
7
四、网页解析
• 如何解析网页 • BeautifulSoup • re库的使用
六、如何应对反爬
• 控制访问频率 • 伪装装成浏览器 • 使用代理IP
五、开始采集
七、高级爬虫
• 条件、循环语句 • try。。。Except异常处理。 • 数据存储
• 爬虫工作原理 • HTML • Python基本知识
三、网页请求
• 找规律构建url • requests库
17
四、网页解析
• 如何解析网页 • BeautifulSoup • re库的使用
六、如何应对反爬
• 控制访问频率 • 伪装装成浏览器 • 使用代理IP
五、开始采集
七、高级爬虫
• 条件、循环语句 • try。。。Except异常处理。 • 数据存储
32
BeautifulSoup –遍历文档树
>>>#直接子节点 .children >>>bsObj.head.children #返回生成器，可以迭代取出来 <listiterator object at 0x7f71457f5710>
>>>for child in soup.body.children: >>> print child

BeautifulSoup库的使用
安装BeautifulSoup库
解析HTML文档
使用pip install beautifulsoup4命令进行 安装。
使用BeautifulSoup的解析方法，如find() 、find_all()等，查找HTML元素。
提取数据
解析XML文档
通过BeautifulSoup的extract()方法提取 HTML元素中的数据。
网络爬虫课件
目录
• 网络爬虫概述 • 网络爬虫的基本原理 • Python网络爬虫实战 • 网络爬虫的道德与法律问题 • 网络爬虫技术进阶 • 网络爬虫案例分析
01 网络爬虫概述
定义与特点
定义
网络爬虫是一种自动化的程序，用于从互联网上抓取数据。
特点
高效性、自动化、数据抓取和存储。
网络爬虫的分类
遵守法律法规和隐私保护
相关法律法规
各国政府都有相关的法律法规，规范 网络爬虫的行为。例如，欧盟的通用 数据保护条例（GDPR）规定了对个 人数据的处理和保护措施。
隐私保护的重要性
在抓取数据时，必须严格遵守隐私法 规，确保不会泄露用户的个人信息。 此外，未经授权的爬取行为可能侵犯 版权，导致法律纠纷。
监控竞争对手的网站动态，获取行业情报和 趋势分析。
02
01
个人使用
用于个人兴趣爱好，如收集特定主题的资料 、图片等。
04
03
02 网络爬虫的基本原理
HTTP协议基础
HTTP协议定义
HTTP协议是互联网的基础，用于从服务器请求和发 送网页内容。
HTTP请求方法
GET、POST、PUT、DELETE等是常见的HTTP请求 方法，用于不同的数据请求和操作。

例如，输入“手机”，搜索 京东网站中手机相关的商品信 息（见图10-1），包括不同品 牌不同型号的手机价格、店铺 名和评价数（根据评价数可推 测销量）。通过这些数据可以 分析手机的价格分布、不同型 号手机销量和均价、店铺销量 比例等。
图10-1 京东网站搜索的手机相关商品信息
10.2 爬虫实现
初始化模块
#输入关键字
#调用search函数 #调用goods_parse函数
10.2 爬虫实现
10.2.4 主模块
运行程序后，MongoDB数据库中的内容如图10-5所示。
图10-5 MongoDB数据库中的内容（部分）
10.3 爬虫数据分析
在数据分析方面，Python有非常强大的第三方库，pandas就是其中之一，它是 基于NumPy数组构建的，可以更快更简单地预处理、清洗和分析数据。
例如字符串“￥4999.00”中，将“￥”使用空字符替换；字符串“1.4万+”中 ，将“+”和“.”使用空字符替换，然后将“万”使用“000”替换；字符串“1万 +”中，将“+”使用空字符替换，然后将“万”使用“0000”替换。由于搜索的结 果中包含了价格待发布的手机信息，所以此处筛选出标明价格的数据。
10.3.3 分析数据
（2）分析华为各型号手机的销售量和均价，如mate30、p40、荣耀30、nova7 、畅享20和麦芒9等。由于京东网站只有近6个月商品的评价信息，故此处，将评价数 看作销售量进行分析。首先，根据手机型号筛选数据；然后，统计每个型号手机的销 量和均价；最后，绘制柱状图（x轴表示手机型号，y轴表示该手机销量或均价），并 在每个长条上方标明销量或均价的值。
pandas库不是Python内置的标准库，使用之前需要安装，安装方法与requests 库的安装类似（请参考2.3.2小节），此处不再赘述。

6.2.2 处理点触验证码 ➢ 注册超级鹰账号
使用浏览器访问/user/reg/，注册并登录网站，然后在“用户 中心”的“软件ID”中生成一个软件ID以便在接口中调用，如图6-16所示。
图6-16 “超级鹰”生成一个软件ID
6.2 处理验证码
6.2.2 处理点触验证码 ➢ 注册超级鹰账号
6.1 模拟登录
requests库中的session对象可以模拟登录并自动更新Cookie，实现保持登录，常用的方法和属 性如表6-1所示。
图2-2 HTTP请求和响应的详细信息
方法/属性 session() headers cookies
update()
说明
创建一个session对象 session对象的请求头 session对象的Cookie 设置或修改session对象的属性，如session.cookies.update({‘id’: ‘sessionID’})，如果cookies属性中的id信息不存在，则设置该信息； 如果存在，则修改该信息为“sessionID”
6.2 处理验证码 【参考代码】 详情见P155~P156
6.2.1 处理图片验证码
【运行结果】 验证码图片的原图、灰度图和二值图如图6-12所示。识别的验证码字符串和提取的验
证码如图6-13所示。
图6-12 验证码的原图、灰度图和二值图
图6-13 识别的验证码字符串和提取的验证码
6.2 处理验证码
图6-14 哔哩哔哩登录验证码
图6-15 中国铁路12306登录验证码
图6-14中是依次点击图中文字，顺序正确则验证成功； 图6-15中是点击图中所有符合要求的图，所有答案都正确，验证才会成功。 这两种情况都需要获取点击的位置坐标，此时，可通过第三方收费的接口（如超级鹰网站）来实现。

<_sre.SRE_Match object; span=(3, 6), match='123'> 从结果看出，在指定的字符串中找到了连续的数值，它们是"123"，span(3,6)表示开 始位置是3，结束位置是6，这正好是"123"在"abc123cd"中的位置。 Python中关于正则表达式的规则比较多，下面将介绍主要的内容，详细内容读者可 以参考相关资料。
import re reg=r"\w+" m=re.search(reg,"Python is easy") print(m) 结果匹配"Python"： <_sre.SRE_Match object; span=(0, 6), match='Python'>
5、字符"."代表任何一个字符，但是没有特别声明时不代表字符"\n"。 例如：
import re s="xaxby" m=re.search(r"a.b",s) print(m) 结果"."代表了字符"x" <_sre.SRE_Match object; span=(1, 4), match='axb'>
import re reg=r"a\nb?" m=re.search(reg,"ca\nbcabc") print(m) 结果匹配"a\n\b": <_sre.SRE_Match object; span=(1, 4), match='a\nb'>

Accept-Language:zh-CN,zh;q=0.8

name=Professional%20Ajax&publisher=Wiley
10/45
HTTP协议的组成
客户端请求消息
请求行（request line）
请求方法、URL、协议版本
请求头部（header）
key:value形式的属性
概念
是Hyper Text Transfer Protocol（超文本传输协议） 用于从服务器传输超文本到本地的传送协议
特点
HTTP是无连接的 HTTP是无状态的 HTTP允许传输任意类型的数据对象
9/45
常用HTTP请求方法
GET
以显示的方式向服务器发送请求
POST
POST / HTTP1.1
Host:
GET /562f259800向01b指1b1定06资000源338提.jp交g H数TTP据/1.1进行Us处er-A理ge请nt:M求ozilla/4.0 (compatible; MSIE 6.0;
HUosesrt:-iAmgge.nmt:uMkeowzilalan/g5.c.0o表m(W单indows NT 10.0;
25/45
学员操作1—构造网页下载模块
需求说明
创建page_fetch.py模块
创建get_html_by_urllib3(url)方法，返回url页面html
使用urllib3实现页面下载
创建get_html_by_requests(url)方法，返回url页面html
使用requests实现页面下载
29/45
xpath语法（一）

2020/3/2
10
• 准备工作
安装方法： 8）打开网页/mirrors/chromedriver/2.9/ 选择chromedriver_win32.zip进行下载，下载完成后解压出chromedriver.exe文件。 和python源文件放到一个文件夹下
• selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览 器，爬虫中主要用来解决JavaScript渲染问题。
• re库：正则表达式（通项公式）是用来简洁表达一组字符串的表 达式。字符串匹配。
2020/3/2
8
• 准备工作
使用Python制作网页爬虫，需要预先安装requests库、lxml库、selenium库，re库，并下 载chromedriver.exe。
• http://docs.python‐
6
requests 库中的网页请求函数
2020/3/2
7
lxml库、selenium库、re库
• Beautiful Soup和Lxml是两个非常流行的python模块，他们常被 用来对抓取到的网页进行解析，以便进一步抓取的进行。
2020/3/213• 使用正则表达 Nhomakorabea实现翻页功能
正则表达式是使用一些列特定的符号来表示字符串的一种表达式，正则表达式通常被用来 检索、替换那些符合某个模式(规则)的文本。接下来将结合实例来演示正则表达式的作用以及 使用方法。
首先我们来分析我们复制的url，在url末尾，我们可以看到&pn=50字段，通过在网页中点 击下一页就可以发现，&pn的数值为当前页面数减去1再乘以50，如第5页时url中&pn=200，除 了&pn的值，其它的内容完全不变。当我们在地址栏中修改&pn的值为0时，按下回车，就会发 现跳转到了中国石油大学贴吧的第一页。

python爬虫入门——邓旭 东PPT讲座
自我介绍
2009-2013 哈尔滨工业大学经济管理学院 2015-至今 中南大学商学院 主要研究方向为线上社群及消费者行为，
在学习研究过程中，习得了数据科学相关技术， 如数据采集、数据清理、数据规整、统计分析
熟悉R、python、MongoDB。
元组tuple
（1，2，3，4） （’1’, ‘2’, ‘3’, ‘4’）
(‘a’, ’b’, ’c’, ’d’)
集合set
{‘a’, ’b’, ’c’} 集合是不重复的元素组成的一个基本数据类型。
字典dict
>>>Dict = {‘name’: ‘邓旭东’，

‘age’: 26,
浏览器显示效果
Python基本知识
基本数据类型（str,list,tuple,set,dict)
循环语句 （for循环）
条件语句 （if else while）
表达式
（如age = 20）
字符串str
字符串：单（双、三）引号及其夹住的字符 >>>String = ‘我叫邓旭东’ >>>String[2:5]
Requests是一个优雅简洁的Python HTTP库，给人类使用。
requests常用方法
最普通的访问
url = ‘/u/1562c7f164’ r = requests.get(url)
伪装成浏览器的访问
Headers = {‘User-Agent’: ’Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36’} r = requests.get(url,headers = Headers)