python 爬虫 教案

第1章 Python爬虫环境与爬虫简介

教案

课程名称：Python网络爬虫技术

课程类别：必修

适用专业：大数据技术类相关专业

总学时：32学时（其中理论14学时，实验18学时）

总学分：2.0学分

本章学时：2学时

一、 材料清单

（1） 《Python网络爬虫技术》教材。

（2） 配套PPT。

（3） 引导性提问。

（4） 探究性问题。

（5） 拓展性问题。

二、 教学目标与基本要求

1. 教学目标

先对爬虫的概念和原理，及反爬虫的概念进行基本的概述，列举针对反爬虫的常用手段制定对应爬取策略。而后简要介绍了Python常用爬虫库和爬虫环境，以及用于存储爬取的数据的MySQL、MongoDB数据库。

2. 基本要求

（1） 了解爬虫的原理。

（2） 了解爬虫运作时应遵守的规则。

（3） 了解反爬虫的目的和常用手段。

（4） 了解Python常用爬虫库。

（5） 掌握MySQL、MongoDB数据库的配置方法。

三、 问题

1. 引导性提问

引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。

（1） 爬虫能够做什么？

（2） 爬虫能爬哪些数据？

（3） Python语言在爬虫方面有哪些优势？

2. 探究性问题

探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。

（1） 爬虫能够应用在那些场景？

（2） 爬虫的原理是什么？

3. 拓展性问题

拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。

（1） 爬虫是不是万能的？

（2） 爬虫在数据分析有哪些作用？

Python爬⾍知识点

⼀、基础知识

1、HTML分析

2、urllib爬取

导⼊urilib包（Python3.5.2）

3、urllib保存⽹页

import urllib.request

url = "/wj204/p/6151070.html"

html = urllib.request.urlopen(url).read()

fh=open("F:/20_Python/3000_Data/2.html","wb")

fh.write(html)

fh.close()

4、模拟浏览器

import urllib.request

url="/"

headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0")

opener=urllib.request.build_opener()

opener.addheaders=[headers]

data=opener.open(url).read()

fh=open("F:/20_Python/3000_Data/1.html","wb")

fh.write(data)

fh.close()

5、urllib保存图⽚

使⽤ 查看存储在JS中的Json数据g_page_config

import re

import urllib.request

keyWord = "Python机器学习"

keyWord2 = urllib.request.quote(keyWord)

headers = ("User-Agent","MMozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.1708.400 QQBrowser/9.5.9635.400")

用Python写一个小小的爬虫程序

浏览次数：1356次 2007年11月11日 互联网 字号: 大 中 小

分享到：QQ空间新浪微博腾讯微博人人网豆瓣网开心网更多1

Python有一个urllib的库，可以很方便的从给定的url抓取网页，以下这段程序实现了抓取一个url并存到指定文件的功能：

爬虫工作的基本原理就是，给定一个初始的url，下载这个url的网页，然后找出网页上所有满足下载要求的链接，然后把这些链接对应的url下载下来，然后再找下载下来的这些网页的url，我们可以用广度优先搜索实现这个算法，不过，首先得有一个函数找出网页上所有的满足要求的url，下面这个例子用正则表达式找出url.

最后就是广度优先搜索了，这个实现起来也很简单：

作者用上面的算法，感觉速度还行，1小时可以抓10000多网页，可以满足小型系统的要求。

python爬虫实战,多线程爬取京东jd html页面：无需登录的网站的爬虫实战

2014-12-02 20:04:31

标签：网站 爬虫 python import

版权声明：原创作品，如需转载，请与作者联系。否则将追究法律责任。

【前言】

1

2

3

4

5

6 # 本脚本用来爬取jd的页面：/list.html?cat=737,794,870到

# ....../list.html?cat=737,794,870&page=11&JL=6_0_0的所有html的内容和图片。

# 本脚本仅用于技术交流，请勿用于其他用途

# by River

# qq : 179621252

# Date : 2014-12-02 19:00:00

【需求说明】

以京东为示例，爬取页面的，获取页面中得数据：记录到data.txt；获取页面中得图片，保存下来。

1、list的url如下 2、商品详情页的url如下： 【技术说明】

1 2

3

4

5

6

7

8 使用了python的以下库

import os#检查文件是否存在等

from HTMLParser import HTMLParser#用于解析html的库，有坑：如果2.6的python，可能悲剧

import httplib,re#发起http请求

import sys,json,datetime,bisect#使用了二分快速查找

from urlparse import urlparse#解析url，分析出url的各部分功能

from threading import Thread#使用多线程 import socket #设置httplib超时时间

【代码逻辑说明】

1、run（获取最终要的结果）

2、parseListpageurl：返回list的总共的页面数量

3、judgelist：判断该list是否已经爬取完毕了，第一个list中的所有url、最后list的所有url都爬取完毕了，那么久说明list的所有page爬取完毕了（实际上是一种弱校验）