Python爬虫技术介绍
随着网络技术的不断发展，网络上的数据资源也越来越丰富。在这些数据资源中，有很多对于我们的学习、生活和工作都有着重要意义的信息。但是这些信息往往分散在不同的网站和页面中。如果手动去一个一个地查找并整理这些信息，显然是非常耗时耗力的。这时候，Python爬虫技术便可以很好地解决这个难题。Python爬虫技术是一种利用计算机程序自动化地爬取互联网上信息的技术。本文将介绍Python爬虫技术的主要内容和应用场景。
一、Python爬虫技术概述
Python是一种很受欢迎的编程语言，它有很多特性，比如易于学习、简洁、高效等。这些特性使得Python非常适合用来编写爬虫程序。Python爬虫技术的实现依赖于三个主要的步骤：
1.请求URL
首先需要将需要获取数据的网站和页面的URL收集起来。URL的获取可以手动完成，也可以借助一些爬虫工具或程序完成。然后通过Python的requests库发起HTTP请求，获取对应URL中的HTML内容。 2.解析网页HTML信息
获取到HTML的内容后，需要使用Python中的BeautifulSoup库对HTML进行解析。解析后，可以获取到需要的信息，比如网页中的文字信息、图片信息、视频信息等。
3.信息的存储
最后需要将获取到的信息存储起来。存储方式有很多种，比如存储到数据库、存储到文件系统，或者存储到云存储等。
Python爬虫技术的主要特点包括：
1.支持多种请求方式和协议
Python爬虫技术可以发起HTTP、HTTPS、FTP等多种请求方式，并支持各种协议。这样可以针对不同网站和页面的特点进行灵活的爬取操作。
2.灵活的信息解析和数据提取方式
通过Python爬虫技术，可以使用各种方式提取网页中的数据，比如基于正则表达式的方式、XPath方式、正则表达式和CSS选择器混合方式等。此外，这些方式可以根据不同的网页需求进行灵活的组合和应用。
Python入门网络爬虫之精华版
Author: LiNing
Email: lining0806@
Blog: 宁哥的小站
Python学习网络爬虫主要分3个大的版块：抓取，分析，存储
另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。
首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁
哥的小站-网络爬虫
当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入
/，你就会看到宁哥的小站首页。
简单来说这段过程发生了以下四个步骤：
查找域名对应的IP地址。
向IP对应的服务器发送请求。
服务器响应请求，发回网页内容。
浏览器解析网页内容。
网络爬虫要做的，简单来说，就是实现浏览器的功能。通过指定url，直接返回给用户所需
要的数据，而不需要一步步人工去操纵浏览器获取。
抓取
这一步，你要明确要得到的内容是是什么？是HTML源码，还是Json格式的字符串等。
1. 最基本的抓取
抓取大多数情况属于get请求，即直接从对方服务器上获取数据。
首先，Python中自带urllib及urllib2这两个模块，基本上能满足一般的页面抓取。另外，
requests也是非常有用的包，与此类似的，还有httplib2等等。
Requests：
import requests
response = requests.get(url)
content = requests.get(url).content
print "response headers:", response.headers
print "content:", content Urllib2： import urllib2
response = urllib2.urlopen(url)
content = urllib2.urlopen(url).read()
Python爬⾍⾃学笔记（⼀）爬⾍基础知识
浏览器⼯作原理
我们在浏览器的地址栏输⼊⽹址（URL,全称为Uniform Resource Locator,统⼀资源定位器）。
然后，浏览器向服务器传达了我们想访问某个⽹页的需求，这个过程就叫做【请求】。
紧接着，服务器把你想要的⽹站数据发送给浏览器，这个过程叫做【响应】。
当服务器把数据响应给浏览器之后，浏览器并不会直接把数据丢给你。因为这些数据是⽤计算机的语⾔写的，浏览器还要把这些数据翻译成
你能看得懂的样⼦，这是浏览器做的另⼀项⼯作【解析数据】。
紧接着，我们就可以在拿到的数据中，挑选出对我们有⽤的数据，这是【提取数据】。
最后，我们把这些有⽤的数据保存好，这是【存储数据】。
爬⾍⼯作原理
其中，爬⾍可以帮我们代劳这个过程的其中⼏步：
当你决定去访问某个⽹页后，
⾸先，爬⾍可以模拟浏览器去向服务器发出请求；
其次，等服务器响应后，爬⾍程序还可以代替浏览器帮我们解析数据；
接着，爬⾍可以根据我们设定的规则批量提取相关数据，⽽不需要我们去⼿动提取；
最后，爬⾍可以批量地把数据存储到本地。
这就是爬⾍做的事。简化上图，就是爬⾍的⼯作原理了：
所以总结⼀下，爬⾍的⼯作步骤有以下四步：
第1步：获取数据。爬⾍程序会根据我们提供的⽹址，向服务器发起请求，然后返回数据。
第2步：解析数据。爬⾍程序会把服务器返回的数据解析成我们能读懂的格式。
第3步：提取数据。爬⾍程序再从中提取出我们需要的数据。
第4步：储存数据。爬⾍程序把这些有⽤的数据保存起来，便于你⽇后的使⽤和分析。
⽆论爬⾍程序写得多么复杂，万变不离其宗，爬⾍的基本⼯作原理和步骤就是这些。
HTML基础知识
HTML是⽤来描述⽹页的⼀种语⾔，英⽂全称是Hyper Text Markup Language，也叫超⽂本标记语⾔。
⼈⽣苦短，我⽤Python
我们⽤上⾯这个最基本的⽹页，分析⼀下HTML的基本结构如下：
HTML⽂档主要由元素组成。第⼀⾏是⼀个全局声明，⽬的是告诉浏览器，你现在处理的这个⽂档是HTML⽂档。
本文由我司收集整编，推荐下载，如有疑问，请与我司联系python爬虫——web前端基础HTML+CSS
2017/10/20 452 学习爬虫最好还是先去系统的学习一下HTML5+CSS3,本篇文
章主要是简单的介绍HTML,CSS,JavaScript,Xpath和Json这五部分。
一、HTML html是什么，在这就不作介绍。首先介绍一下它的用处。
设置文本格式。如：标题、字号、文本颜色、段落等等。 创建列表。包括有序
列表和无序列表。 插入图片和媒体。 建立表格。 创建超链接。
这是我之前学习html5+css3的部分思维导图
高清图：pan.baidu/s/1qY2ZKug
基本结构： html基本结构包括：
` html head meta 内容 /meta /head body /body /html 若其结构比作某
一生物，则该基本结构定义了该生物的种类，该生物的头，名字，身体以及有关重
要部分。 html /html 决定了该代码是html文件，即说明各类， head /head 申明
头部。 body /body 即主体部分。 meta /meta 在其头部，是重要部分。即提供有
关页面的元信息，搜索引擎的关键词就是元信息的内容，因此 meta /meta 是用来概
述本页面的信息的。
格式标记： br :强制换行 p :换段落 center :居中标记 ul :建立无序列表
ol ：建立有序列表 li :建立列表， li 用在 ul 和 ol 里面。 div ：分区显示
文本标记： hn :标题标记。n的大小为1~6，最多6级标题。 font :字体设置
标记。字体大小（size)、颜色（color)、字体（face) b :字体加粗标记 i ：斜体标
记 sub :下标标记 sup :上标标记 cite :引用方式的字体 strong :表示强调，一般
用于粗体 em :也表示强调，一般用于斜体 small :小型字体标记 big :大型字体标
