下载文档原格式
爬虫工程师简历项目描述作为一名爬虫工程师，我在简历中列出了我所完成的一些项目，以展示我的技能和经验。
以下是我在简历中列出的一些项目描述：1. 爬取电商网站数据我曾经为一家电商网站编写了一个爬虫程序，用于爬取该网站的商品信息。
我使用了Python编程语言和Scrapy框架来编写这个程序。
我使用了XPath和CSS选择器来解析HTML页面，并使用了Selenium来模拟用户行为。
我还使用了MongoDB来存储数据，并使用了Elasticsearch来进行搜索和分析。
2. 爬取社交媒体数据我曾经为一家社交媒体公司编写了一个爬虫程序，用于爬取该公司的用户数据。
我使用了Python编程语言和Scrapy框架来编写这个程序。
我使用了API和OAuth来获取数据，并使用了Pandas和NumPy来进行数据分析和可视化。
3. 爬取新闻网站数据我曾经为一家新闻网站编写了一个爬虫程序，用于爬取该网站的新闻信息。
我使用了Python编程语言和Scrapy框架来编写这个程序。
我使用了正则表达式和XPath来解析HTML页面，并使用了Redis 来进行数据缓存和去重。
4. 爬取搜索引擎数据我曾经为一家搜索引擎公司编写了一个爬虫程序，用于爬取该公司的搜索结果。
我使用了Python编程语言和Scrapy框架来编写这个程序。
我使用了API和OAuth来获取数据，并使用了Pandas和NumPy来进行数据分析和可视化。
总结以上是我在简历中列出的一些项目描述。
这些项目展示了我在爬虫领域的技能和经验。
我熟练掌握Python编程语言和Scrapy框架，并能够使用XPath、CSS选择器、正则表达式等工具来解析HTML 页面。
我还熟悉MongoDB、Elasticsearch、Redis等数据库和缓存技术，并能够使用Pandas、NumPy等数据分析和可视化工具来处理和展示数据。
我相信这些项目描述可以让招聘者更好地了解我的能力和潜力，从而做出更好的招聘决策。
Python面试八股文一、背景介绍在现代科技发展的背景下，编程成为了一项非常重要的技能。
而在编程领域中，Python由于其简洁、易读、易学的特点，成为了最受欢迎的编程语言之一。
因此，越来越多的人选择学习和使用Python。
面试是求职过程中非常重要的环节，面试官通常会通过提问考察面试者的技术能力和知识水平。
本文将围绕Python面试八股文展开探讨，帮助读者了解在Python面试中可能会遇到的问题和应对策略。
二、Python面试八股文概述Python面试八股文是指在Python面试中常见的问题和知识点总结，类似于面试的“标准答案”。
掌握了Python面试八股文，能够帮助面试者更好地准备面试，提高面试的成功率。
Python面试八股文通常包括以下几个方面的内容：1. Python基础知识在Python面试中，面试官通常会考察面试者对Python基础知识的掌握程度。
这包括Python的数据类型、基本语法、控制流程、函数、模块等方面的知识。
常见的问题包括：•Python中的数据类型有哪些？•如何定义一个函数？•如何使用Python进行文件读写操作？2. Python高级特性除了基础知识外，面试官还会考察面试者对Python高级特性的了解程度。
这包括迭代器、生成器、装饰器、上下文管理器等方面的知识。
常见的问题包括：•什么是生成器？如何使用生成器？•什么是装饰器？如何使用装饰器？•什么是上下文管理器？如何使用上下文管理器？3. Python常用库和框架Python拥有丰富的第三方库和框架，能够帮助开发者更高效地完成各种任务。
在面试中，面试官通常会考察面试者对常用库和框架的了解程度。
常见的问题包括：•介绍一下NumPy库的使用场景和功能。
•介绍一下Django框架的特点和使用方式。
•介绍一下Pandas库的常用功能和数据结构。
4. 数据库和SQL在实际的开发过程中，数据库和SQL是非常重要的一部分。
面试官通常会考察面试者对数据库和SQL的基本知识和应用能力。
python 爬虫面试题Python爬虫面试题一、基础知识1. 什么是爬虫？爬虫是一种自动获取网页内容的程序，通过模拟浏览器行为，自动访问网页并提取所需信息。
2. Python爬虫的优势是什么？Python爬虫具有以下优势：- 简洁易学：Python语法简洁清晰，上手难度低。
- 强大的第三方库支持：Beautiful Soup、Requests等库方便开发者处理HTML页面和发送HTTP请求。
- 灵活性：Python爬虫适用于多种场景，可以应对各种网站的数据获取。
- 高效性：Python的解释器可以解析和执行代码，大大节省了程序的运行时间。
3. Requests库的作用是什么？Requests库是Python中一个常用的HTTP请求库，可以方便地发送HTTP请求、处理响应和参数发送等操作。
4. 爬虫常见的反爬策略有哪些？- User-Agent反爬：网站根据User-Agent信息判断爬虫，可设置User-Agent头模拟浏览器访问。
- IP反爬：网站通过IP地址进行限制，可以使用代理IP进行匿名请求。
- 验证码反爬：网站使用验证码来阻止爬虫，可通过打码平台或机器学习算法破解。
- 动态渲染反爬：网页使用JavaScript进行动态渲染，可以使用Selenium等工具模拟浏览器解析。
二、实战技巧1. 如何实现代理IP的使用？使用requests库可以通过设置proxies参数来实现代理IP的使用。
例如：```import requestsproxies = {'http': 'http://ip:port','https': 'https://ip:port'}response = requests.get(url, proxies=proxies)```2. Cookie和Session的区别是什么？- Cookie是由服务器发送到浏览器并存储在本地的文本文件，用于跟踪用户身份信息。
第1篇一、爬虫技术基础1. 什么是爬虫？- 爬虫（Spider）是一种自动化程序，用于从互联网上抓取信息。
它通过模拟人类用户的行为，访问网页并提取所需的数据。
2. 爬虫的主要作用是什么？- 数据抓取：从网站获取信息，用于数据分析、数据挖掘等。
- 信息监控：跟踪特定信息或网站的变化。
- 网络分析：研究网络结构和链接关系。
3. 请解释爬虫的基本工作流程。
- 确定目标：确定要抓取数据的网站。
- 网络请求：向目标网站发送请求。
- 数据解析：解析返回的HTML、XML或JSON数据。
- 数据存储：将解析得到的数据存储到数据库或文件中。
4. 请列举几种常见的爬虫类型。
- 网页爬虫：抓取静态网页。
- 深度爬虫：递归抓取网站上的所有链接。
- 宽度爬虫：同时抓取多个网页。
- 代理爬虫：通过代理服务器进行爬取，以隐藏真实IP。
二、网络编程与HTTP协议5. 什么是HTTP协议？- HTTP（超文本传输协议）是互联网上应用最广泛的网络协议，用于在Web服务器和客户端之间传输数据。
6. 请解释HTTP请求/响应模型。
- 请求：客户端向服务器发送请求，包含方法（如GET、POST）、URL、头部信息等。
- 响应：服务器返回响应，包含状态码、头部信息、实体内容等。
7. 请解释HTTP状态码。
- 1xx：信息性响应。
- 2xx：成功响应。
- 3xx：重定向。
- 4xx：客户端错误。
- 5xx：服务器错误。
8. 什么是HTTPS？- HTTPS（安全超文本传输协议）是HTTP的安全版本，通过SSL/TLS加密数据传输，确保数据安全。
三、网页解析9. 请解释HTML、XML和JSON的区别。
- HTML：用于网页内容的结构化。
- XML：用于存储和传输数据。
- JSON：轻量级数据交换格式，易于阅读和编写。
10. 请列举几种常用的网页解析库。
- BeautifulSoup- lxml- PyQuery11. 如何解析动态加载的网页内容？- 使用Selenium、PhantomJS等工具模拟浏览器行为。
许多爬虫(python)的小伙伴因为没有经历过面试所以在找工作之前难免有些抓不住重点，总结以下面试常见问题，为想要转爬虫的小伙伴提供一些参考。
一.项目问题：一般面试官的第一个问题八成都是问一下以前做过的项目，所以最好准备两个自己最近写的有些技术含量的项目，当然一定要自己亲手写过的，在别的地方看的源码，就算看的再清楚，总归没有自己敲的了解的多。
以下是抽出的几点1.你写爬虫的时候都遇到过什么反爬虫措施，你是怎么解决的2.用的什么框架，为什么选择这个框架(我用的是scrapy框架，所以下面的问题也是针对scrapy)二.框架问题（scrapy）可能会根据你说的框架问不同的问题，但是scrapy还是比较多的1.scrapy的基本结构（五个部分都是什么，请求发出去的整个流程）2.scrapy的去重原理（指纹去重到底是什么原理）3.scrapy中间件有几种类，你用过那些中间件，4.scrapy中间件再哪里起的作用（面向切面编程）三.代理问题1.为什么会用到代理2.代理怎么使用（具体代码，请求在什么时候添加的代理）3.代理失效了怎么处理四.验证码处理1.登陆验证码处理2.爬取速度过快出现的验证码处理3.如何用机器识别验证码五.模拟登陆问题1.模拟登陆流程2.cookie如何处理3.如何处理网站传参加密的情况六.分布式1.分布式原理2.分布式如何判断爬虫已经停止了3.分布式去重原理七.数据存储和数据库问题1.关系型数据库和非关系型数据库的区别2.爬下来数据你会选择什么存储方式，为什么3.各种数据库支持的数据类型，和特点，比如：redis如何实现持久化，mongod b是否支持事物等..八.python基础问题基础问题非常多，但是因为爬虫性质，还是有些问的比较多的，下面是总结1.python2和python3的区别，如何实现python2代码迁移到python3环境2.python2和python3的编码方式有什么差别（工作中发现编码问题还是挺让人不爽的）3.迭代器，生成器，装饰器4.python的数据类型九.协议问题爬虫从网页上拿数据肯定需要模拟网络通信的协议1.http协议，请求由什么组成，每个字段分别有什么用,https和http有什么差距2.证书问题3.TCP,UDP各种相关问题十.数据提取问题1.主要使用什么样的结构化数据提取方式，可能会写一两个例子2.正则的使用3.动态加载的数据如何提取4.json数据如何提取十二.算法问题这个实在不好总结，比较考验代码功力，大部分会让你写出时间复杂度比较低的算法。
⾯试经验01--爬⾍⼯程师（字节跳动）⾯试过程⽐较简短（30min）主要是询问基础技能爬取数据的⽅法，封禁ip，账号的处理等接下来是询问项⽬经历，也会在其中穿插⼀些基础的知识最后⼀部分就是做⼀道算法题，不过我也不清楚这个职位为什么要算法题。
算法题算是中等⽔平的⼀个链表的部分反转⽰例 1：输⼊：head = [1,2,3,4,5], left = 2, right = 4输出：[1,4,3,2,5]⽰例 2：输⼊：head = [5], left = 1, right = 1输出：[5]这个在leetcode上有原题可以看⼀下。
题解 python版1class Solution:2def reverseBetween(self, head: ListNode, left: int, right: int) -> ListNode:3def reverse_linked_list(head: ListNode):4# 也可以使⽤递归反转⼀个链表5 pre = None6 cur = head7while cur:8 next = cur.next9 cur.next = pre10 pre = cur11 cur = next1213# 因为头节点有可能发⽣变化，使⽤虚拟头节点可以避免复杂的分类讨论14 dummy_node = ListNode(-1)15 dummy_node.next = head16 pre = dummy_node17# 第 1 步：从虚拟头节点⾛ left - 1 步，来到 left 节点的前⼀个节点18# 建议写在 for 循环⾥，语义清晰19for _ in range(left - 1):20 pre = pre.next2122# 第 2 步：从 pre 再⾛ right - left + 1 步，来到 right 节点23 right_node = pre24for _ in range(right - left + 1):25 right_node = right_node.next26# 第 3 步：切断出⼀个⼦链表（截取链表）27 left_node = pre.next28 curr = right_node.next2930# 注意：切断链接31 pre.next = None32 right_node.next = None3334# 第 4 步：同第 206 题，反转链表的⼦区间35 reverse_linked_list(left_node)36# 第 5 步：接回到原来的链表中37 pre.next = right_node38 left_node.next = curr39return dummy_node.next40。
python爬虫岗位面试自我介绍英文回答：Good morning/afternoon, hiring managers. My name is [Your Name], and I am excited to be here today to interview for the Python Web Scraping Engineer position at your esteemed company.With my strong background in Python programming and web scraping techniques, I am confident that I possess the necessary skills and experience to excel in this role. Throughout my career, I have successfully developed and implemented numerous web scraping solutions that have effectively extracted valuable data from complex websites.My proficiency in Python libraries such as BeautifulSoup, Selenium, and Requests has enabled me to efficiently automate the extraction process, ensuring accuracy and consistency. I have a deep understanding of web page structures, HTTP protocols, and HTML/CSS selectors,which allows me to navigate and parse websites effectively.Furthermore, I am well-versed in data cleaning and transformation techniques, utilizing tools like Pandas and NumPy to manipulate and analyze extracted data. My strong analytical and problem-solving abilities enable me to identify and overcome challenges encountered during the web scraping process.I am eager to contribute my expertise to your team and leverage my skills to enhance your organization's data acquisition capabilities. I am confident that my technical proficiency, coupled with my dedication and enthusiasm for data mining, will make me a valuable asset to your company.Thank you for your time and consideration. I look forward to the opportunity to discuss my qualifications further and demonstrate how I can contribute to the success of your organization.中文回答：早上/下午好，招聘经理们。
python爬虫正则表达式面试题
好的，以下是一些可能的Python爬虫和正则表达式的面试题：
1. 请解释什么是爬虫，并给出一些Python爬虫的用途。
2. 请解释什么是正则表达式，并给出一些常见的正则表达式符号和用法。
3. 请编写一个Python爬虫，从给定的URL中提取特定标签的文本内容。
4. 请编写一个Python程序，使用正则表达式从给定文本中提取所有电子邮件地址。
5. 请解释什么是HTTP状态码，并给出一些常见的HTTP状态码及其含义。
6. 如何在Python中使用requests库向网站发送GET请求？
7. 如何在Python中使用BeautifulSoup库解析HTML文档？
8. 如何在Python中使用正则表达式进行字符串匹配和替换？
9. 什么是CSS选择器，如何在Python中使用它们来提取HTML中的元素？
10. 什么是XPath，如何在Python中使用它来提取HTML中的元素？。
Python爬⾍⼯程师⾯试（1）毕业后的第⼀次⾯试，是杭州⼀家不⼤不⼩的公司，⾯试是通过电话进⾏，期间还是很紧张的（太久没⾯试的原因，以下是⾯试官问的⼀些问题：1.Python的基本数据类型（当时就回答了整型和字符串，其他的脑⼦⼀⽚空⽩~ 六种数据类型：数字(number)、字符串(str)、列表(list)、字典(dict)、元组(tuple)、集合(set)2.如何两个列表的交集和并集？（当时回答了，两个for循环⼀个个判断。
⾃⼰都懵~ (1).当然两个for循环挨个判断也能取出交并集~但，Python嘛，最⼤的优势就是函数多，简便为主 (2).先将两个List转为Set,集合有现成的⽅法求交并集： 并集：set1.union(set2) 交集：set1.intersection(set2)3.⼀个列表中，存有字典（{name:xxx, age:xx, addr:xxx}）,要求按照age的⼤⼩进⾏排序？（当时说的是，先取出age的值，然后再进⾏排序... (1).确实可以通过两个for循环取出age的值进⾏排序，不作讨论~ (2).使⽤operator进⾏排序： list2 = sort(list1, key=operator.itemgetter('age')) # 升序 ---降序 reverse=True 使⽤lambda进⾏排序： list = sorted(list1, key= lambda list1: list1["age"]) #升序 ---降序 reverse = True4.介绍Python中的函数参数的可变参数和关键字参数？（当时是真懵，之前从来没去了解这个~ Python函数参数有4种：必选参数、默认参数、可变参数、关键字参数.(顺序不可变) 必选参数： def(x): a = x * x x为必选参数，在调⽤函数时必须传⼊参数x的值~ 默认参数： def(x, y=2): a = x * y y为可选参数，当调⽤函数时，不给y传⼊参数时，y就使⽤默认值2。
python爬⾍⾯试问题_Python爬⾍⾯试总结## Python爬⾍⾯试总结1. 写⼀个邮箱地址的正则表达式？[A-Za-z0-9\u4e00-\u9fa5]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$2. 谈⼀谈你对 Selenium 和 PhantomJS 了解Selenium 是⼀个Web 的⾃动化测试⼯具，可以根据我们的指令，让浏览器⾃动加载页⾯，获取需要的数据，甚⾄页⾯截屏，或者判断⽹站上某些动作是否发⽣。
Selenium ⾃⼰不带浏览器，不⽀持浏览器的功能，它需要与第三⽅浏览器结合在⼀起才能使⽤。
但是我们有时候需要让它内嵌在代码中运⾏，所以我们可以⽤⼀个叫 PhantomJS 的⼯具代替真实的浏览器。
Selenium库⾥有个叫 WebDriver 的API。
WebDriver 有点⼉像可以加载⽹站的浏览器，但是它也可以像BeautifulSoup 或者其他Selector 对象⼀样⽤来查找页⾯元素，与页⾯上的元素进⾏交互 (发送⽂本、点击等)，以及执⾏其他动作来运⾏⽹络爬⾍。
PhantomJS是⼀个基于 Webkit 的“⽆界⾯”(headless)浏览器，它会把⽹站加载到内存并执⾏页⾯上的 JavaScript，因为不会展⽰图形界⾯，所以运⾏起来⽐完整的浏览器要⾼效。
相⽐传统的Chrome或 Firefox 浏览器等，资源消耗会更少。
如果我们把 Selenium 和 PhantomJS 结合在⼀起，就可以运⾏⼀个⾮常强⼤的⽹络爬⾍了，这个爬⾍可以处理 JavaScrip、Cookie、headers，以及任何我们真实⽤户需要做的事情。
主程序退出后，selenium 不保证 phantomJS 也成功退出，最好⼿动关闭 phantomJS 进程。
（有可能会导致多个 phantomJS 进程运⾏，占⽤内存）。
WebDriverWait 虽然可能会减少延时，但是⽬前存在 bug（各种报错），这种情况可以采⽤ sleep。
2019年应届⽣（python爬⾍）---记录总结下⾃⼰的求职经历，并分享⼀下求职中的⼀些坑...[TOC]前⾔写这篇⽂章的⽬的：1. 是为了记录下⾃⼰的经历，做⼀下总结2. 因为在找⼯作中其实有不少的坑，记录下来，为了以后不再掉进去，也为给后来⼈分享下经验介绍⼀下⾃⼰本⼈三流本科学历，⼤学⾥也是个渣渣，⼤⼀⼤⼆的时候混学⽣会，⼤三的时候⾃学的是Python，爬⾍，在⼤四初期的时候找了⼀个Python 爬⾍实习⽣的⼯作，实习时间有5个半⽉，想要了解我找实习经历的，可以点这⾥：实习到3⽉左右，回学校弄毕业论⽂，之后也参加过校招，不过校招是Python或者爬⾍⽅向的根本没有（也有可能是学校⽐较菜），没有找到⼯作嘛，我这⼈有时候性⼦慢，也不是很着急，在⼤概5⽉份左右，找了原来的实习公司，准备去原来的公司，因为某些原因，原来公司应届⽣社招没去成，就步⼊⼀个尴尬的状况：那就是应届⽣社招(ps:说实话，应届⽣还是⽐较推荐⾛校招，社招你要和社会上的⼈竞争，别⼈有⼯作经验，你没有就很难竞争的过别⼈。
我没⾛校招是因为之前学的Python爬⾍，校招⼏乎没有，其他的基础也不是很好，所以没⾛掉，在9⽉份的时候开始实习，其实那个时候是很多⼤公司开始校招的时候，⾃⼰也不知道，三流本科，⾝边的⼈也没啥动静，没有准备，从9⽉份实习到19年3⽉，基本是错过了⼤部分校招)v2-c72c243b8e588fb7d6d9bfcfd602cf2d_b.jpg正⽂正式找⼯作正式说找⼯作，我从五⽉开始，找到7⽉初，⼀个多⽉，算真的是经历世间的沧桑，⽣活已经对我们这些95后开始下⼿所以说我并不是很爬⾍的就更少了，所以说我并不是很我主要是投的合肥这边，因为离家⽐较近点。
但是呢，⼆线城市要⼆线城市要Python的是真的很少，Python爬⾍的就更少了，⾛爬⾍这个⽅向。
⼀个多⽉来在加上中间有段时间耽搁了，⼀共才⾯试了⼗家。
建议应届⽣⾛Python，⾛爬⾍这个⽅向其实如果你应聘的岗位⽐较多，简历筛选过了，约时间⾯试，⼀天安排个2到3次是没有问题的，⼀周下来都能⾯试个⼗多家。
python爬⾍常见⾯试题（⼀）前⾔ 之所以在这⾥写下python爬⾍常见⾯试题及解答，⼀是⽤作笔记，⽅便⽇后回忆；⼆是给⾃⼰⼀个和⼤家交流的机会，互相学习、进步，希望不正之处⼤家能给予指正；三是我也是互联⽹寒潮下岗的那批⼈之⼀，为了找⼯作⽽做准备。
⼀、题⽬部分1、python中常⽤的数据结构有哪些？请简要介绍⼀下。
2、简要描述python中单引号、双引号、三引号的区别。
3、如何在⼀个function⾥设置⼀个全局的变量。
4、python⾥⾯如何拷贝⼀个对象？（赋值、浅拷贝、深拷贝的区别）5、如果custname字符串的编码格式为uft-8,如何将custname的内容转化为gb18030的字符串？6、请写出⼀段python代码实现删除list中的重复元素。
7、这两个参数是什么意思？args和kwargs。
8、（1）统计如下list单词及其出现的次数。
a=['apple', 'banana', 'apple', 'tomato', 'orange', 'apple', 'banana', 'watermeton']（2）给列表中的字典排序：例如有如下list对象：alist=[{"name":"a", "age":20}, {"name":"b", "age":30}, {"name":"c", "age":25}] 将alist中的元素按照age从⼩到⼤排序。
（3）写出下列代码的运⾏结果1 a = 12def fun(a):3 a = 24 fun(a)5print(a)1 a = []2def fun(a):3 a.append(1)4 fun(a)5print(a)1class Person:2 name = 'Lily'34 p1 = Person()5 p2 = Person()6 = 'Bob'7print()8print()9print()⼆、解答部分注：以下答案，均为google后结合⾃⼰学所知识回答，可能会有不正确的地⽅，错误之处希望⼤家帮我指正出来，谢谢。
1、scrapy框架专题部分（很多面试都会涉及到这部分）（1）请简要介绍下scrapy框架。
（2）为什么要使用scrapy框架？scrapy框架有哪些优点？（3）scrapy框架有哪几个组件/模块？简单说一下工作流程。
（4）scrapy如何实现分布式抓取？2、其他常见问题。
（1）爬虫使用多线程好？还是多进程好？为什么？（2）http和https的区别？（3）数据结构之堆，栈和队列的理解和实现。
二、解答部分1、scrapy框架专题部分（1）请简要介绍下scrapy框架。
scrapy 是一个快速(fast)、高层次(high-level)的基于python 的web 爬虫构架，用于抓取web站点并从页面中提取结构化的数据。
scrapy 使用了 Twisted异步网络库来处理网络通讯。
（2）为什么要使用scrapy框架？scrapy框架有哪些优点？•它更容易构建大规模的抓取项目•它异步处理请求，速度非常快•它可以使用自动调节机制自动调整爬行速度（3）scrapy框架有哪几个组件/模块？简单说一下工作流程。
Scrapy Engine: 这是引擎，负责Spiders、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等等！（像不像人的身体？）Scheduler(调度器): 它负责接受引擎发送过来的requests请求，并按照一定的方式进行整理排列，入队、并等待Scrapy Engine(引擎)来请求时，交给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spiders来处理，Spiders：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，Item Pipeline：它负责处理Spiders中获取到的Item，并进行处理，比如去重，持久化存储（存数据库，写入文件，总之就是保存数据用的）Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spiders中间‘通信‘的功能组件（比如进入Spiders的Responses;和从Spiders出去的Requests）整体架构如下图：工作流程：数据在整个Scrapy的流向：程序运行的时候，引擎：Hi！Spider, 你要处理哪一个网站？Spiders：我要处理引擎：你把第一个需要的处理的URL给我吧。
Python⾯试题爬⾍篇⼩结（附答案）第⼀部分必答题注意：第31题1分，其他题均每题3分。
1，了解哪些基于爬⾍相关的模块？- ⽹络请求：urllib，requests，aiohttp- 数据解析：re，xpath，bs4，pyquery- selenium - js逆向：pyexcJs2，常见的数据解析⽅式？- re、lxml、bs43，列举在爬⾍过程中遇到的哪些⽐较难的反爬机制？- 动态加载的数据- 动态变化的请求参数- js加密- 代理- cookie4，简述如何抓取动态加载数据？- 基于抓包⼯具进⾏全局搜索- 如果动态加载的数据是密⽂，则全局搜索是搜索不到5，移动端数据如何抓取？- fiddler，appnium，⽹络配置6，抓取过哪些类型的数据，量级多少？- 电商，医疗器械，彩妆，新闻资讯，⾦融，体育赛事（参考hao123⽹站）- 量级：- 最好不要超过100w。
⾃⼰计算（页数，⼀页显⽰多少数据）7，了解哪些爬⾍框架？- scrapy，pyspider8，谈谈对scrapy的了解？- 功能：数据解析，持久化存储，深度爬取，分布式，关键件- 五⼤核⼼组件的作⽤和⼯作流程9，如何解析出携带标签的局部页⾯数据？- bs410，scrapy核⼼组件？- spider，引擎，调度器，下载器，管道11，scrapy中间件的应⽤？- 作⽤：拦截请求和响应- 拦截请求：设置代理12，如何实现全站数据爬取？- 基于⼿动请求发送+递归解析- 基于CrwalSpider（LinkExtractor，Rule）13，如何检测⽹站数据更新？- 增量式爬⾍14，分布式爬⾍实现原理？- 基于scrapy-redis实现的分布式。
15，如何提升爬取数据的效率（异步爬⾍）- 使⽤框架- 线程池，多任务的异步协程- 分布式16，列举你接触的反爬机制？ua检测、封ip、js混淆、参数加密、数据加密，动态加载17，什么是深度优先和⼴度优先（优劣）- 默认情况下scrapy是深度优先。
scrapy⾯试⼀1、动态加载⼜对及时性要求很⾼怎么处理？1. Selenium+Phantomjs2. 尽量不使⽤ sleep ⽽使⽤ WebDriverWait2、分布式爬⾍主要解决什么问题？（1）ip（2）带宽（3）cpu（4）io3、什么是 URL？URL，即统⼀资源定位符，也就是我们说的⽹址，统⼀资源定位符是对可以从互联⽹上得到的资源的位置和访问⽅法的⼀种简洁的表⽰，是互联⽹上标准资源的地址。
互联⽹上的每个⽂件都有⼀个唯⼀的 URL，它包含的信息指出⽂件的位置以及浏览器应该怎么处理它。
4、python 爬⾍有哪些常⽤技术？Scrapy，Beautiful Soup， urllib，urllib2，requests5、简单说⼀下你对 scrapy 的了解？scrapy 是⼀个快速(fast)、⾼层次(high-level)的基于 python 的 web 爬⾍构架。
⽤来下载、并解析 web 页⾯, 其 parse->yield item->pipeline 流程是所有爬⾍的固有模式。
构造形式主要分spider.pypipeline.py item.py decorator.py middlewares.py setting.py。
6、Scrapy 的优缺点?（1）优点：scrapy 是异步的采取可读性更强的 xpath 代替正则强⼤的统计和 log 系统，同时在不同的 url 上爬⾏⽀持 shell ⽅式，⽅便独⽴调试写 middleware,⽅便写⼀些统⼀的过滤器，通过管道的⽅式存⼊数据库（2）缺点：基于 python 的爬⾍框架，扩展性⽐较差基于 twisted 框架，运⾏中的 exception 是不会⼲掉 reactor，并且异步框架出错后是不会停掉其他任务的，数据出错后难以察觉。
7、scrapy 和 request?（1）scrapy 是封装起来的框架，他包含了下载器，解析器，⽇志及异常处理，基于多线程， twisted 的⽅式处理，对于固定单个⽹站的爬取开发，有优势，但是对于多⽹站爬取 100 个⽹站，并发及分布式处理⽅⾯，不够灵活，不便调整与括展。
Python面试总结1、简历制作我做了两份简历，用两个手机账号，两个简历名字，分别在各个招聘网站投了双份简历，一个是数据分析的简历、一个是web全栈开发的简历，我真正接触python快2年，不管是学习还是工作学到的东西，这两年大概掌握了（前端+django+爬虫+数据分析+机器学习+NLP+Linux）技术，技术水平自我评价一般，够日常一般使用，基于自己掌握的技术可以分成2方面，web和数据分析，所以为了尽快找到工作，就做了web全栈开发+数据分析（含爬虫）2份简历，同时投递2、面试安排疯狂投简历，2个账号多个平台同时投，每天接到2-4个面试邀约电话，每天安排2到3家面试，一般上午1家，下午的话一般我尽量安排离得近的公司面试，2点一家，4.30一家，基本时间上都还来得及，只不过这样确实比较赶3、公司及面试情况邀约面试的电话，从数量来看，涵盖web开发（和web开发+数据分析算法建模）的面试邀约更多，纯数据分析/算法的面试较少，数据分析面试少的原因，一方面可能自己简历写的项目不多，而且学历本科也没多大优势，另一方面可能实际需求上确实web岗位多，纯分析岗位少，5天面试了11家公司，拿到offer有2家，等最终复试的还有2家（已经通知要五一过后再面了，不过我这边可能会选择下方第7家公司入职，后面的最终面试不一定会去）一般的话，面试要经过2-4轮，技术和人事是必须的，当然也有些技术面完了人家都已经觉得不合适了，但是公司也会假装客套邀约人事也跟你谈谈，谈完大部分也都是不了了之了，如果面试严格的话，2轮之外，可能还会有第三/四轮技术/人事/老板等leader再继续约时间面试，下面简单介绍下每家公司用到的技术和面试结果3.1、算法工程师公司技术：图像识别面试我的是总经理，不是技术，对技术不懂，给他普及了web、爬虫、数据分析、机器学习、深度学习、图像识别都是怎么回事，后来他介绍他们的业务，我说属于图像识别领域，需要专门招聘懂图像识别算法的工程师，这家公司就不提了，招聘需求没搞清楚，我也白跑一趟3.2、数据分析算法工程师公司技术：机器学习+大数据技术总监面试，提到用Hive，我不懂，另外数据分析经验可能比较少，没通过3.3、生物系统开发工程师（offer）公司技术：django+docker+数据分析小公司，老板不太懂IT技术，平台已经搭建好，带admin后台，后期偏重更新维护，有新需求要做，主要用到django+数据分析，后期涉及Docker技术，可以边工作边学习，这个面试通过3.4、python全栈开发公司技术：django+前端小公司，上面只批准招1个人，进来需要前后端都做，之前的python团队全部离职，没人交接的烂尾项目，用的django框架，面试官是老乡，也是技术大牛，旁敲侧击跟我说不建议我来上班，他自己来不到一个月都打算离职了，这公司入职的话也能入职，说不定我入职了，他走了，后面我就是这个公司python面试官了3.5、爬虫+数据分析公司技术：爬虫+数据分析一个做java的面试官面试的，他就介绍了公司业务，主要是爬电商平台数据，技术问题一个没问，总监不在，他自己也不当家，留了简历信息就走了，应该没戏3.6、python开发公司技术：django+数据分析公司业务较多，项目也很多，20多个产品经理，偏重web开发，也有算法岗，技术--人事--CTO三轮面试，大部分问题比较常见，问到cerely、深浅拷贝、redis的使用等等，整体面试过程沟通都还好，与CTO电话面试沟通也还好，等结果中3.7、测试开发/服务器自动化开发公司技术：python+测试技术聊天过程还好，技术基本是测试方面的，如果去的话都是现学，相当于开发转测试，具体需要实现的是用python写脚本，程序来控制测试几百台手机，估计看出来我没打算做测试，后面走了没再约了3.8、web全栈开发（offer）公司技术：django+flask+bootstrap+echarts.js大公司，目前项目用django搭建的运维网站，后面要用flask搭建另外一个网站，需要我一个人来做，前后端都要搞，不过需求不会很复杂，主要是前端最终能展示一些图表之类的，前端用到的库主要是bootstrap、echarts.js，我说以前学习过flask，不过还不熟练，可能需要现学下，那边同意，面试通过3.9、python开发工程师公司技术：django+数据分析猎头介绍的，公司结构比较复杂，很多股东，上午两轮技术总监和人事总监都面了，面到12点，说可能还会有一个股东的技术老大再面下，等最后一轮面试3.10、web+数据分析公司技术：vue.js+tornado+数据分析+异步(前后端分离）初面技术问的很详细，这家公司做的项目十分类似我上家离职的公司的项目，都是做一个数据分析可视化的web网站，等待二面，需要做一个PPT，介绍自己觉得做的最好的项目，讲15分钟3.11、web+数据分析公司技术：vue.js+flask（前后端分离）项目总监熟悉python，而且很多项目以python为主要语言开发做的，不过预算不足，本来聊得还挺嗨，后来问了我期望薪资后，估计把他吓住了，直接说按我这期望的话他们这边成本太高，留了微信就走了。
Python 爬虫工程师面试经历
前段时间快要毕业，而我又不想找自己的老本行Java 开发，所以面了很多Python 爬虫岗位。
因为我在南京上学，所以我一开始只是在南京投了简历，我一共面试了十几家企业，其中只有一家没有给我发offer，其他企业都愿意给到10K 的薪资，不要拿南京的薪资水平和北上深的薪资水平比较，结合面试常问的问题类型说一说我的心得体会。
第一点：Python
因为面试的是Python 爬虫岗位，面试官大多数会考察面试者的基础的Python 知识，包括但不限于：
Python2.x 与Python3.x 的区别
Python 的装饰器
Python 的异步。
