下载文档原格式
八爪鱼爬虫原理详解大家都知道八爪鱼采集器可以抓取网页数据，云采集还可以有加速的效果，但是你知道八爪鱼的爬虫云加速的原理是什么吗？下面就跟随小八了解一下强大的云采集爬虫原理吧！对于旗舰版以上的用户，可以通过云采集实现多任务并发和单任务加速的采集效果，以便用户快速的收集整理互联网公开数据。
本教程主要讲八爪鱼爬虫云采集原理、规则加速设置。
一、云采集原理A.一个规则任务进行云采集最少占用一个云节点，最多可以占满所有云节点B.一个规则任务满足可拆分成子任务的情况下，最多拆成199个子任务C.一个子任务占用一个节点，子任务全部执行完成意味着任务完成D.一个规则任务拆成多个子任务分配到不同云节点就达到加速采集的效果E.如果云节点被占满，那么新启动的任务或被拆分的子任务会进入等待队列，直到用户某个云节点执行完用户的某个任务释放出节点资源，图 1 云采集运行中如图红线处任务分配到云节点，多任务并发采集数据，如图红框处，由于节点被占满，只能进入等待队列，等待某个云节点执行完成后释放资源。
二、云采集加速设置由云采集原理D可知，如果要一个任务加速采集的效果，那么这个任务要满足拆分条件或者将任务改成满足拆分条件的任务，这样才能达到单任务加速的效果。
满足拆分条件的任务分别为：A.URL列表循环B.文本列表循环C.固定元素列表循环1、URL列表循环、文本循环示例网址：/search/category/15/30对于非AJAX网站，以大众店铺为例，假设我要采集该网站所有分类下的店铺，那么我们可先采集分类的URL，然后做URL循环进行采集店铺信息，具体步骤如下：步骤1 ：以先将所有具体分类采集下来，如图2 采集点评分类URL图 2 采集点评分类URL小贴士采集完分类的URL后，我们就可以将这个URL作为URL循环进行数据提取，这样的话，通过八爪鱼自动拆分任务，就可以将不同的URL拆分成不同的子任务分配给不同的云节点进行数据采集，达到单任务加速的采集效果步骤2 ：通过步骤1的采集，将URL建立URL循环进行数据采集，具体如截图3 URL循环列表图3 URL循环列表采集步骤3：对比效果，如图4 本机采集和URL循环列表云采集采集效率对比图4 云采集采集速率小贴士云采集除了采集效率比本机采集高之外，还能节省用户自身电脑与网络资源，与本地采集消耗用户本地电脑资源和网络资源相比，云采集所用资源都是云节点资源，用户启动云采集后就可关闭客户端，八爪鱼会自动将数据整理汇总在八爪鱼客户端，用户只需要在数据提取到后，通过客户端查看或导出数据即可结语：URL循环的教程已经讲完，对于文本循环来说，原理和URL循环一致，通过对文本循环的拆分，达到单任务加速采集的效果，从而提升采集速率2、固定元素列表循环固定元素列表循环也是满足拆分条件的，需要的是固定元素列表循环点击配合一起使用，固定元素列表例如：图5 固定元素列表-点击元素但是下列情况是不会加快采集速率的，例如：图 6 固定元素列表-提取数据原因是因为固定元素列表-提取数据虽然可以拆分成子任务，但是因为提取同页面数据操作本身很快，所以几乎没有任务加速效果例如：子任务A：打开网页（20s）-提取位置a数据（0.1s）子任务B：打开网页（20s）-提取位置b数据（0.1s）子任务C：打开网页（20s）-提取位置c数据（0.1s）......子任务N：打开网页（20s）-提取位置n数据（0.1s）如上例，虽然拆分了任务但是实际任务执行时间还是约等于21秒左右，和不拆分任务的时间比较的如下：总任务S：打开网页（20s）提取位置a数据（0.1s）提取位置b数据（0.1s）提取位置c数据（0.1s）......提取位置n数据（0.1s）此时我们可以看到，不拆分的时间T=20+0.1*10=21S所以虽然此时我们用不固定元素拆分了任务，但是没有带来显著的提取数据效率的提升对于固定元素列表-点击元素就不一样了，因为点击元素往往都要打开详情页，例如：子任务A：打开网页（20s）-点击位置元素a（20s）-提取位置a数据（0.1s）子任务B：打开网页（20s）-点击位置元素b（20s）提取位置b数据（0.1s）子任务C：打开网页（20s）-点击位置元素c（20s）-提取位置c数据（0.1s）......子任务N：打开网页（20s）-点击位置元素n（20s）n--提取位置n数据（0.1s）由于是子任务是同时执行的，此时时间T=20+20+0.1=40.1S，约41秒左右固定元素列表-点击元素，不拆分任务时的时间比较如下：总任务S：打开网页（20s）点击位置元素a（20s）-提取位置a数据（0.1s）点击位置元素b（20s）-提取位置b数据（0.1s）点击位置元素c（20s）-提取位置c数据（0.1s）.....点击位置元素n（20s）-提取位置n数据（0.1s）此时我们可以看到，不拆分的时间T=20+(20+0.1)*n当n=10时，T=221S，与拆分的41S比较，耗时几乎是拆分的5倍 综上所述：满足拆分条件的任务分别为：A.URL列表循环B.文本列表循环C.固定元素列表循环相关采集教程：八爪鱼使用功能点视频教程/tutorial/videotutorial/videognd 八爪鱼爬虫软件入门准备/tutorial/xsksrm/rmzb八爪鱼数据爬取入门基础操作/tutorial/xsksrm/rmjccz八爪鱼网站抓取入门功能介绍/tutorial/xsksrm/rmgnjs八爪鱼爬虫软件功能使用教程/tutorial/gnd八爪鱼分页列表详细信息采集方法（7.0版本）八爪鱼·云采集服务平台/tutorial/fylbxq7八爪鱼7.0版本网页简易模式简介以及使用方法/tutorial/jyms八爪鱼7.0版本向导模式简介以及使用方法/tutorial/xdms八爪鱼——百万用户选择的网页数据采集器。
八爪鱼验证码登陆-控件识别方法（7.0版本）本文给大家演示登陆界面有验证码或者其他验证（如滑块验证）的网站通过八爪鱼控件识别进行数据采集的方式。
所讲示例采集数据网址为/login.aspx小贴士：通过八爪鱼的控件进行识别，这种方式如果需要自动识别，就需要购买验证码套餐，如果不购买也只能进行单机采集然后手动输入，注意这种方法只能是输入验证码的框才可以用这种方式。
步骤1 登陆八爪鱼7.0采集器→点击新建任务→自定义采集，进入到任务配置页面：然后输入网址→保存网址，系统会进入到流程设计页面并自动打开前面输入的网址。
验证码登陆-控件识别方法-图1：输入网址接下来步骤是输入用户名密码了，八爪鱼模拟的是人的操作行为，所以这一步过程也很简单步骤2 在浏览器中鼠标点击用户名输入框→在右边弹出的提示里面选择“输入文字”→输入自己的用户名→选择“确定”。
同样的方式输入密码，这样输入用户名密码的步骤就完成了。
验证码登陆-控件识别方法-图2：输入密码验证码登陆-控件识别方法-图3：输入密码这里八爪鱼采集器需要知道1.验证码图片在哪里2.输入框验证码的框在哪里步骤3 点击下方浏览器中验证码图片的位置→按照提示框中的提示选择浏览器中的验证码框→再按照提示框中的提示点击浏览器中的登陆按钮验证码登陆-控件识别方法-图4：点击验证码输入框验证码登陆-控件识别方法-图5：点击验证码图片位置、登录按钮接下来需要配置验证码输入失败和成功的两种场景步骤4 点击提示框中的确认按钮，系统会自动提交一个错误的验证码→然后点击浏览器中的“验证码不正确”提示→再点击提示框中的确认按钮→选择提示框中的“开始配置识别成功场景”→在提示框中输入显示出来的验证码→选择提示框中的“应用到网页并完成配置”选项 验证码登陆-控件识别方法-图6：点击确认按钮验证码登陆-控件识别方法-图7：配置验证码输入失败场景验证码登陆-控件识别方法-图8：配置验证码输入成功场景验证码登陆-控件识别方法-图9：配置验证码输入成功场景上述操作中验证码识别就完成了，接下来需要手动执行这个流程，任务会自动进去到登陆界面步骤5 点击“流程”按钮→进入到流程界面→手动点击流程步骤（可以看到浏览器中会按照会执行这些步骤）→点到识别验证码步骤时→在辅助模式选项中输入浏览器中当前显示的验证码→选择应用到网页并提交验证码登陆-控件识别方法-图10：辅助模式选项这样操作之后，可以看到任务就正常登陆进去了。
八爪鱼采集器如何使用？有哪些优缺点？八爪鱼采集器，是一款通用的网页数据采集器，可应对各种复杂的网页结构，简单快速地将网页数据转化为结构化数据，以excel、数据库、api等形式导出。
那么，八爪鱼采集器具有哪些优缺点，到底该如何使用呢？本文将具体讲述八爪鱼采集器的优缺点和使用方法。
要了解的信息很多，请大家耐心阅读。
一、八爪鱼采集器的优缺点优点：1、功能强大。
八爪鱼采集器是一款通用爬虫，可应对各种网页的复杂结构（瀑布流等）和防采集措施（登录、验证码、封IP），实现百分之九十九的网页数据抓取。
2、操作简单。
模拟人浏览网页的操作，通过输入文字、点击元素、选择操作项等一些简单操作，即可完成规则配置，无需编写代码，对没有技术背景的用户极为友好。
3、流程可视化。
真正意义上实现了操作流程可视化，用户可打开“流程”按钮，直接可见操作流程，并对每一步骤，进行高级选项的设置（ajax/修改xpath等）。
4、云采集。
数量庞大的企业云，24x7不间断运行，可定时采集、关机也可采集，同时支持任务拆分，可提高数据采集速度。
5、7.0版本推出的简易网页采集，内置主流网站大量数据源和已经写好的采集规则。
用户只需输入关键词，即可采集到大量所需数据。
缺点：1、自定义采集过程中，八爪鱼采集器系统自写的Xpath、自动生成的流程，可能无法满足数据采集需求。
对数据质量要求高，则需自写Xpath，调成流程图等，以优化规则。
2、使用自定义采集的同学，虽然八爪鱼操作简单，比较容易上手。
但是，仍需对八爪鱼采集原理有所了解，看完相关教程，循序渐进，方能成为采集大神。
成长周期较长。
二、八爪鱼采集器如何使用以下是一个比较系统的八爪鱼使用手册，主要包括两大部分：八爪鱼入门词汇介绍；八爪鱼基本流程教程。
大家可根据自身基础，选择不熟悉的部分，进行学习。
在看完八爪鱼使用手册后，即可进入八爪鱼使用阶段。
八爪鱼官网也有详细的操作教程可供参考。
操作教程也分为两大部分：功能点讲解+实战教程（网站采集实例）。
如何利用八爪鱼爬虫抓取数据听说很多做运营的同学都用八爪鱼采集器去抓取网络数据，最新视频，最热新闻等，但还是有人不了解八爪鱼爬虫工具是如何使用的。
所以本教程以百度视频为例，为大家演示如何采集到页面上的视频，方便工作使用。
常见场景：1、遇到需要采集视频时，可以采集视频的地址（URL），再使用网页视频下载器下载视频。
2、当视频链接在标签中，可切换标签进行采集。
3、当视频链接在标签中，也可采集源码后进行格式化数据。
操作示例：采集要求：采集百度视频上综艺往期视频示例网址：/show/list/area-内地+order-hot+pn-1+channel-tvshow操作步骤：1、新建自定义采集，输入网址后点击保存。
注：点击打开右上角流程按钮。
2、创建循环翻页，找到采集页面中下一页按钮，点击，执行“循环点击下一页”。
在流程中的点击翻页勾选Ajax加载数据，时间设置2-3秒。
3、创建循环点击列表。
点击第一张图片，选择“选中全部”（由于标签可能不同，会导致无法选中全部，可以继续点击没被选中的图片）继续选择循环点击每个元素4、进入详情页后，点击视频标题（从火狐中可以看到视频链接在A标签中，如图所示），所以需要手动更换到相应的A标签。
手动更换为A标签：更换为A标签后，选择“选中全部”，将所有视频标题选中，此时就可以采集视频链接地址。
5、所有操作设置完毕后，点击保存。
然后进行本地采集，查看采集结果。
6、采集完成后将URL导出，使用视频URL批量下载工具将视频下载出来就完成了。
相关采集教程：公告信息抓取/tutorial/hottutorial/qita/gonggao网站源码抓取/tutorial/hottutorial/qita/qitaleixing网页抓取工具新手入门/tutorial/xsksrm八爪鱼网站抓取入门功能介绍/tutorial/xsksrm/rmgnjsajax网页数据抓取/tutorial/gnd/ajaxlabel模拟登录并识别验证码抓取数据/tutorial/gnd/dlyzmxpath抓取网页文字/tutorial/gnd/xpath八爪鱼抓取AJAX滚动页面爬虫教程/tutorial/ajgd_7网页采集提取数据教程，以自定义抓取方式为例/tutorial/zdytq_7八爪鱼——90万用户选择的网页数据采集器。
贴吧采集器使用教程本文介绍使用八爪鱼采集器采集百度贴吧帖子内容的方法。
在这里仅仅以其中一个帖子举例说明：旅行贴吧的某个帖子（【集中贴】2018年1、2月出发寻同行的请进来登记）采集内容包括：贴吧帖子内容，贴吧用户昵称使用功能点：●创建循环翻页●修改Xpath步骤1：创建百度贴吧帖子内容采集任务1）进入主界面，选择“自定义采集”2）将要采集的网站URL复制粘贴到输入框中，点击“保存网址”步骤2：创建循环翻页1）网页打开以后，鼠标下拉到最底部，选择下一页，提示框中选择“循环点击下一页”2)鼠标选中帖子的回复，在右面的提示框中选择“选中全部”2）如果要采集贴吧的其他信息，也可以选择，这里选择的是贴吧昵称，贴吧昵称。
接着选择“采集元素”，把不必要的字段删除。
步骤3：修改XPATH1）保存采集后发现有些帖子内容没有正确采集，所以需要修改XPATH，打开右上角的流程按钮2）点击循环选项，“循环方式”选择“不固定元素列表”，“不固定元素列表”XPATH：//div[@class="l_post j_l_post l_post_bright "]。
填入2)点击“提取数据”，修改贴吧帖子内容XPATH。
选中帖子内容字段，依次点击“自定义数据字段”->“自定义元素定位方式”，并设置：元素匹配的XPATH://div[@class="l_post j_l_post l_post_bright "]//div[@class="d_post_content j_d_post_content clearfix"]相对XPATH：//div[@class="d_post_content j_d_post_content clearfix"]选中帖子内容字段自定义数据字段位置帖子内容字段数据提取xpath设置3) 修改贴吧用户昵称XPATH 。
最全的八爪鱼循环提取网页数据方法在八爪鱼中，创建循环列表有两种方式，适用于列表信息采集、列表及详情页采集，是由八爪鱼自动创建的。
当手动创建的循环不能满足需求的时候，则需要我们手动创建或者修改循环，以满足更多的数据采集需求。
循环的高级选项中，有5大循环方式：URL循环、文本循环、单个元素循环、固定元素列表循环和不固定元素列表循环。
一、URL循环适用情况：在多个同类型的网页中，网页结构和要采集的字段相同。
示例网址：https:///subject/26387939/https:///subject/6311303/https:///subject/1578714/https:///subject/26718838/https:///subject/25937854/https:///subject/26743573/ 操作演示：具体请看此教程：/tutorialdetail-1/urlxh_7.html二、文本循环适用情况：在搜索框中循环输入关键词，采集关键词搜索结果的信息。
实现方式：通过文本循环方式，实现循环输入关键词，采集关键词搜索结果。
示例网址：https:///操作演示：具体请看此教程：/tutorialdetail-1/wbxh_7.html注意事项：有的网页，点击搜索按钮后，页面会发生变化，只能采集到第一个关键词的数据，则打开网页步骤需放在文本循环内。
例：https:///如图，如果将打开网页步骤，放在循环外，则只能提取到第一个关键词的搜索结果文本，不能提取到第二个关键词的搜索结果文本，文本循环流程不能正常执行。
经过调整，将打开网页步骤，放到循环内，则可以提取到两个关键词的搜索结果文本，文本循环流程可正常执行。
具体情况此教程：：/tutorialdetail-1/urlxh_7.html三、单个元素循环适用情况：需循环点击页面内的某个按钮。
例如：循环点击下一页按钮进行翻页。
实现方式：通过单个元素循环方式，达到循环点击下一页按钮进行翻页目的。
八爪鱼采集器流程步骤高级选项说明1、打开网页该步骤根据设定的网址打开网页，一般为网页采集流程的第一个步骤，用来打开指定的网站或者网页。
如果有多个类似的网址需要分别打开执行同样的采集流程，则应该放置在循环的内部，并作为第一个子步骤1）页面URL页面URL，一般可以从网页浏览器地址栏中复制得到，如：/ 2）操作名自定义操作名3）超时在网页加载完成前等待的最大时间。
如果网页打开缓慢，或者长时间无法打开，则流程最多等待超时指定的时间，之后无论网页是否加载完成，都直接执行下一步骤。
应尽量避免设置过长的超时时间，因为这会影响采集速度4）阻止弹出用以屏蔽网页弹窗广告，如果打开的网页偶尔会变成另外一个广告页面，则可以使用本选项阻止广告页面弹出5）使用循环配合循环步骤来使用，用以重复打开多个类似的网页，然后执行同样的一套流程，循环打开网页时，应为作为循环步骤的第一个子步骤。
如果勾选此项，则无需手动设置网页地址，网页地址会自动显示循环设定的网址列表的当前循环项6）滚动页面个别网页在打开网页后并没有显示所有数据，需要滚动鼠标滚轮或者拖动页面滚动条到底部，才会加载没有显示的数据，使用此选项在页面加载完成后向下滚动，滚动方式有向下滚动一屏和直接滚动到底部两种7）清理缓存在八爪鱼中，如果需要切换账号，可使用清理浏览器缓存，重新设置其他账号8）自定义cookiecookie指某些网站为了辨别用户身份、进行session 跟踪而储存在用户本地终端上的数据（通常经过加密）。
在八爪鱼中，可以通过做一次预登录获取页面cookie，通过勾选打开网页时使用指定cookie获取登陆后的cookie，从而记住登录状态。
获取的当前页面cookie，可以通过点击查看cookie9）重试如果网页没有按照成功打开预期页面，例如显示服务器错误（500），访问频率太快等，或者跳转到其他正常执行不应该出现的页面，可以使用本选项进行重试，但必须配合以下几个重试参数执行，请注意以下几种判断的情况任意一种出现都会导致重试①当前网页的网址/文本/xpath，包含/不包含如果当前页面网址/文本/xpath总是出现/不出现某个特殊内容，则使用此选项可以判断有没有打开预期页面，需要重试②最大重试次数为了避免无限制重复尝试，请使用本选项限制最大重复尝试的次数，如果重试到达最大允许的次数，任然没有成功，则流程将停止重试，继续执行下一步骤③时间间隔在两次重试之间等待的时间，一般情况下，当打开网页出错时，立即重试很有可能是同样的错误，适当等待则可能成功打开预期网页，但应该尽量避免设置过长的等待时间，因为这会影响采集速度2、点击元素该步骤对网页上指定的元素执行鼠标左键单击动作，比如点击按钮，点击超链接等1）操作名自定义操作名2）执行前等待对此步骤设置执行前等待，即等待设置的时间后，再进行此步骤3）或者出现元素或者出现元素，配合执行前等待使用，在其中输入元素的xpath可以在出现该元素的时候结束执行前的等待。
xpath入门学习（以提取网页中公司名和地址为例）本文用来讲解xpath的入门基础，适合对八爪鱼已经有一些基础的用户来学习。
文中示例地址为：/qiye2309554//qiye2275810/提取两个网页中的公司名称和地址字段。
Xml和Html之间既有相似之处，又有很大区别。
Xml包含数据和对数据的描述，主要用来交换数据。
Html也包含了数据和对数据的描述，但只是针对描述网页这种用途，Html结构看起来和Xml类似，但并不严格遵循Xml标准，可以看做不标准的Xml。
Xpath是专门针对Xml设计的，在复杂结构化数据中查找信息的语言，而我们的网页实质上是Html的文档，那如何对网页执行Xpath查询呢？八爪鱼采集器内部有一套针对Html 的Xpath引擎，使得直接用Xpath就能精准的查找定位网页里面的数据。
给大家介绍一个类似的工具，就是火狐浏览器里面firebug和firepath插件。
首先在电脑上先安装火狐浏览器，然后打开火狐浏览器右上角的打开菜单按钮，选择添加组件。
Xpath入门1-图1：附件组件在弹出的对话框中搜索firebug组件，搜索出来之后选择安装。
Xpath入门1-图2：安装firebug安装成功之后同样的方式搜索firepath进行安装。
小贴士：安装成功之后，浏览器需要重启一下才能完全安装成功。
重新打开浏览器中，可以看到多了一个昆虫按钮，代表安装成功。
在浏览器中打开一个网页，再点击浏览器中的firebug按钮，就弹出了可以用xpath的firepath工具。
Xpath入门1-图3：firepath工具按照下面的操作可以找到数据的精确位置。
点击firepath工具中“查看页面中的元素”按钮→选择网页中要提取的字段→可以看到firepath工具中显示出了xpath路径 Xpath入门1-图4：“查看页面中的元素”按钮Xpath入门1-图5：字段与其对应的xpath路径这种定位方式在八爪鱼采集器里面也是通用的，例如：步骤1 点击新建任务→自定义采集，进入到任务配置页面：然后输入要采集的两个网址→保存网址，系统会进入到流程设计页面并自动打开前面输入的网址。
使用八爪鱼采集器采集大众点评商家数据本文介绍采集使用八爪鱼7.0采集大众点评商家的方法采集网站：https:///search/category/7/0使用功能点：网页列表内容提取相关采集教程：美团商家信息采集黄页88数据采集赶集招聘信息采集步骤1：创建采集任务1）进入主界面选择，选择自定义模式使用八爪鱼采集器采集大众点评商家数据图12）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”3）保存网址后，页面将在八爪鱼采集器中打开，红色方框中的列表就是我们需要采集的信息使用八爪鱼采集器采集大众点评商家数据图3步骤2：创建翻页循环找到翻页按钮，设置翻页循环1）将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，选择“循环点击下一页”使用八爪鱼采集器采集大众点评商家数据图4步骤3：商家信息采集●选中需要采集的字段信息，创建采集列表●编辑采集字段名称1）如图，移动鼠标选中列表中商家的名称，右键点击，需采集的内容会变成绿色使用八爪鱼采集器采集大众点评商家数据图5注意：点击右上角的“流程”按钮，即可展现出可视化流程图。
2）移动鼠标选中红色方框里任意文本字段后，列表中所有适配内容会变成绿色，在右侧操作提示框中，查看提取的字段，可以将不需要的字段删除，然后点击“选中全部”使用八爪鱼采集器采集大众点评商家数据图6注意：鼠标放在该字段上会出现一个删除标识，点击即可删除该字段。
使用八爪鱼采集器采集大众点评商家数据图7 3）点击“采集以下数据”使用八爪鱼采集器采集大众点评商家数据图84）修改采集字段名称使用八爪鱼采集器采集大众点评商家数据图95）点击下方红色方框中的“保存并开始采集”使用八爪鱼采集器采集大众点评商家数据图106）根据采集的情况选择合适的采集方式，这里选择“启动本地采集”使用八爪鱼采集器采集大众点评商家数据图111）采集完成后，会跳出提示，选择导出数据使用八爪鱼采集器采集大众点评商家数据图122）选择合适的导出方式，将采集好的数据导出使用八爪鱼采集器采集大众点评商家数据图13八爪鱼——70万用户选择的网页数据采集器。
