下载文档原格式
以采集示例详解部分功能今天要给大家做示例的网站是163的娱乐频道这个应该是个比较通用和实用的规则，下面开始。
如果您是火车采集器的老手，那么您可以参考下，因为我要讲解的会有违传统的思维；如我您是新手那么您最好能仔细看下，因为这将加快您的入门，同时在以后给您节省很多时间。
以下是一些采集的基本步骤，您可以灵活运用：一、建立站点1、请先打开火车采集器，新建站点，看下图：为了方便管理您可以为您的站点取任何的您觉得易记的名称，但是我建议用目标源的名字作为站点的名称有利于日后的管理，如下图大部分的站点，通站往往只有一套模版或者有几套类似的模版，这边所谓的类似讲的是模版中的标记很接近，那什么是模版标记？模版标记指的是某部分内容开始和结束记号。
比如很多正规的网站（通常是一些站点比较大，内容比较多的网站，比如sina、163等）会在内容开始的部分用类似于或等标志来表示内容的开始。
他们这么作的原因有两个，一个是由于内容多，为了各个部门之间的配合而作了对应的标记以便于工程的交接，另一个原因就是内容控制的需要，随着xhtml 的流行，用层控制越来越多，这就使得我们寻找采集标示越来越简单（这点你们以后会慢慢理解的）。
上面给各位讲这些是因为接下来要我们要讲解的是整站内容规则。
2、标题标签讲解。
对应的页面在这：/06/1029/11/2UJNHOS3000322EL.html首先从“站点基本信息”切换到“整站内容规则”，然后把要采集的内容页面的网址拷贝到“典型页面”接着点击“测试”读取源码。
先从标题标签开始，我们发现按默认标签采集回来的标题多了“_网易娱乐”，请双击标题标签或者选种标题标签在点击修改，把“_网易娱乐”添加到排除内容框里，标题标签完成。
如图：3、内容标签讲解。
制作采集规则（任务）的任何一个标签最重要的就在于寻找开始也结束的标志。
目前大部分的采集器要求开始和结束的标志必须是整个源代码的唯一标志，也就是所有的html源码里只能找到一个开始或结束的标志。
火车头采集教程火车头采集基本流程：系统设置→新建站点→新建任务→采集网址→采集内容→发布内容→抓数据。
1.新建站点：据你自己的需求为任务建立统一的站点，以方便管理。
点击菜单上：站点→新建站点打开如下图：可以填写站点名，站点地址，网址深度（0，代表根据地址直接采内容。
1，代表根据地址采内容地址，然后根据内容地址采内容。
2，代表根据地址采列表地址，然后根据列表地址采内容地址，再根据内容地址采内容。
），站点描述。
2.新建任务：任务是采集器采集数据时的基本工作单元，它一定是建立在站点中的。
采集器通过运行任务来采集发布数据。
任务工作的步骤总体可以分为三步：采网址，采内容，发内容。
一个任务的运行可以任意选择哪几步。
而采集器又可以同时运行多个任务（默认设置是同时最多运行3个任务）。
选择站点点击右键选择“从该站点新建任务”。
任务的编辑界面如图：采集器的使用最主要的就是对任务的设置。
而采集数据可以分为两步，第一步是：采网址，第二步：采内容。
3.采集网址：采网址，就是从列表页中提取出内容页的地址。
从页面自动分析得到地址连接：以/sbzhz/index_2.html页面为例。
我们来采集这个网址上的书信息。
这个页面中有很多书信息的链接,要采集每个链接中书内容.首先需要将每个书信息的链接地址抓取到也就是抓取内容页的地址。
先将该列表页地址添加到采集器里。
点击“<<向导添加”后弹出“添加开始采集地址”对话框。
我们选择“单条网址”如图：如果我们选择“批量/多页”，如图：可用通配符：（*）可以代替页码变化时的地址之间的差异。
数字变化可以设置你要爬取该列表页多少页。
间隔倍数可以数字页码变化的倍数。
你也可以设置字母变化。
设置完之后点击添加按钮把列表地址添加到下框中，点击完成即可完成列表地址设置。
你也可以选择文本导入和正则提取在这里就不一一讲了，因为这二种基本用的很少。
手动填写连接地址规则是将需要的网址用参数来获得并组合成我们需要的网址。
火车头erphpdown采集规则-概述说明以及解释1.引言1.1 概述概述部分：火车头erphpdown是一款功能强大的采集工具，它可以帮助用户快速、高效地采集互联网上的各种数据。
随着互联网的迅速发展，各种信息在网上不断涌现，因此在信息获取方面的需求越来越高。
火车头erphpdown通过自定义采集规则的方式，可以针对不同的网站和数据源进行采集，将所需的数据提取出来，方便用户进行分析和利用。
本文将围绕火车头erphpdown采集规则展开讨论。
首先，将介绍火车头erphpdown采集规则的背景，包括其诞生的背景和发展的历程，为读者提供一个全面的了解。
然后，将详细介绍火车头erphpdown采集规则的定义，包括其基本组成和结构，以及常用的采集规则示例。
接着，将介绍火车头erphpdown采集规则的使用方法，包括如何创建和编辑采集规则，以及如何应对不同的采集需求。
最后，将通过一些实际案例来展示火车头erphpdown采集规则的应用，以帮助读者更好地理解和掌握其使用技巧。
相对于其他采集工具，火车头erphpdown采集规则具有一些独特的优势。
首先，它具有较强的灵活性，用户可以自定义采集规则，满足特定的采集需求。
其次，火车头erphpdown采集规则具有强大的数据提取能力，可以将所需的数据从杂乱的页面中提取出来，并进行整理和清洗。
此外，火车头erphpdown采集规则还支持多线程，能够提高采集效率。
当然，火车头erphpdown采集规则也存在一些局限性。
由于采集规则的制定需要具备一定的编程知识和技巧，对于一些非专业用户来说可能较为困难。
另外，由于互联网内容的多样性和变化性，火车头erphpdown 的采集能力可能在某些情况下受到限制。
然而，随着互联网的不断发展，火车头erphpdown采集规则的发展前景仍然值得期待。
随着技术的不断创新和完善，火车头erphpdown有望在采集规则的功能和性能方面继续提升，为用户提供更多更好的采集体验。
火车头采集教程1.基本概念：a)采集：就是对页面上有用的信息进行抽取并下载的过程。
b)列表页：有大量内容页面链接的页面，如下：c)内容页：由列表页点击进去的页面，也是真正需要采集的页面，如下：内容页抽取的过程实质上也就是在源代码中找到需要的内容的开始和结束的字符串，系统进行自动匹配的过程，比如上图中”王宝强携….” 这个标题，在源代码中的格式是这样的因此，只需要把上图中的开始和结束字符串拷贝到软件中就可以了（详情见下）2.基本步骤：a)确定需要采集的网站b)观察网站结构，找到列表页，做以下工作i.观察列表页中需要的内容页的链接样式ii.观察列表页第一页、第二页等等的链接样式。
c)对内容页进行模板编写d)开始采集任务。
3.详细实例：下面通过一个具体的例子来具体讲解火车头采集器的工作过程这个例子尝试抓取/NewsList-Front.aspx 这个页面的前5页的内容a)打开程序打开后如下图：b)在站点任务列表树那里右键-》新建站点类似下图c)主界面中出现的标签，在这个标签上右键选择新建站点，如下：出图如下：点击向导添加，对列表页的链接地址进行描述，弹出窗口如下：为了确定在这里填写什么，我们先到需要抓取的列表看看，也就是/NewsList-Front.aspx然后鼠标在页面上浮动，观察它的链接样式，如下图第一页第二页看到这里，我们可以发现，这里的列表页的规则是/NewsList-Front.aspx?page=0/NewsList-Front.aspx?page=1…即：链接前面是不变的，只有后面的页码改变，因此现在我们可以知道上面的表单怎么填了，如下图：这里的(*)代表通配符，系统会自动按照你的规则对这个字符进行替换。
比如，现在的规则是数字变化从0到4，间隔为1，因此，系统自动生成了如预览中的列表样式出来了。
预览中的链接样式确定没有问题后，点击添加。
然后点击完成。
d)现在又回到了这个页现在来观察我们需要的列表中的链接的样式，如下图：从上面我们可以看到，所有的新闻的链接都类似于：/files/2011/10/21/285866.shtml这个链接中/files/这个部分是不变的，后面的可能会根据年月日，标签而改变，还记得我们之前讲的(*)的作用么，没错，这里我们可以这样描述它：/files/(*)/(*)/(*)/(*).shtml把这个填到上图中的文章内容页面的地址比如包含中去吧你一定注意到了，这个表单还有个页面内选定区域采集网址应该怎么填呢。
关于火车头使用方法目录目录 (2)一、原理描述 (3)1.火车采集器数据抓取原理： (3)2.火车采集器数据发布原理： (3)3.火车采集器工作流程： (3)二、术语解释 (4)三、下载地址 (5)四、安装升级与卸载 (6)五、操作步骤 (7)一、原理描述1.火车采集器数据抓取原理：火车采集器如何去抓取数据，取决于您的规则。
您要获取一个栏目的网页里的所有内容，需要先将这个网页的网址采下来，这就是采网址。
程序按您的规则抓取列表页面，从中分析出网址，然后再去抓取获得网址的网页里的内容。
再根据您的采集规则，对下载到的网页分析，将标题内容等信息分离开来并保存下来。
如果您选择了下载图片等网络资源，程序会对采集到的数据进行分析，找出图片，资源等的下载地址并下载到本地。
2.火车采集器数据发布原理：在我们将数据采集下来后数据默认是保存在本地的，我们可以使用以下几种方式对数据进行处理。
1、不做任何处理。
因为数据本身是保存在数据库的（access、db3、mysql、sqlserver），您如果只是查看数据，直接用相关软件打开查看即可。
2、Web发布到网站。
程序会模仿浏览器向您的网站发送数据，可以实现您手工发布的效果。
3、直接入数据库。
您只需写几个SQL语句，程序会将数据按您的SQL语句导入到数据库中。
4、保存为本地文件。
程序会读取数据库里的数据，按一定格式保存为本地sql或是文本文件。
3.火车采集器工作流程：火车采集器采集数据是分成两个步骤的，一是采集数据，二是发布数据。
这两个过程是可以分开的。
1、采集数据，这个包括采集网址，采集内容。
这个过程是获得数据的过程。
我们做规则，在采的过程中也算是对内容做了处理。
2、发布内容就是将数据发布到自己的论坛，CMS的过程，也是实现数据为已有的过程。
可以用WEB在线发布，数据库入库或存为本地文件。
具体的使用其实是很灵活的，可以根据实际来决定。
比如我可以采集时先采集不发布，有时间了再发布，或是同时采集发布，或是先做发布配置，也可以在采集完了再添加发布配置。
首先打开火车头程序，在此之前，确认电脑已经安装.Netframework2.0点击新建---》分组输入分组名称然后保存选中你刚才新建的分组，鼠标右键，新建任务点击添加，然后选中多页打开这个界面后，需要注意下面几个地方第一个是要输入你需要采集的文章列表页。
以/slgxbyun/slgzl_slgzlby_2.html为例子，可以看下，点击网页的上一页和下一页，可以看出/slgxbyun/slgzl_slgzlby_3.html页面变化的是最后的一个数字，这个数字可以用界面里的通配符（*）代替。
把通配符给放上去以后，软件就会自动获取需要采集的网页了。
可以注意下，在等差数列有几个参数：首页、项数、公差。
首页就是文章列表页的开始页码，例子里开始的数值是1，所以这里不动他。
项数是你想采集多少页的量。
如果你想采集2页，那这个项数就是2。
公差就是每页之间的变动量，就是刚才说的，上一页，下一页，之间的变动量，例子里的变动是1，这里也就不动了。
然后选择其中的一个列表页，点击添加，完成。
现在已经获取到了列表页的内容，下面需要设置要采集的内容。
点击添加然后需要设置2个部分，一个是采集的开头，一个是采集的结束这个需要到我们一开始实例的网址页面去找。
找列表页的开始部分和结束部分。
在页面里鼠标右键，查看源代码。
然后我们看一下，我们需要采集的内容只是这一段代码然后我们就需要告诉采集器，我们要采集的是这些东西。
所以就要设置一个开始，和一个结束。
我们一定要注意，这个开始部分的代码和结束部分的代码，一定是要这个源代码里唯一的，这样才能让采集器正确的采集到我们想要采集的内容。
所以要把这2段代码分别放在开始部分和结束部分里。
然后点击保存。
然后回到这个界面，你可以点击，测试网址采集，查看你刚才是不是采集到了这些列表内的文章。
如下图所示。
然后随便选中一条内容页的链接。
双击，进入第二步，内容页的采集部分。
在这里需要注意2个地方，一个是标题的采集，一个是内容的采集。
⽕车头采集器采集⽂章使⽤教程实例任务：采集某⼀个指定页⾯的⽂章包括（标题、图⽚、描述、内容）导⼊到⾃⼰⽹站数据库对应栏⽬（栏⽬id为57），数据库字段分别（title,thumb,descrption,content）。
页⾯⾥⾯第⼀张图作为⽂章缩略图，这边⼀个获取缩略图名称并添加上对应⽹站路径放⼊数据库thumb字段，另⼀个是下载下本地，统⼀上传到指定⽂件夹，（当然看软件可以直接ftp，⽬前还没弄，后期弄了会补充）1、新建分组--新建任务2、添加⽹址+ 编辑获取⽹址的规则选择范围在 ul ⾥⾯的 li ⾥⾯的链接，注意排除重复地址，可以点击下⾯测试⽹址采集获取。
可以看到有采集到的⽂章链接了。
3、采集内容规则我这边需要采集下⾯图上展⽰数据（catid是栏⽬id，可以将采集到的数据放⼊对应栏⽬，设置固定值就好）着重说下内容和图⽚的采集，标题和描述同理内容采集内容采集：打开⼀个采集的⽂章页⾯，查看源代码（禁了右键的f11 或者在⽹址前⾯加上 view-source: ⼀样可以查看）：选中⽂章开头⼀个位置，截取⼀段在ctrl+f 搜下是否唯⼀⼀段，若是就可以放在位置下图1处，结尾同开头⼀样。
我截取内容不想⾥⾯还带有链接图⽚可以数据处理，添加--html标签排除--选好确定--确定还有需要下载页⾯图⽚，勾选和填写下⾯选项图⽚采集：（1）选中范围和内容⼀样（⽂章内图⽚）（2）数据处理选提取第⼀张图⽚内容是：/2017/33/aa.jpg（3）只要aa.jpg,正则过滤 ，获取内容：aa.jpg （4）数据库存储有前缀，添加上， upload/xxxxx/找⼀个页⾯测试⼀下，可以看到对应项⽬都获取到了。
4、发布内容设置，这⾥以⽅式三发布到数据库为例⼦，编辑后回到这边勾选刚定义的模块就好：5、我需要保存图⽚到本地，要设置下保存⽂件的路径（ftp后续会试着使⽤）。
6、保存，查看刚新建的任务，右键开始任务运⾏，这边就可以看到⽂字和图⽚都下载下来了，数据库⾥⾯也可以看到了。
