火车采集器html简单示范完整版

火车头采集器发布设置，要更好的使用火车头采集器软件，必须需要有基本的HTML基础,能看得懂网页源码,网页结构。

同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。

当然对HTML和数据库不是很了解可以使用采集发布软件吗？当然不是，我们可以使用更简单的免费采集发布软件各大网站发布详细如下图各大网站自动发布：无须花费大量时间学习软件操作，一分钟即可实现自动采集→内容处理→发布到网站。

提供全自动系统化管理网站，无须人工干涉，设定任务自动执行，一个人维护成百上千网站也不是问题。

1、CMS发布：目前是市面上唯一同时支持帝国、易优、ZBLOG、织梦、WordPress、苹果CMS、人人CMS、米拓CMS、云优CMS、小旋风站群蜘蛛池、Thinkcmf、PHPCMS、Pboot、Fadmin、Destoon、海洋CMS、极致CMS、Emlog、Emlogpro、Typecho、TWCMS、WordPress社区版本、迅睿CMS、WXYCM、DZ论坛等各大CMS，并且可同时批量管理并发布的工具2、对应栏目：相应文章可发布对应栏目（支持多栏目随机发布文章）3、定时发布：可控制发布间隔/单日总发布数量4、监控数据：软件上直接监控已发布、待发布、是否伪原创、发布状态、网址、程序、发布时间、全网搜索引擎推送收录等指定网站采集：任意网站的数据都可以抓取，所见即所得的操作方式，只要点点鼠标就能轻松获得自己想要的数据，支持多任务同时采集！输入关键词采集文章：同时创建多个采集任务（一个任务可支持上传1000个关键词，软件同时还配备了关键词挖掘功能）监控采集: 能够定时的对目标网站进行采集，频率可以选择10分钟、20分钟、根据用户需求自定义设置监控采集（自动过滤重复，监控新增文章）。

标题处理设置: 根据标题或关键词自动生成标题（不管是双标题还是三标题都可以自由生成，间隔符号自定义填写，自建标题库生成，自媒体标题党生成，标题替换等等）图片处理设置：图片加标题水印/图片加关键词水印/自定义图片水印/自定义图片库替换。

以采集示例详解部分功能今天要给大家做示例的网站是163的娱乐频道这个应该是个比较通用和实用的规则，下面开始。

如果您是火车采集器的老手，那么您可以参考下，因为我要讲解的会有违传统的思维；如我您是新手那么您最好能仔细看下，因为这将加快您的入门，同时在以后给您节省很多时间。

以下是一些采集的基本步骤，您可以灵活运用：一、建立站点1、请先打开火车采集器，新建站点，看下图：为了方便管理您可以为您的站点取任何的您觉得易记的名称，但是我建议用目标源的名字作为站点的名称有利于日后的管理，如下图大部分的站点，通站往往只有一套模版或者有几套类似的模版，这边所谓的类似讲的是模版中的标记很接近，那什么是模版标记？模版标记指的是某部分内容开始和结束记号。

比如很多正规的网站（通常是一些站点比较大，内容比较多的网站，比如sina、163等）会在内容开始的部分用类似于或等标志来表示内容的开始。

他们这么作的原因有两个，一个是由于内容多，为了各个部门之间的配合而作了对应的标记以便于工程的交接，另一个原因就是内容控制的需要，随着xhtml 的流行，用层控制越来越多，这就使得我们寻找采集标示越来越简单（这点你们以后会慢慢理解的）。

上面给各位讲这些是因为接下来要我们要讲解的是整站内容规则。

2、标题标签讲解。

对应的页面在这：/06/1029/11/2UJNHOS3000322EL.html首先从“站点基本信息”切换到“整站内容规则”，然后把要采集的内容页面的网址拷贝到“典型页面”接着点击“测试”读取源码。

先从标题标签开始，我们发现按默认标签采集回来的标题多了“_网易娱乐”，请双击标题标签或者选种标题标签在点击修改，把“_网易娱乐”添加到排除内容框里，标题标签完成。

如图：3、内容标签讲解。

制作采集规则（任务）的任何一个标签最重要的就在于寻找开始也结束的标志。

目前大部分的采集器要求开始和结束的标志必须是整个源代码的唯一标志，也就是所有的html源码里只能找到一个开始或结束的标志。

火车采集器采集无锡新传媒网站新闻实例如果网页显示不清楚,欢迎来到我
的百度空间查看 /emperra
2009-11-30 17:05
直接上图片,自己看.做好的是这样的.至于说第二个采集网址不清楚是什么意思,你可以自己看一下这个网站的结构,它是index.html index_1.html index_2.html...看到这里,应该能清楚了吧,迅雷里有这个功能,就是批量增加任务,这个网站的写法是这样的/index_(*).html所以
这里也有个
这样写,就出现第一个图片的效果了,然后测试一下是否能取得我们要采集的页面.这个内容比较多,我就不演示图片了
又到了第二步...其实这个东西很简单,你了解了他的规则就好了,今天我写一个网站的实例,如果你理解了他的采集方法,基本上现有的各大网站你都可以采集的到.
标题
内容
内容过滤
作者时间出处不做贴图.请自行修改.。

火车采集器采集说明1 首先，如果你的电脑没有Microsoft_DotNetFXCHS这个软件，先安装文件夹里，然后打开2、打开软件，进入采集页面3 、在站点任务列表空白处右击“新建站点”，进入任务栏，站点名随便写，其他的不用填，点确定就可以了4 、单击选中站点，右击“从该站点新建任务”，进入任务栏，如任务名“优美散文”5、单击“向导添加”，进入采集地址6、地址栏，从采集页面第二页，网址复制，可能图看不清，网址，记住把数字标记为同样，选中数字，然后点(*)，变成(*).html，如果想采集多的数字变化从1到你采集的页面，然后点击“添加”按钮，出现这个页面，点击完成就可以了。

7、在输入随便一篇采集文章的网址，选中数字，点击(*)按钮，变成8、这个页面的需要文章列表源代码，右击选择产看“网页源代码”9、最重要的，代码不能出错，再次强调文章列表的源代码，进入到源代码，找到文章列表开始处的靠近的源代码，如选中一段代码，复制，然后按Ctrl+f 键，输入框粘贴，看选中的源代码是否是第1条，记住，所选源代码必须是第一条(我用的是谷歌浏览器，显示的是0，其他的浏览器只要是第一条即可)，确定所选是第一条源代码，就输入，结束代码和开始代码一样，文章列表结束处找代码10、上述第一步，结束之后，第二步采集内容规则所选标签随自己选择，不需要的可以删。

11、单击打开“内容”标签，随便打开文章页，右击“查看源代码”，和上述文章列表开始和结束的源代码一样，必须是第一条12、自定义数据里面除了段落、换行<br>、换行Tab\r\n\t三个不要，如图，单击确定。

13、单击第三步:发布内容设置在方式二:保存为本地文件，启用前打钩，保存格式为.Txt，保存位置自定义，保存位置设置好以后，单击保存按钮14、打开站点，选中任务，右击开始任务采集，这样就可以了。

第15页，共31页。
四、采集内容
双击上图窗口中的“标题”标签，將“源代码”中对应的标题符段中，点击确定，标题标签设置完成。
第16页，共31页。
四、采集内容
第二、资讯内容
查看本页面“源文件”，找到文章内容部分。如下图：
第17页，共31页。
四、采集内容
第30页，共31页。
五、发布内容
12、在配置名中输入要采集的栏目名称，点击保存配置。
13、设置完成后点击保存。 发布内容部分结束
第31页，共31页。
1、双击上图窗口中的“资讯内容”标签，將“源代码”中对应的资讯内容开始代码和结 束代码分别输入到开始字符段和结束字符段中。 2、勾选“HTML标签排除”中的“链接”、“层”、“Span”、“图象”、“脚本”选项。
3、选择“内容排除”中的添加项，將资讯内容代码中的无用代码和文本添加在此选项中，过滤 废物信息。 4、点击确定，资讯内容标签设置完成。
將“源代码”中对应的关键词开始代码和结束代码分别输入到开始字符段和结束字符段中，点击
确定，信息关键词和meta关键词标签设置完成。
注释：有些文章关键词部分设有大量广告语或与本文无关的内容，这样的文章关键词我们不给予采集。可以将 标题的采集方法复制到关键词采集中。
第24页，共31页。
四、采集内容
第五、责任编辑
第一、标题
查看本页面“源文件”搜索title代码，找到文章内容部分。如下图：
注释：一般情况下检索<title></title>都可以采集到我们需要的标题标签，但由于这篇文章此代码中
设计到其他网站logo及列表分类不确定信息，所以选择
<div id=“title”><h1></h1>中内容来代替。如果没有合适字段，可利用“内容排除”选项进行筛选。

首先打开火车头程序，在此之前，确认电脑已经安装.Netframework2.0点击新建---》分组输入分组名称然后保存选中你刚才新建的分组，鼠标右键，新建任务点击添加，然后选中多页打开这个界面后，需要注意下面几个地方第一个是要输入你需要采集的文章列表页。

以/slgxbyun/slgzl_slgzlby_2.html为例子，可以看下，点击网页的上一页和下一页，可以看出/slgxbyun/slgzl_slgzlby_3.html页面变化的是最后的一个数字，这个数字可以用界面里的通配符（*）代替。

把通配符给放上去以后，软件就会自动获取需要采集的网页了。

可以注意下，在等差数列有几个参数：首页、项数、公差。

首页就是文章列表页的开始页码，例子里开始的数值是1，所以这里不动他。

项数是你想采集多少页的量。

如果你想采集2页，那这个项数就是2。

公差就是每页之间的变动量，就是刚才说的，上一页，下一页，之间的变动量，例子里的变动是1，这里也就不动了。

然后选择其中的一个列表页，点击添加，完成。

现在已经获取到了列表页的内容，下面需要设置要采集的内容。

点击添加然后需要设置2个部分，一个是采集的开头，一个是采集的结束这个需要到我们一开始实例的网址页面去找。

找列表页的开始部分和结束部分。

在页面里鼠标右键，查看源代码。

然后我们看一下，我们需要采集的内容只是这一段代码然后我们就需要告诉采集器，我们要采集的是这些东西。

所以就要设置一个开始，和一个结束。

我们一定要注意，这个开始部分的代码和结束部分的代码，一定是要这个源代码里唯一的，这样才能让采集器正确的采集到我们想要采集的内容。

所以要把这2段代码分别放在开始部分和结束部分里。

然后点击保存。

然后回到这个界面，你可以点击，测试网址采集，查看你刚才是不是采集到了这些列表内的文章。

如下图所示。

然后随便选中一条内容页的链接。

双击，进入第二步，内容页的采集部分。

在这里需要注意2个地方，一个是标题的采集，一个是内容的采集。

火车头操作手册目录前言 (1)摘要 (2)第一章基础知识 (3)1．1 HTML 基础知识 (3)1．2 采集基础知识 (5)1．3发布基础知识 (5)1．4正则基础知识 (7)第二章火车头采集篇 (11)2.1 什么是信息采集? (11)2.2 火车头采集器的采集工作流程 (11)2.3 数据的转储 (20)第三章火车头发布篇 (24)3.1火车头发布内容的介绍 (24)3.2 接口文件的介绍.................................................................... 错误！未定义书签。

3.3 发布模块的制作 (26)第四章应用进阶 (38)4．1 火车头+PHP程序 (38)第五章防采技术介绍 (40)5.1 采集器与搜索引擎蜘蛛的区别 (40)5.2 防采集的一些主要措施 (40)5.3 火车头官方谈采集与防采 (42)5.3.1、谈火车头采集器的由来 (42)前言随着公司的日益壮大，产品线的不断拓宽，我们SEM团队也正在快速扩张，同时也带来了一系列问题，比如：团队成员的相互学习与交流，新员工的快速融入问题等。

因此员工学习手册的编写，势在必行。

员工学习手册，是团队成员技术，经验的总结，大家通过学习其他人的工作经验、技术，提高自己，同时团队实习也得到了提升。

而对于新入职的员工，根据前人的总结，经验，可以少走很多弯路，能够帮助他们快速融入集体，使得新人的适应期可以大大缩短，提高了新人培训效率。

在员工学习手册的编写过程中，我与沙亚金参与了《玩转“火车头”》的编写，里面是我们的一些使用火车头的一些心得，和技巧。

希望能够在信息采集，发布这块对大家有所帮助，由于时间，经验等因素，写的过程中也存在许多缺陷，欢迎大家与我们交流，批评指正。

在这里我们要感谢吉总，是他为大家带来了“火车头”。

摘要在这信息大爆炸的时代里，什么最重要？当然是信息。

对于“内容为王”的SEOer来说信息更是无价之宝。

⽕车头采集器采集⽂章使⽤教程实例任务：采集某⼀个指定页⾯的⽂章包括（标题、图⽚、描述、内容）导⼊到⾃⼰⽹站数据库对应栏⽬（栏⽬id为57），数据库字段分别（title,thumb,descrption,content）。

页⾯⾥⾯第⼀张图作为⽂章缩略图，这边⼀个获取缩略图名称并添加上对应⽹站路径放⼊数据库thumb字段，另⼀个是下载下本地，统⼀上传到指定⽂件夹，（当然看软件可以直接ftp，⽬前还没弄，后期弄了会补充）1、新建分组--新建任务2、添加⽹址+ 编辑获取⽹址的规则选择范围在 ul ⾥⾯的 li ⾥⾯的链接，注意排除重复地址，可以点击下⾯测试⽹址采集获取。

可以看到有采集到的⽂章链接了。

3、采集内容规则我这边需要采集下⾯图上展⽰数据（catid是栏⽬id，可以将采集到的数据放⼊对应栏⽬，设置固定值就好）着重说下内容和图⽚的采集，标题和描述同理内容采集内容采集：打开⼀个采集的⽂章页⾯，查看源代码（禁了右键的f11 或者在⽹址前⾯加上 view-source: ⼀样可以查看）：选中⽂章开头⼀个位置，截取⼀段在ctrl+f 搜下是否唯⼀⼀段，若是就可以放在位置下图1处，结尾同开头⼀样。

我截取内容不想⾥⾯还带有链接图⽚可以数据处理，添加--html标签排除--选好确定--确定还有需要下载页⾯图⽚，勾选和填写下⾯选项图⽚采集：（1）选中范围和内容⼀样（⽂章内图⽚）（2）数据处理选提取第⼀张图⽚内容是：/2017/33/aa.jpg（3）只要aa.jpg,正则过滤 ，获取内容：aa.jpg （4）数据库存储有前缀，添加上， upload/xxxxx/找⼀个页⾯测试⼀下，可以看到对应项⽬都获取到了。

4、发布内容设置，这⾥以⽅式三发布到数据库为例⼦，编辑后回到这边勾选刚定义的模块就好：5、我需要保存图⽚到本地，要设置下保存⽂件的路径（ftp后续会试着使⽤）。

6、保存，查看刚新建的任务，右键开始任务运⾏，这边就可以看到⽂字和图⽚都下载下来了，数据库⾥⾯也可以看到了。

火车采集器V2010SP3版（实现内容自动更新的采集软件）前提：本软件要求电脑安装net framework2.0或2.0以上框架支持。

一、火车采集器V2010SP3版，可供下载地址：/Down/LocoySpider/LocoySpider2010SP3.html二、net framework2.0，可供下载地址：/download/-Fra mework-2.0-For-Win98SE-ME-2000-XP/火车采集器和net framework2.0安装好后，可进行如下操作，操作步骤为：一、1.在一堆文件中，找到如下图标（画有红方框、状似火车头的），并双击打开。

2.打开后可以看到如下界面，看着很复杂，但对于新手而言很多东西是暂时用不到的。

在界面空白处（如下图红框区域内）右击，选择箭头所指“新建站点”。

输入站点名，例如：“西装”，保存即可。

3.在新建站点“西装”（红框区域）处选中再右击，选择从该站点新建任务。

二、第一步：采集网址规则1.先要找到自动更新的内容来源：如经常更新关注度较高的博客、专业网站等，这里我们就拿淘宝论坛举个例子。

找到开始采集地址栏右侧，点击向导添加。

2.添加开始采集地址中的多页类似地址形式前，要分析一下它的类似形式，例：我们在淘宝论坛中搜索“西服”相关内容，然后任意翻阅不同的页数查看它的网页地址。

第一页地址、第二页地址、第三页地址分别为：以此类推，分析出其不同点在于上图红框处的数字变化，因此:假如我们只采集论坛的第一页，就在多页类似地址形式栏粘贴第一页的网址，按一下（*）将选中的数字1替换成（*），再将数字变化改为相应页数：1, 然后点击添加、完成。

3.接着，找到如下图的相应位置分析规则并分别输入：必须包含“thread”，不得包含“post|pc”，任务名：这里设为“第一页”。

【可以点击开始测试网址采集，检测一下是否将网页都采集过来了。

若要返回到刚才上一级页面，点击返回修改设置即可。

登录！
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
You Know, The More Powerful You Will Be
结束语
感谢聆听
不足之处请大家批评指导
进入搜索页网址
进入内容页网址
内容页的网址往 往构造结构相似
不同内容页的网 址上所需要的信 息的展现格式往 往也是相似的
搜集所需要的信息 存储到本地
实例：爬取豆瓣上含有某个关键词的电影
注意：该网址为起始页网址 该链接为起始页包含的内容页网址
第一步：新建任务，进入编辑状态
右键，点击 新建任务
第二步：输入起始页网址和内容页网址规则
Please Criticize And Guide The Shortcomings
讲师：XXXXXX XX年XX月XX日
方便我们进行观察。也可在网 址空白处右键查看网页源代码。
找到电影链接（大多为href=的
格式），观察发现链接格式为 /subject/电影 id号，对其他电影的链接进行观
察发现也符合此规律
按照寻找的规律进行尝试
右边这个编辑框为链接必 须包含的字符串，输入我
们刚刚发现的subject
第二步：进入内容页，确定爬取标签
点击+号新建一个标签， 这个标签即为我们想要 爬取的信息类别，这里
以电影名称为例
右侧的数据获取方式即
为我们爬取的信息在内 容页网址的存在规律
如何确定爬取信息在网页的存储规律？
利用前面讲到的审查元 素，找到电影名称在网 页源代码里对应的位置

火车头采集器教程演示文稿一、介绍你好，大家好!今天我非常荣幸给大家介绍一个非常实用的工具，火车头采集器。

它是一款强大的网络数据采集工具，可以帮助我们快速获取互联网上的各种信息。

二、功能1.数据采集：可以采集各种网站上的数据，如商品信息、新闻、评论等。

2.数据筛选：可以根据指定的条件对采集到的数据进行筛选和整理，提高数据的质量。

3. 数据导出：可以将采集到的数据导出为Excel、CSV等格式，方便进行后续分析和处理。

4.定时采集：可以设置定时任务，实现自动采集数据功能。

5.模拟登录：可以模拟用户的登录操作，以获得更多的数据。

6.反爬虫模式：可以通过一系列的反爬虫策略，规避网站的反爬虫机制，提高数据采集的成功率。

三、操作步骤下面我将为大家演示如何使用火车头采集器进行数据采集。

1.打开火车头采集器软件，点击左上角的“新建任务”按钮。

2.在弹出的窗口中，输入任务名称和要采集的网站URL，点击确定。

5.等待采集完成后，点击“导出数据”按钮，选择导出格式和保存路径，并点击确定。

6.打开导出的文件，即可查看采集到的数据。

四、常见问题及解决方法1.采集速度较慢：可以尝试调整线程数和延时时间，以提高采集速度。

2.采集到的数据不完整：可以检查采集器的配置是否正确，并尝试使用正则表达式提取所需数据。

3.被网站反爬虫封IP：可以使用代理IP或者设置访问频率来规避网站的反爬虫机制。

4.无法模拟登录：可以检查登录账号和密码是否正确，并确保网站的登录接口没有变动。

5.无法启动采集器：可以检查网络连接是否正常，并尝试重新安装软件。

五、总结火车头采集器是一款功能强大、易于操作的网络数据采集工具，可以帮助我们快速获取互联网上的各种信息。

通过本次演示，我相信大家已经对火车头采集器的使用有了初步的了解。

希望大家能够通过学习和实践，更好地应用这个工具，在数据采集和处理方面取得更好的成果。

谢谢大家!。

抓取网页数据工具火车采集器插件说明抓取网页数据工具火车采集器插件说明在使用火车采集器抓取网页数据时，也会用到插件，火车采集器把采集到的数据传递给的外部程序，我们称之为插件，随后插件对数据进行处理，然后再把数据返回给采集器。

火车采集器V9支持PHP和C#两种语言的插件编写，且V9支持插件的源码编辑。

抓取网页数据工具火车采集器的插件可应用至采集结果的处理，HTTP 请求，文件下载三处。

大家可以在插件设置时从下拉框中选择插件管理器中已有的某个插件来实现具体的应用。

下面以58手机号码识别插件和百度翻译插件给大家讲解下用法。

58插件演示：（1）首先我们需要把插件58验证码V9.dll放入到采集器的Plugins目录中（2）然后在“其他设置——插件——采集结果处理插件”中选择这个插件。

（3）最后我们需要建立个名字为“手机号码”的标签，采集到58手机号码的图片地址，这样运行的时候，采集器就会自动调用插件来将图片转义成数字文本的形式输出了。

翻译插件演示：（1）首先我们需要把插件百度翻译.dll放入到采集器的Plugins目录中（2）然后在“其他设置——插件——采集结果处理插件”中选择这个插件。

（3）最后我们需要建立个名字为“翻译标签”的标签，将需要翻译的字段名字以固定字符串的形式写入。

再建立个名字为“翻译反向”的标签，将翻译语言以固定字符串的形式写入，如中文翻译成英文，代码：zh>en（zh表示中文，en 表示英文，这类语言代码在使用前查询一下）。

经过这样的操作，在运行的时候，火车采集器V9就会自动调用插件来翻译了。

在插件的帮助下我们可以使用火车采集器来完成更加复杂的任务，采集器中，除了使用已有的插件之外，我们也可以自行编写所需插件来使用，非技术人员可联系官方定制所需插件。

⽕车头采集器伪原创（附PHP实现代码）因为最近需要⼀批数据来做机器学习，所以⽤⽕车头采集器来抓数据，数据伪原创⽤的⼩发猫的API。

以下是PHP实现代码：<?phpset_time_limit(270);error_reporting(E_ERROR | E_WARNING | E_PARSE);define('TITLE_SEPAR', 'xxx**xxx');define('TITLE_SEPAR2', '262661');$url = '/api.php?json=0&v=1&key=';$content_tag_name = '内容';$headdd = '<figure class="wp-block-gallery columns-3 is-cropped"><ul class="blocks-gallery-grid">';$taill = '</figure>';switch($LabelArray['PageType']){case 'List'://处理列表页，只能处理htmlbreak;case 'Pages'://处理多页，只能处理htmlbreak;case 'Content'://处理默认页，只能处理htmlbreak;case 'Save'://只有保存时是可以处理标签值的// 保存原⽂try {/**********************************************************************/// 这⼀步⽤来获取伪原创⽂章/**********************************************************************/$title = $LabelArray['标题'];$content = $LabelArray[$content_tag_name];$article_src = compose_article($title, $content);$article_src_b = $article_src;//$article_src = br2newline($article_src);$article_new = get_wyc_article($article_src);$title_wyc = trim($article_new[0]);$content_wyc = trim($article_new[1]);//$article_new_x = $article_new;//$article_new = fix_newline($article_new);//$temp = explode(TITLE_SEPAR, $article_new);//$new_title = $temp[0];//$new_title = fix_title($new_title);/*$temp[1] = ltrim($temp[1], "\r\n");//$temp[1] = ltrim($temp[1], "\n");$temp[1] = ltrim($temp[1], "\r\n");//implode(PHP_EOL, $temp);$temp[1] = ltrim($temp[1], "\n");*///$new_article = get_wyc_article($LabelArray[$content_tag_name]);$content_wyc = fix_newline($content_wyc);// $new_article = newline2br($new_article);//$new_article = remove_alt($new_article);//$article_new = xfm_strong_str_replace_once('<p>', '<p>'.$new_title, $new_article);//$LabelArray[$content_tag_name] = $article_new;//$new_article;//$new_article;//$nlp = get_keywords($new_title, $new_article);//$nlp_arr = explode(TITLE_SEPAR, $nlp);//$LabelArray['关键词'] = $nlp_arr[0];//$LabelArray['内容简介'] = $nlp_arr[1];//$LabelArray['内容简介'] = curl_request($url, array('wenzhang'=>$LabelArray['内容简介']));$content_wyc = ltrim($content_wyc, '</p>');//$LabelArray[$content_tag_name] = $headdd. $content_wyc. $taill; //serialize($article_new);// $LabelArray[$content_tag_name] = $temp[1];//$LabelArray[$content_tag_name] = $article_src;$new_title = str_replace(array('[',']','％'), array('【','】','%'), $new_title);$LabelArray['标题'] = strip_tags($title_wyc);$LabelArray['标题'] = ltrim($LabelArray['标题']);$LabelArray['标题'] = trim($LabelArray['标题']);//$LabelArray['摘要'] = curl_request($url, array('wenzhang'=>$LabelArray['标题'].','.$LabelArray['摘要']));}catch (Exception $e) {$LabelArray['标题'] .= $e->getMessage();$LabelArray[$content_tag_name] .= $e->getMessage();}break;default://$LabelArray[$content_tag_name]=curl_request($url, array('wenzhang'=>$LabelArray[$content_tag_name] ));}echo serialize($LabelArray);function compose_article($title, $content) {$separator = compose_separator();return $title.$separator.$content;}function compose_separator() {return PHP_EOL.'('.TITLE_SEPAR2.')'.PHP_EOL;}function fix_separator($article) {return $article;}function get_wyc_article($str) {global $url;$separator = compose_separator();$separator = str_replace(PHP_EOL, '', $separator);$wyc = curl_request($url, array('wenzhang'=>$str));$wyc = fix_separator($wyc);$wyc = explode($separator, $wyc);if (isset($wyc[0])) $wyc[0] = trim($wyc[0]);if (isset($wyc[1])) $wyc[1] = trim($wyc[1]);return $wyc;}function get_wyc_title($str) {$title = get_wyc_article($str.PHP_EOL.PHP_EOL.PHP_EOL.$str.PHP_EOL.PHP_EOL.PHP_EOL.$str); $title = fix_newline($title);$title = explode(PHP_EOL, $title);return $title[0];}function get_keywords($title, $contents) {$url_kw = '/nlp/kws.php?appid=';$kws = curl_request($url_kw, array('title'=>$title,'len'=>100,'text'=>$contents));return $kws;}function remove_alt($contents) {$contents = preg_replace('/alt=\"(.*)\"/', '', $contents);return $contents;}function fix_title($contents) {$punctuation_symbol = array('。

1、火车头介绍2、什么是信息采集3、什么是火车头4、火车头是干啥的5、火车头规则定制6、规则编写流程7、采网址详解8、采内容详解9、注意事项什么是火车头？我们打开一个网站,看到有一篇文章很不错,于是我们就将文章的标题和内容复制了一下,将这篇文章转到我们的网站上.我们的这个过程,就可以称作一个采集,将别人网站上对自己有用的信息转到自己网站上；互联网上的内容，大多数都是通过复制-修改-黏贴的过程产生的，所以信息采集很重要，也很普遍，我们平台发到网站上的文章，多数也是这样的一个过程；为什么很多人感觉新闻更新很麻烦，因为这个工作是重复的，枯燥乏味的，浪费时间的；火车头是目前国内使用人数最多、功能最完善、网站程序支持最全面、数据库支持最丰富的软件产品；现在是大数据时代，它可以快速、批量、海量的获取到互联网上的数据，并按照我们需要的格式存储起来；说的简单一点，对我们来说有什么用？我们需要更新新闻，需要发商机，如果让你准备1000篇文章，你要用多久？5个小时？在有规则的情况下，火车头只需要5分钟！前提是有规则，所以我们要先学写规则，写规则如果数量的话，一个规则几分钟就好了，但刚开始学的时候会比较慢；名称解释与规则编写流程以火车头8.6版本为准第1步：打开—登录第2步：新建分组第3步：右击分组，新建任务，填写任务名；第4步：写采集网址规则（起始网址和多级网址获取）第5步：写采集内容规则（如标题、内容）第6步：发布内容设置勾选启用方式二(1)保存格式：一条记录保存为一个txt;(2)保存位置自定义;(3)文件模板不用动;(4)文件名格式：点右边的倒立笔型选[标签:标题];(5)文件编码可以先选utf-8，如果测试时数据正常，但保存下来的数据有乱码则选gb2312;第7步：采集设置，都选100；a.单任务采集内容线程个数：同时可以采集几个网址；b.采集内容间隔时间毫秒数：两个任务的间隔时间；c.单任务发布内容线程个数：一次保存多少条数据；d.发布内容间隔时间毫秒数：两次保存数据的时间间隔；附注：如果网站有防屏蔽采集机制（如数据很多但只能采集一部分下来，或提示多久才能打开一次页面），则适当调小a值和调大b的值；第8步：保存、勾选并开始任务（如果是同一分组的，可以在分组上批量选中）以前的方式：比如我要准备n篇文章，要先找到这个文章是在哪个网站上的（如是采集同行A还是同行B），是在其哪个栏目下的（如是产品信息还是新闻信息），在这个栏目下有n条信息，我要选哪一条，然后进去后把标题复制下来，把内容复制下来再进到另一个页面把标题内容复制下来，以此类推，然后同样的流程我要执行n遍；怎么转换：怎么把这个流程转化为软件操作呢？我要准备n篇新闻，这就表明要n个标题+对应的内容，要n个新闻链接，这n个新闻链接是从一个网站的新闻栏目上找的，而这个网站的新闻栏目有可能是很多页，比如10页，这个时候再从同行A的网站—栏目—内页；即先找到要采集的网站，打开这个网站的栏目页（确定好是采集新闻还是产品），写网址规则采集栏目下的所有新闻链接，然后写内容规则采集所有新闻链接中的标题和内容，最后保存下来；采网址详解-具体操作找到要采集网址的栏目页，如新闻栏目复制栏目的第一页链接url，起始网址右侧中点添加，在单条网址中黏贴栏目的第一页链接后点添加，如用右边的(*)代替，因为第1页已经添加了，还剩9页，这时在等差数列那一行把项数改成9，首项是2（因为第2页的链接是，然后点添加-完成;1、点对应右侧的添加，然后如下图所示是示例，右侧大图是说明；2、点击保存后点右下角的看看是否能采集到新闻网址，如果能采集到则正确，双击一个新闻网址进到下一步；如果采集到的不正确，返回修改直到成功；网址过滤可以自己观察其对应的规律；1、到采集内容规则这里后，把作者、时间、出处都选中后删掉，如右面第一张图，因为这些标签正常情况下都用不到；2、选中标题标签点修改，或直接双击该标签，进入编辑界面；3、进入后标签名的“标题”别改，改过后是要改对应的模板的；4、下面的数据提取方式：前后截取和开始结束字符串，也尽量用默认的，在不熟练的情况下不要改；5、点击下面数据处理的添加—内容替换，如右图；6、内容替换将标题后面的都替换为空，如果不替换的话采集的是页面title，这时需要打开两个新闻页面，看看这两个新闻页面的公共部分是什么，把公共部分替换掉例：如下面两个标题，“- 顶尖SEO团队”是公共部分，即把其替换为“空”；【图文】你知道螺旋加料机的加工方法吗螺旋加料机原理你了解吗【图文】气动式加料机的优点是什么你知道粉末加料机工作原理吗例：如下面的则需要把“-健康网”替换成“空”；例：如下面的则需要把“-健康网”替换成“空”；我喜欢吃西瓜-健康网苹果好吃吗？-健康网1、选中内容点编辑，或直接双击进入到内容标签编辑界面，标签名千万别改；2、写开始和结束字符串，就是找能把所有新闻都包裹起来的，在所有新在所有新闻页面中都是闻页面中都有的，且是唯一的一段字符串；即这个页面模板中的唯一代码串；举例：采集内容的时候，需要选择内容区域，因为要采集的可能是n篇，如100篇，这个时候就需要想法怎么能写一个采集到全部的，方法就是打开两个新闻链接如，查看第一篇新闻的源文件，找到新闻正文，然后向上找离新闻第一句话最近的，在这个页面中是唯一的一段代码（如果不唯一，软件能知道从第几个开始吗？），但又不是新闻中的内容，如<div id=“zoom”>，复制后在第二篇新闻页面源文件中搜一下看看有没有，如果有，则可采用；同理找到新闻最后一句话，向下找离其最近的页面中唯一的一段代码，复制后在第二篇新闻页面源文件中搜一下看看有没有，如果有，则可采用；数据处理：因为采集的是其他网站的信息，里面有可能有其他网站的资料，如公司名、联系方式、品牌等信息，也可能有其他网站的超链接等信息，这个时候就需要对信息进行过滤处理；数据处理—添加—下面对应的参数HTML标签过滤：滚动轴横向拉到最后，在所有标签前面打钩后点确定；内容替换：将这个网站的信息替换成自己的，原则是先整后拆，有公司名、电话号（拆分）、手机号（拆分）、邮箱、公司地址（拆分）、品牌名、网址（拆分）；其中拆分的意思是对这个数据进行拆解替换，这个时候就需要做如下替换：因为在新闻中，，这是时候就需要对其拆解替换才能替换干净，可以多看一下他的新闻中，可能会用什么样的格式；注：数据处理还有很多技巧，需要自己在使用的过程中琢磨，更是采集的核心，如果处理不好，有可能是为他人做嫁衣，所以一定要仔细观察，考虑全面，如果处理好了，采集下来的文章甚至可以直接就发布（非自己企业站）注意事项1、右击分组：会出现如下图菜单，正常都能用到；新建任务：在此分组上新建任务；运行该分组下所有任务：顾名思义；新建任务：在该分组下再建分组；编辑/删除分组：编辑/删除当前分组；导入/导出分组规则：可以导出当前分组下的所有任务，并导入到同版本火车头上；导入任务至该分组：将导出的单个任务导入到该分组下面；黏贴任务到该分组下：要复制过任务后此项才出现，可以黏贴多个同样的任务，然后再黏贴后的任务上进行编辑即可；开始任务:和菜单栏上的开始一样；编辑任务:编辑已经写好的任务；导出任务:可以将当前规则导出，在其他同版本工具上导入，但导入数据时需重复上面的第6步-发布内容设置，必须要重新选/填一遍；复制任务到黏贴板:复制后，选择一个任务分组并右击，可以黏贴不同数量的任务到那个分组中，这样就避免同一个任务多次编写了；清空任务所有采集数据:新如果之前采集过任务想重新采集的，则需求先清空；3、其他设置：顶部菜单栏中点击工具—选项，配置全局选项和默认选项；全局选项：可以调整下同时运行任务最大个数，正常是5即可，可不调；默认选项：是否忽略大小写点是；。

第一步——我们要新建站点以及任务
新建站点：填好所要选择的站点病种地址以及名称，如北京艾丽斯妇科医院无痛人流第二步——
点击最左侧的所填写的站点名称，然后点击新建任务
第三步——选填好各自的代码和页面
首先，点选选择所属站点：医院、病种
任务：要做的病种名称
网站编码：在查看网页代码里面最上头的charset=后面的一串符号数字
填写页面内选定区域采集网址代码，如图所示，代码要选择唯一的代码，在选择区域头尾进行选择
第四步——
点选向导添加，添加所需内容的最末页地址
数字变化选择从第一页到末页，用*替代后面的数字即可获取全面信息内容点击添加即可完成
第五步——进行修改和关键词替换
把不需要的内容去掉，如去掉作者、时间、出处双击内容信息
第六步——
打开一篇文章，查看源代码
选取内容首尾代码
添加首尾代码
第七步——
第八步——存档
点击方式二，选择TXT文本保存，如图
选择文件下载设置保存，同上保存地址，并点击保存。

火车采集器采集结果保存为本地word,excel,html,txt文件
在火车采集器的规则第三步：发布内容设置
选择启用方式二：保存为本地word，excel，html，txt等文件
保存文件格式：下拉框里面选择要保存文件
保存的位置：选择将文件保存到哪里
文件名格式：就是文件的命名方式，后面的铅笔图标处可以直接选择，可以使用标签，也可以写固定的值。

文件编码：选择GB2312或者UTF8，和文件模版一样的编码
这里重点说下文件模版，点击上图蓝色字体“查看默认模版”
模版就是要以何种方式保存采集到的文章，默认模版已经做了例子
根据自己的需要修改使用
模版里面的标签名一定要和规则里面的标签名一一对应，不能写错名字，否则标签采集到的值是不能保存的文件里面的
比如下图：
上面模版里面只写了标题内容，但是规则里面还有作者时间出处等标签，这样保存的文件是不包含作者时间出处等信息的，也就是说用户可以随意选择需要保存的标签内容。

到这里，我们的地址就添加完成了。。。那么下边，我们来设置区域列表。。。
我们先设置第一个。。。“文章内容页面地址必须包含。。。不得包含。。。” 我们随便点开 /forum-60-1.html 这个网址中的两篇文章，看下 URL。。 就是文章地址。。 /thread-88312-1-1.html /thread-88373-1-1.html 发现以上两个地址。。。那么他们其中只有 /thread-88373-1-1.html 红 色部分在变动。。。那么，文章内容必须包含。。。我们写 /thread-(*)-(*)-(*).html 这样就可以,那么我们点击“开始测试网 址采集”
这个，也可以采集成功。。。 那么，为了让大家更直白的了解火车，我们还是写一下。。。。 那么我们打开 /forum-60-1.html 这个地址，在页面中，点击右键，选 择“查看源文件”（因为不好截图。。。）
发现上边的东西出现，都是一些猥琐的 html 代码。。。 我们怎么定义文章地址的区域呢？看下图
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="/1999/xhtml">
上图中，用红线圈住的 LocoySpider.exe 是主程序，我们双击打开。。。
ps：这里说下，上图中，有好多任务是我自己用的。。。新程序，并没有那么多。。。 我们会看到火车的界面，看起来非常复杂，是吧？ 呵呵，其实并没有那么复杂，对于新手， 有好多东西是用不到的。。。下边会一一的讲解。。。 我们先补习一下，火车头采集软件的工作原理。。。 因为我们浏览到的网页，最后都是通过 html 输出的，那么意味着，我们可以查看到 html 的源码，那么火车头为什么会采集到内容呢？ 我们看下网站的基本结构。。。