网络矿工采集配置高级设置教程
- 格式:doc
- 大小:366.00 KB
- 文档页数:8
uTorrent详细设置-减少硬盘损害2.0版的一些参数和默认设置与旧版有不少出入,uT常规设置论坛和网上已有不少教程,这里主要针对缓存、连接优化和高级参数等进行探讨,资料来源于uT 官网/帮助文件、并结合实践和大家的反馈列出的一些优化,图片为简单说明,文字为详解。
更新inguTorrent在默认参数下基本能良好运作,官方建议若未出现特殊问题无需改动,有时修改后的实际效果适得其反。
以下优化仅为建议, 请根据自身网络环境测试、设置合适的参数===========================================缓存设置,硬盘更健康===========================================通过物理内存缓存下载数据到特定容量后再写入硬盘,或一次读取特定容量的上传数据到物理内存再分段上传,有利于减少硬盘的读写频率或次数(频率和次数的概念还是有一定区别)选项--〉设置--〉高级--〉缓存缓存基本设置1、手动指定缓存大小以覆盖自动设置的缓存大小(MB)---(建议512~1400)请根据内存实际情况设置,最小值为1建议最高值不超过1.4G(超此值在某些操作系统高速上传或下载时uT可能会无响应)即uT使用多少物理内存作为读/写缓存,设置值为读+写的缓存整体值(无法分别设置),uT在设置总值内实时智能分配读/写缓存,在同时有上传和下载时会优先保障写入缓存2、不需要缓存时减少内存的使用量---(不勾)若勾选在无上传/下载时将从物理内存释放(清空)所有uT不使用的缓存。
小或等于512m内存的建议勾选。
大内存建议不勾,勾选的效果类似于忽略手动指定的缓存大小;若内存紧张,特别是物理内存只有512m或更少的电脑,此项勾选可极大缓解小内存压力。
高级缓存设置1、启用磁盘写入缓存---(勾选)通过物理内存缓存下载数据到特定容量后再写入硬盘,以减少硬盘写入频率A.每2分钟写入未使用的区块---(不勾)是否将只下载了部分数据分段(16kb blocks)就停止下载活动达到或超过2分钟的非完整区块(piece)写入硬盘B.立即写入已下载完毕的区块--(不勾)是否每下载完毕1个完整区块(piece)立即写入硬盘(不勾则最多延迟15秒再写入硬盘)以上两项若勾选可避免程序或系统错误/死机时丢失已下载数据的几率,但硬盘写入频率相应增加,建议不勾2、启用磁盘读取缓存---(勾选)缓存特定容量的上传数据到物理内存再分段上传,以减少硬盘读取频率A.如果上传速度较低则关闭读取缓存---(不勾)是否在上传速度<40kb/s时自动关闭读取缓存,考虑到充分利用内存,建议不勾B.从读取缓存中移除较旧的缓存区块---(勾选)是否从读取缓存删除超过10分钟无上传活动的区块建议勾选,即使你的内存很大也建议勾选在“不需要缓存时减少内存的使用量”和“如果上传速度较低则关闭读取缓存”与本项同时不勾选的情况下,用于缓存的内存容易在短时间内被占满(因为缓存的读取数据只会有增无减),不利于uT的缓存机制或容易造成与windows操作系统缓存机制冲突、uT无响应等C.缓存超负荷时增加自动缓存的大小---(勾选)读取缓存在超载时自动增加以减少磁盘读取频率,特别是在高速上传和硬盘性能较低的情况下。
自动手动配置采集流程采集数据包括
自动手动配置采集流程可以包括以下步骤:
1. 设置采集参数:确定要采集的数据类型和数据包来源。
2. 配置数据包过滤器:设置过滤规则,以确定要捕获和保存哪些特定的数据包。
3. 启动数据包捕获:启动采集工具或捕获设备来开始捕获数据包。
4. 数据包存储:将捕获的数据包保存到指定的存储位置,可以是本地计算机或远程服务器。
5. 数据包分析:使用数据包分析工具对捕获的数据包进行解析和分析,以提取有用的信息。
6. 生成报告:根据分析的结果生成报告,展示数据包的统计信息、错误和异常情况等。
对于自动配置的采集流程,上述步骤可以通过配置文件或脚本来实现自动化,减少人工干预和提高效率。
而手动配置的采集流程可能需要操作人员手动执行每个步骤。
网络矿工采集器采集配置高级功能教程此教程适合于中级用户,在掌握了网络矿工基础配置之后,阅读此教程,如果您是初学者,建议您首先阅读网络矿工入门教程。
网址参数网址参数支持三个类:递增递减类、字典类、外部参数;递增递减类参数:数字递增递减,字母递增递减,数字自动补零递增递减,举例:/sale/p{Num:1,271,1}/用数字参数替换页码,可以实现271页数据的采集。
字典类:网址参数不规律的替换,用户可以建立自己的字典用于网址替换实现网址成批采集,譬如:采集百度贴吧,建立字典百度贴吧地区,然后设置需要采集的贴吧信息,配置采集网址时进行参数设置/f?kw={Dict:百度贴吧地区},实现百度贴吧指定数据的采集;外部参数:配置时参数值不固定,在运行采集时由用户指定输入参数值。
详细可参见:/article.aspx?id=1026。
✧网址的复制与粘贴为何要提供网址的复制粘贴功能?在大量配置网址时需要,如果网址的导航规则不同,但又需要多个入口的地址(譬如:很多网站的第一页和后续的页面网址是不同的),可配置第一个网址的信息,复制粘贴出来,修改入口地址即可快速完成第二个网址的配置,在导航或多页配置时即为有用;选中网址,点击鼠标右键,即可复制粘贴。
✧参数传递配置网址在导航和多页配置中,参数传递将非常有用。
在部分网站中,导航或多页的网址是通过js来实现跳转的,我们可以模拟这种js操作,将需要传递的参数采集出来,然后将参数匹配给导航出来的网址,即可实现js跳转操作。
以采集淘宝评论数据为例,通过淘宝的商品页进行评论数据的导航,此过程需要传递三个参数:itemid、spuid和sellerid,此三个参数可以通过产品页获取,获取后传递给评论页url,即可实现评论页的采集,此下载实例可参见网络矿工资源任务;✧导航翻页对于连续页面的采集有两种方法:1、用url中的页码参数进行页面翻页;2、采用网页提供的下一页翻页参数进行。
导航翻页可以配置两种翻页规则。
网络矿工采集器数据加工操作详解网络矿工采集器提供了强大的数据编辑功能,在采集数据的同时即可完成数据加工操作,最终输出高质量的数据结果,下面对数据编辑的操作进行详细解释:1、输出时去掉网页符号很容易理解,如果采集的数据含有网页符号,则会自动删除,何为网页符号,系统定义为一个完成的<></>标签,或</>标签。
2、输出时附加前缀也很容易理解,在采集的数据前面增加字符串;3、输出时附加前缀在采集的数据尾增加字符串;4、左起去掉字符从采集的数据起始位置开始,删除指定数量的字符;5、右起去掉字符从采集的数据尾开始,删除指定数量的字符;6、替换其中符合条件的字符<OldValue:><NewValue:> OldValue:原有字符;NewValue:新字符譬如采集的数据是:网络矿工数据采集软件,需要将“数据采集软件”替换成“采集器”,最终字符串味:网络矿工采集器<OldValue: 数据采集软件><NewValue: 采集器>如果替换成空字符,则等同于删除某些字符。
注意:此方式不支持通配符;7、去掉字符串的首尾空格不解释;8、输出时采用正则表达式进行替换也是字符串替换,但支持正则,意味着替换的字符换可以更加灵活和方便。
<OldValue:><NewValue:> OldValue:原有字符匹配的正则;NewValue:新字符。
可以全部替换,全部替换则意味着可以输入一个固定值。
替换成空字符也等同于删除。
9、根据指定的条件删除整行采集数据的时候,规则相同,数据就全部采集下来了,但有时有些数据我们并不一定全部需要,就可以通过此进行处理,譬如:如果为空的数据我们可以删除,指定此选项即可,或者包含某些字符的数据我们也不需要,也可以指定条件删除即可。
10、必须包含指定的条件原理同上,只是换了一种条件的指定方式,必须包含某个字符串,不包含的全部删除。
拔掉电池或按1、9冷重启后原有网络配置会失效,可参照以下步骤重新配置。
1配置网络
显示红叉是表示无线模块没有启用
按下图启用无限模块:
修改配置:
点击Options 选项:
选择Regulatory 改成如下配置并保存:
查找可以无线网络:
选择可用的无限网络:
Next:
Next:
若AP设有密码,则Security Mode为WPA2-Personal,
Next:
Encryption Type为数据加密模式,选AES
,Next:
输入无线网络密码,Next:
若采集器是自动获取IP,直接Next:
Next:
Save,稍等片刻,系统会自动连上此无线网络。
若采集器不是自动获取IP,需手动设置固定IP,步骤如下:
下一步:
下一步:
下一步至完成, 网络设置完成.
2启用扫描功能:
启动速飞系统后,扫描功能会自动启动,若扫描功能被关闭,可按一下步骤开启:双击: 我的设备
双击: windows 文件夹
在windows目录下找到如下图标的文件:
双击[ScanWedge]. 扫描功能就加载好了,会出现如下图标:
任务栏显示三角形横杠就表示扫描功能已起用.。
TCP/IP采集器设置说明
1、联接好数据采集器到路由器上后,给采集器上电,并运行软件。
2、点击“搜寻”按钮,正常情况下会在物理地址列表栏出现采集器的网络物理地址,如果没有出现请检查网线是否连接正确;或者换一台电脑执行该软件。
3、搜寻到采集器后可以点击“读取”按钮获得采集器当前的IP地址和网关,然后根据本局域网的参数进行设置。
模块IP地址请设置为符合本局域网段的没有冲突的IP地址;子网掩码一般为“255.255.255.0”;默认网关是以访问外网的关键参数,请自行查询或询问网络管理员以免错误;远程IP地址可设置和默认网关一致即可;DNS服务器参数可忽略不填;其他参数请保持出厂设置不要改变(特别是波特率)。
原始参数应该是:本地端口1024;远程端口80;波特率19200;数据位8;无奇偶校验;停止位1;TCP客户模式。
4、然后点击“设置”按钮后再点击“读取”看是否参数已经设置成功,如果设置成功关于网卡的地址设置步骤就完成了。
5、下一步的设置流程同《GPRS采集器设置工具软件使用说明》。
文档来源为:从网络收集整理.word版本可编辑.欢迎下载支持.蚂蚁采用WEB界面设置,简单友好,通过以下步骤,您可以轻松完成蚂蚁的设置工作。
请您耐心看完如下步骤,如果确实感觉有难度,联系我们客服,每一个客户,我们都会认真接待和解答,如果客服暂时没有回应,请耐心等待一下。
蚂蚁的出厂IP,写在风扇上方的纸条上,通常为QC PASSED,说明我们的机器在发到您手中之前,经过了2道质检。
如果您的机器有故障,请不要担心,我们为您提供3个月质保。
准备工作:方法1:把路由器的LAN口,直接改成方法2:把电脑的有线网卡的ip设置为1.浏览器输入您矿机风扇上的IP地址。
我的机器是.133 用户名和密码都是root (小写)2.登录矿机后,点击网络-----接口,可以看到LAN 和WAN ,其中LAN为工厂调试使用,用户,应修改WAN口特别注意:LAN和WAN 不能在同一IP段!WAN 这个链接,不能删除!由于第一版蚂蚁矿机没有RESET(恢复出厂设置)功能,一旦配置错误,只能更换控制板解决。
3.点击修改按钮,进入WAN口的IP配置页面,本人的路由是1段的,我把ip 改为DNSDNS也可设置(电信)4.配置完IP后,点击保存并应用(save & apply),等候10秒钟,关闭矿机电源。
10秒后开机。
然后浏览器输入刚设置的IP .133 密码root 登录。
以下是登录后的页面。
5.点击Miner Confinguration ,进入配置页面。
常用矿池f2pool,有些网络会屏蔽3333端口,f2pool可以换成8888 或者25liyingfei.1 是我的矿工名,123 是密码,可以随意填写6.点击保存并应用。
进入Miner Status,刷新几次,即可挖矿。
高恪定制版Nat1矿场固件设置技巧小融盒子玩客云CDN型矿机如何配置路由器才能让收益更高矿主不知NAT知识是不行的哦,首先简单说一下NAT的问题:NAT是Network Address Translation的缩写,也就是网络地址转换。
所有的局域网设备必须通过路由器的NAT转换,变成公网IP数据包才能在互联网传输。
不同的网络环境NAT类型不同,从NAT1 至NAT4 限制越来越多,越来越严格,当然安全性也是越来越高的,所以绝大多数路由器都是NAT3或者NAT4。
但是问题来了,NAT3和NAT4的网络环境下,比如P2P的游戏联网就很难,体验可想而知,更重要的是现在很热的小融盒子,玩客云等众多CDN型的矿机,在这种网络环境下无法发挥最佳性能,对收益影响很大,这些CDN厂商给所有客户的建议都是:公网IP,NAT1,上行大,收益才能有保证。
本文就结合高恪ISP矿场专用NAT1固件给大家讲解如何配置路由器让您的CDN收益达到最佳状态。
第一步:首先您得有高恪的ISP矿场专用NAT1固件。
第二步:单线多播的配置:矿场一般是多线接入,一个WAN口接一个光猫进行多播(10-100拨),现在很多矿场在使用高恪的固件,但是很多矿主不知道如何设置,其实很简单的,看下图,就知道如何配置了。
第三步:走一次专家向导(所需参数系统会执行最佳优化),然后关闭智能流控(矿机需要开足马力的跑无需流控),当然如果是家里只有单线接入,那么就无需关闭智能流控,否则你会卡的怀疑人生,此时开启智能流控,游戏,视频,网页,下载,矿机都能愉快的各行其道。
第四步:配置多线策略,目的让一台矿机走一条线,看下图,先在IP组中指定矿机的IP,然后到多线设置-多线设置-策略路由规则中配置,矿机无需设置固定IP,只需到DHCP中添加静态即可。
第五步:可通过系统状态中的监控菜单,查看到矿机的流量,是不是很人性化呢。
其实很简单吧,高恪的配置一点都不难,放心的挖矿,安心的等待收益吧。
电脑网络设置中的高级操作电脑网络设置中的高级操作是针对那些对计算机网络有一定基础知识的用户而言的。
通过深入了解和运用这些高级操作,用户可以更好地管理和优化自己的网络连接。
本文将介绍一些常见的高级操作,并提供相关的设置步骤和注意事项。
1. IP地址设置IP地址是网络中设备的唯一标识,通过它可以进行设备之间的通信。
在某些情况下,用户可能需要手动设置IP地址,例如配置静态IP地址或解决网络连接问题。
下面是设置IP地址的步骤:1.打开控制面板,并找到网络和共享中心。
2.在左侧的菜单中,点击更改适配器设置。
3.在适配器设置页面中,找到需要修改的网络适配器,右键点击并选择属性。
4.在属性页面中,找到并双击Internet协议版本4(TCP/IPv4)。
5.在弹出的对话框中,选择使用下面的IP地址,并填写相应的IP地址、子网掩码和默认网关。
6.点击确定保存设置。
在设置IP地址时,需要确保IP地址和网关地址的一致性,并避免与其他设备产生冲突。
对于大多数用户来说,自动获取IP地址是推荐的设置方式,只有在特定的情况下才需要手动设置IP地址。
2. DNS设置DNS(Domain Name System)是将域名翻译为IP地址的系统,通过它可以实现域名解析和网络连接。
有时候,用户可能需要更改DNS服务器地址,以提高网络连接速度或解决DNS解析问题。
以下是设置DNS的步骤:1.打开控制面板,并找到网络和共享中心。
2.在左侧的菜单中,点击更改适配器设置。
3.在适配器设置页面中,找到需要修改的网络适配器,右键点击并选择属性。
4.在属性页面中,找到并双击Internet协议版本4(TCP/IPv4)。
5.在弹出的对话框中,选择使用下面的DNS服务器地址,并填写首选DNS服务器和备用DNS服务器的IP地址。
6.点击确定保存设置。
设置DNS时,推荐使用公共的DNS服务器,如Google DNS(8.8.8.8和8.8.4.4)或OpenDNS(208.67.222.222和208.67.220.220)。
网络矿工采集器采集配置高级功能教程
此教程适合于中级用户,在掌握了网络矿工基础配置之后,阅读此教程,如果您是初学者,建议您首先阅读网络矿工入门教程。
网址参数
网址参数支持三个类:递增递减类、字典类、外部参数;
递增递减类参数:数字递增递减,字母递增递减,数字自动补零递增递减,举例:/sale/p{Num:1,271,1}/用数字参数替换页码,可以实现271页数据的采集。
字典类:网址参数不规律的替换,用户可以建立自己的字典用于网址替换实现网址成批采集,譬如:采集百度贴吧,建立字典百度贴吧地区,然后设置需要采集的贴吧信息,配置采集网址时进行参数设置/f?kw={Dict:百度贴吧地区},实现百度贴吧指定数据的采集;
外部参数:配置时参数值不固定,在运行采集时由用户指定输入参数值。
详细可参见:
/article.aspx?id=1026。
✧网址的复制与粘贴
为何要提供网址的复制粘贴功能?在大量配置网址时需要,如果网址的导航规则不同,但又需要多个入口的地址(譬如:很多网站的第一页和后续的页面网址是不同的),可配置第一个网址的信息,复制粘贴出来,修改入口地址即可快速完成第二个网址的配置,在导航或多页配置时即为有用;
选中网址,点击鼠标右键,即可复制粘贴。
✧参数传递配置网址
在导航和多页配置中,参数传递将非常有用。
在部分网站中,导航或多页的网址是通过js来实现跳转的,我们可以模拟这种js操作,将需要传递的参数采集出来,然后将参数匹配给导航出来的网址,即可实现js跳转操作。
以采集淘宝评论数据为例,通过淘宝的商品页进行评论数据的导航,此过程需要传递三个参数:itemid、spuid和sellerid,此三个参数可以通过产品页获取,获取后传递给评论页url,即可实现评论页的采集,此下载实例可参见网络矿工资源任务;
✧导航翻页
对于连续页面的采集有两种方法:1、用url中的页码参数进行页面翻页;2、采用网页提供的下一页翻页参数进行。
导航翻页可以配置两种翻页规则。
假如入口页面是一个列表页,我们可以通过页码参数实现翻页,但也可以配置翻页规则来实现翻页。
这是第一个翻页规则。
同时第一层导航页导航出来的也是一个列表页,此时还需翻页,这是第二个翻页规则。
第一种翻页规则我们称之为:导航页翻页规则,第二种翻页规则我们称之为:导航页获取的页面翻页规则。
请仔细对应界面。
有关导航翻页的实际案例分析请参见:/bbs/showtopic-50.aspx Cookie管理
通常理解下,只有在登录采集的时候才会需要Cookie信息,但某些网站对于访客也会判断cookie信息。
对于需要cookie信息方可采集的网站,我们可配置Cookie进行数据采集。
但对于网路矿工有一个比较纠结的问题:
在配置任务时,获取cookie集成的方法是浏览器,用户只需要用内置的浏览器登录网站,系统即可捕获cookie信息。
内置浏览器在某些情况下会出现获取cookie不完整。
而这种不完整用户是无法判断的。
通过嗅探器获取的cookie可以确保完整无误,这样在操作的时候会非常的尴尬。
所以,在此请各位用户非常注意:如果需要cookie采集的网站,在设置了cookie信息后,通过“采集规则分析”功能确定系统是否正确返回了源码,如果没有,请使用嗅探器进行cookie的重设。
采集规则分析
先讲下采集规则分析,采集规则分析是网络矿工提供的一个对采集网址配置、采集规则配置正确性校验的一个工具。
如果采集网址配置正确,系统会自动根据采集网址配置的信息自动获取需要采集的网址,并将此网址的源码获取,在此可判断1)网址规则是否正确?2)采集的数据是否在源码中存在?3)如果获取错误,源码中的错误信息是什么?譬如:需要登录;
当网址正确后,可以检验采集数据规则本身是否正确,按“F5”系统可进行数据匹配,匹配成功后会显示,如果无匹配的数据,表示规则失败;
正则分析,同时这个工具也是一个正则分析器,可以用来分析正则表达式的正确性和匹配的结果。
✧采集数据配置注意事项
1、如果采用规则配置的方式,一定要按照网页代码的顺序配置,这点很重要,系统匹
配数据是从上至下,所以,如果顺序颠倒,可能又部分数据采集不到,尽管规则配置正确;
2、如果采用可视化配置,可以不用考虑顺序的问题,随意配置即可;
3、系统提供了通配符,通配符实际是正则表达式,用户也可手工输入正则表达式的通
配符,但一定要用<Wildcard></Wildcard>包含,这样系统可以识别这是一个正则表达式进行处理;
✧静默运行方式
静默运行方式是一种不打扰运行,系统不会将日志信息和采集的数据进行输出,同时系统也不会再弹出托盘菜单气泡提示,所有信息都将由系统处理,而且会把相关系统信息以日志的方式进行输出。
静默运行方式是一种不打扰方式,当用户需要采集数据而且还有其他工作同时进行时,建议采用此种方式,启动静默采集时,系统好像是一个后台服务,始终运行,却不干扰用户的其他工作。
✧排重的处理
一个采集任务可以多次运行,如果采集一个每日变化得数据时,不免会造成重复采集的情况,所以,矿工可以甚至排重库,将已经采集的数据记录下来,无论再运行几次,已经采集的数据将不会再进行采集。
这是网络矿工设计排重的主要作用,但排重还可以作为另一个作用进行应用,当进行大量数据采集时,可能会由于对方网站的问题造成某些网址无法访问,但如果隔几分钟再重试时,网站又可以恢复正常,如果出现这样的情况,由于网站的临时错误会导致数据漏采,所以,此时可以用排重库记录。
采集完成后在此采集,将只采集发生错误的网址数据了。
如果需要重新采集数据,清除排重库即可。
关于数据文件的设置
网络矿工采集的数据默认情况下是系统自动保存,以xml文件形式保存到磁盘中,每次运行任务保存一个独立的文件,哪怕是同一个任务,多次运行,也是保存多个独立的文件,用户可以强制一个采集任务无论几次运行都可将数据保存到一个xml文件中,
只要选中了“此任务如多次运行,是否将采集数据保存到一个文件中”,并且制定一个xml文件的名称即可。
✧采集间隔延时
系统默认情况下是多线程运行,采集完一条数据马上进行下一条数据的采集。
但对于采集的目标网站,这样的采集无疑会给网站带来压力,有可能会被网站屏蔽,所以,用户可以设置采集的间隔,可以理解为访问强度,即可以采集完一条数据后停止一个时间段再进行下一条数据的采集。
类似搜索引擎的爬虫压力设置。
✧http header设置
http header是http通讯发送的信息,对于采集的目标网站,有可能会验证header 信息以确认身份的合法性,所以,特定情况下需要设置header信息方可正确获取数据,此方面可以通过网络矿工嗅探器来进行侦测。
但通常情况下header在采集数据时是无需关注的,多用于发布数据时使用。
发布数据时系统会对header中的信息进行验证,尤其是user-agent信息,所以用户需要通过嗅探器侦测header中的user-agent信息,配置信息后方可正确发布数据到网站。
✧代理采集及代理轮询
矿工可以采用代理的方式采集数据,而且可以将多个代理地址进行轮换进行数据采集,也可以强制使用一个代理地址进行所有数据的采集。
代理的设置需要首先将代理地址输入到系统中,如下:。