网络爬虫在舆情监测中的应用研究

网络爬虫在舆情监测中的应用研究　邓焕根　（广西大学计算机与电子信息学院，南宁西大思科软件有限责任公司，广西南宁５３０００４）　

摘要：互联网技术的迅速发展，使得其在当今社会中承载传递的信息日趋增大，在给ＡＩＩＪ的生活带来方便的同时，也给相关领域的网络　舆情管理工作带来了一定压力。爬虫技术是互联网搜索引擎通过一定的指令性程序，对网页进行信息提取技术．是当前有针对性地进行舆　情的基础要素。以网络爬虫技术在舆情分析中的应用为中心展开讨论，介绍了互联网舆情检索技术的基本构成，分析了爬虫技术的特点，　提出了优化网络爬虫技术的相关方案．同时通过实例进行了验证．具有一定的借鉴价值。　关键词：网络舆情；网络爬虫；网络资源；爬虫测速；主题更改　

０引言　２１世纪是信息科学技术飞速发展的世纪，互联网在生活中　的应用越来越广泛。尤其是随着智能手机逐渐普遍．人们能够　通过移动互联网更加便捷地获得外部资讯。网络舆情是当前网　民们针对热点社会事件以及社会政治经济状况等内容反映出　的态度总和。“管中窥豹，时见一斑”，可以说网络舆情就是当前　社会现状的放大镜，针对这些态度思想及政治倾向的社会舆论　信息的收集整合。是分析社会动向、研究人民需求的重要手段。　互联网引擎搜索技术并未完全成熟，在很多具体环节仍旧存在　着缺点，严重制约着网络舆情监测工作的全面展开。传统的网　络爬虫技术在进行网络信息的获取时．对其内容的处理精确性　和不足，存在着无用信息过多和部分关键信息缺失的情况。因　而，针对网络爬虫技术进行研究，提出更为有效的优化措施是　

一项十分必要的工作。　１互联网舆情检索技术　

现阶段建设的网络舆情监测系统基本涵盖了所有互联网　领域的基本技术．是一项复杂而庞大工程。但从系统的功能实　现上看，舆情监测系统的关键技术是由互联网信息采集技术　和文本信息抽取技术构成的。图１为舆情监控系统网络构成　图　

图１舆情监控系统网络构成图　１．１互联网信息采集技术简介　作为互联网搜索引擎获得信息的基本技术，信息采集技术　的实现方法包括元搜索和网络爬虫两种模式。这也是当前网络　舆情监测信息获得的主要途径。　所谓元搜索技术，就是在检索过程中将多个网络搜索引擎　

以串联的方式运行，监测方提交的搜索条件被初步处理后，分　送给这些串行的搜索引擎，由其各自完成对相应数据库信息的　检索工作，在获得初步搜索结果后，再将这部分信息进行二次　加工，通过去重、排序、过滤等方式完成冗余信息的处理。元搜　索技术在检索信息全面性方面要明显优于单搜索引擎技术。同　时，元搜索技术在进行信息检索时并不需要对所有互联网信息　进行搜索，具有明显的效率优势。　网络爬虫技术是当前主流网络搜索引擎使用的技术，其实　现过程是通过预先认可的网络协议，以自动抓取的形式获得互　联网内部的程序或者脚本。ＵＲＬ是网络爬虫技术执行过程中　的重要依据，通常情况下，爬虫程序会从某个初始ＵＲＬ开始爬　行，通过该网页ＵＲＬ列表获得后续爬行指向，并且会在爬行过　程中不断重新获得ＵＲＬ，进而根据指向持续访问并下载页面。　在完成页面下载后，这部分内容会由网页信息抽取程序进行保　存，爬行过程中获得的新Ｉ『ＲＩ，同样会被保存到ＵＲＬ抓取队　列，爬行过程会在满足停止条件后自动终止。　１．２网页信息抽取及预处理技术　作为网络信息获取的最终步骤，对检索程序获得的网页信　息进行抽取和预处理是搜索信息全面的重要影响因素。所谓网　页信息抽取及预处理技术是将网络信息中包含的自然语言根　据检索条件进行提取，从中获得需要的实体、关系、事件等要　素，最终并用易于理解接受的规范化形式对结果进行记录和展　示。现阶段一个成熟的互联网网站，其页面通常包括导航栏、正　文标题、正文内容　、相关链接、推广信息、版权公告等。而在这些　内容中，真正吸引用户的是正文标题和正文内容，也就是切合　用户需求的主体信息。在获取网络信息的过程中尽量获得这些　主体内容，对其他次要信息进行选择性忽略正是网页信息抽取　及预处理技术重要的功能。　２舆情监测网络爬虫技术简介　

作为当前重要的互联网信息采集技术．网络爬虫（Ｗｅ—　ｂＣｒａｗｌｅｒ）技术在实际应用中收到了较好的效果。当前各领域构　件的舆情采集系统中广泛采用的是Ｈｅｒｉｔｒｉｘ网络爬虫．这一开　源程序允许用户的自主修改移植。Ｈｅｒｉｔｒｉｘ主要有三大部件：范　围部件、边界部件、处理器链。其中，范围部件控制抓取的ＵＲＬ　人队过程：边界部件则对选定的ＵＲＬ的收集情况进行监测．进　而选择下一个ＵＲＬ。排除已处理ＵＲＬ；处理器链则可视为　ＵＲＬ处理器，其工作结果会反馈给边界部件。　网络爬虫的工作流程是从未访问ＵＲＬ队列中选取目标　

广东科技２０１４３第６期１５５　Ｉｌ信息化研究　并开始爬行，通过ＵＲＬ的指向作用，引导程序识别目标网页，　通过事先认可的网络协议将网页内容爬取抽取出来，然后解　析内容其中包括目标网页内的新ＵＲＬ，并将这部分ＵＲＬ添　加进未访问列表．完成爬取后获取的内容存放到本地网页库　内。　３提高网络爬虫在舆情监测应用水平的措施　网络爬虫的本质是能够使实现网络信息自动提取代码程　序，是网络搜索引擎功能的主要实现手段。网络爬虫包括通用　爬虫和面向主题爬虫两种，当前网络舆情监测使用的面向主题　网络爬虫程序，会通过网页分析算法对非设定主题链接进行排　除过滤，提高了搜索的精确性。当前，网络舆情监测中的面向主　题爬虫技术的主要研究对象的行业领域的ｕＲＬ搜索策略问　题。　３．１改善爬虫网络利用率的解决方案　网络爬虫的利用率是当下舆情监测工作的重要限制因　素，高效的爬虫利用能够更为便捷地获得全面而准确的信息。　为了准确掌握爬虫工作的效率．我们在爬虫中加入测速的方　法，对爬虫抓取速度进行监测和工作特征数据进行分析。根据　监测结果，在抓取速度较慢的阶段，采取相应措施进行修正，　保证程序对网路资源的高效利用。这一解决方案的具体实现　步骤如下：　（１）爬虫抓取速度监控。抓取速度是进行衡量信息获取水　平的重要衡量因素，影响爬虫的网页抓取速度主要有两个因　素．分别是抓取页面的大小和抓取这些页面所耗费的时间。因　而，可以根据基本的换算关系定义网络爬虫抓取速度Ｂ：Ｂ＝　，　１　式中：Ｔ为爬虫进行抓取的时间间隔：Ｐ代表该时间间隔内抓取　页面的大小。　一般情况下，监测系统会对指定时间间隔内的爬虫抓取速　度数值进行记录．在爬虫的抓取速度低于正常水平的４０％后，　系统就会进行报警，提醒工作人员进行修正。　（２）爬行策略更改。４０％正常水平的抓取速度是十分低效　的，这时必须采取相应的措施进行解决。常见的措施主要包　括：减少爬虫的线程数；暂停当前爬虫的运行，选择适当的时　间继续爬行：更换爬行网站。以上这些措施能够一定程度上改　变信息抓取策略，对目标网站的访问压力进行规避，在网站流　量较小时再次执行内容抓取任务．提高了网络资源的利用效　率。　３．２改善爬虫主题覆盖率的解决方案　当前的社会热点层出不穷，具有一定的突然性，同时在人　们的讨论和交流中会进一步发酵．产生的信息量很大。为了保　证网络舆情监测工作的顺利进行．就要求爬虫程序具有较高的　抓取的覆盖率。另外，在进行网页内容的抓取过程中，爬虫程序　需要执行网页与主题相关度的计算．会影响爬行速度。所以在　进行网络爬虫抓取优化时，通常会使用在传统爬虫中加入主题　更改模块的形式，即保证了抓取速度的同时也提高了主题覆盖　率。　更改抓取是提高网络爬虫主体覆盖率的主要方式，其具体　实现步骤如下：　（１）提供主题关键词。提供能够反映该主题特征的关键词。　（２）根据关键词确定搜索引擎返回的搜索结果中第一页对　１５６广东科技２０１４　３第６期　应的ＵＲ工。　（３）获取第一页中与主题相关的ｕＲＬ。　（４）确定搜索引擎返回的搜索结果中第二页对应的ＵＲ．Ｌ。　（５）与上述步骤（３）相似，通过读取目标页面内的新Ｉ爪Ｉ，　完成与主体主题相关的ＵＲＬ更新．进而引导其他页面内容的　抓取，重复这样的过程，直到获得与主题相关的指定数目的　ＵＲＬ。　（６）在满足ＵＲＬ获得数目的基础上，将这部分与主题相关　的ＵＲＬ放入爬虫的ＵＲＬ列表中．实现对网页内容的连续抓　取。　３．３系统设计与测试　

通过以上分析可知。提高爬虫系统工作效率的关键是在其　内部添加测速模块和主体更改模块．由此可完成设计方案的优　化。该爬虫在传统爬虫的基础上添加了爬虫测速模块和主题更　改模块。系统的具体工作流程如下：　（１）启动爬虫。　（２）读取配置文件。　（３）开始爬行。爬虫根据任务列表，从种子ＵＲＬ开始对网　页进行抓取。　（４）爬虫抓取内容的过程中，执行爬行速度监控，需要时　可以把新的爬行策略信息写入配置文件，完成抓取动作的修　正。　（５）主题更改。完成基本的页面抓取后，由分析程序对内容　信息进行解析，将这一过程中获得的ＵＲＬ放人未访问ＵＲＬ队　列中．并将提取的网页主体内容存人数据库中。其中，爬虫可根　据关键词调用相关主流搜索引擎获取关于该主题的ｕＲＬ列　表。图２为互联网爬虫技术系统方案优化设计。　

Ｙ　ｊ、　。改　题　

Ｙ　人　

报警　

图２爬虫技术系统方案优化设计　４系统测试　在以上设计方案的指导下．完成了一系列的网络爬虫抓取　监测实验。现介绍实验基本情况如下：系统的软硬件环境：４Ｇ　内存，２．６６ＧＨｚ　ＣＰＵ，１ＴＳＡＴＡ硬盘，Ｗｉｎｄｏｗｓ　７操作系统，带宽　为８Ｍ光钎。采集的数据来自２０１３年９￣１２月间指定的主流网　站和搜索引擎前两页结果。试验结果表明，同等条件下，传统爬　虫在抓取２Ｇ数据时耗时５０００ｓ左右，而改进后爬虫在抓取相同　

（下转第１５４页）