开题报告如何写 注意点 １.一、对指导教师下达的课题任务的学习与理解 这部分主要是阐述做本课题的重要意义 ２.二、阅读文献资料进行调研的综述 这部分就是对课题相关的研究的综述落脚于本课题解决了那些关键问题 3．三、根据任务书的任务及文件调研结果，初步拟定执行实施的方案(含具体进度计划) 这部分重点写具体实现的技术路线方案的具体实施方法和步骤了，具体进度计划只是附在后面的东西不是重点
南京邮电大学通达学院毕业设计(论文）开题报告
文献[5] 基于信息数据分析的微博研究综述[J]；研究微博信息数据的分析,在这类研究中，大多数以微博消息传播的三大构件---微博消息、用户、用户关系为研究对象。以微博消息传播和微博成员组织为主要研究内容,目的在于发祥微博中用户、消息传博、热点话题、用户关系网络等的规律。基于微博信息数据分析的研究近年来在国内外都取得了很多成果，掌握了微博中的大量特征。该文献从微博消息传播三大构件的角度，对当前基于信息数据分析的微博研究进行系统梳理，提出微博信息传播三大构件的概念,归纳了此类研究的主要研究内容及方法。 对于大多用户提出的与主题或领域相关的查询需求，传统的通用搜索引擎往往不能提供令人满意的结果网页。为了克服通用搜索引擎的以上不足,提出了面向主题的聚焦爬虫的研究。文献[６]综述了聚焦爬虫技术的研究。其中介绍并分析了聚焦爬虫中的关键技术：抓取目标定义与描述，网页分析算法和网页分析策略，并根据网络拓扑、网页数据内容、用户行为等方面将各种网页分析算法做了分类和比较。聚焦爬虫能够克服通用爬虫的不足之处。 文献[７]首先介绍了网络爬虫工作原理，传统网络爬虫的实现过程，并对网络爬虫中使用的关键技术进行了研究,包括网页搜索策略、URＬ去重算法、网页分析技术、更新策略等。然后针对微博的特点和Ajaｘ技术的实现方法,指出传统网络爬虫的不足,以及信息抓取的技术难点,深入分析了现有的基于Ａjaｘ的网络爬虫的最新技术——通过模拟浏览器行为,触发JavaScript事件（如cｌiｃk, oｎmｏuseo ｖer等)，解析JavａSｃripｔ脚本，动态更新网页DOＭ树，抽取网页中的有效信息。最后,详细论述了面向ＳNS网络爬虫系统的设计方案，整体构架,以及各功能模块的具体实现。面向微博的网络爬虫系统的实现是以新浪微博作为抓取的目标网站。结合新浪微博网页的特点,通过模拟用户行为,解析JavaSc ｒipt,建立DＯＭ树来获取网页动态信息,并按照一定的规则提取出网页中的URL和有效信息，并将有效信息存入数据库。本系统成功的实现了基于Ajax技术的网页信息的提取。 文献[８］引入网页页面分析技术和主题相关性分析技术,解决各大网站微博相继提供了抓取微博的AＰI，这些APＩ都有访问次数的限制，无法满足获取大量微博数据的要求,同时抓取的数据往往很杂乱的问题。展开基于主题的微博网页爬虫的研究与设计。本文的主要工作有研究分析网页页面分析技术，根据微博页面特点选择微博页面信息获取方法；重点描述基于“剪枝”的广度优先搜索策略的思考以及设计的详细过程，着重解决URL的去重、ＵRL地址集合动态变化等问题;研究分析短文本主题抽取技术以及多关键匹配技术,确定微博主题相关性分析的设计方案；最后设计实现基于主题的微博网页爬虫的原型系统,实时抓取和存储微博数据。本文研究的核心问题是,根据微博数据的特点设计一种基于“剪枝”的广度优先搜索策略,并将其应用到微博爬虫中；同时使用微博页面分析技术使得爬虫不受微博平台API限制,从而让用户尽可能准确地抓取主题相关的微博数据。通过多次反复实验获取原型系统实验结果，将实验结果同基于APＩ微博爬虫和基于网页微博爬虫的抓取效果进行对比分析得出结论:本文提出的爬行策略能够抓取主题相关的微博数据,虽然在效率上有所降低,但在抓取的微博数据具有较好的主题相关性。这实验结果证明本论文研究的实现方案是可行的。 文献[９]阐述了基于ajax的web应用程序的爬虫和用户界面状态改变的动态分析的过程和思路。文献[10]对于全球社交网络Twｉtter,设计并实现了,一个爬虫系统,从另一个角度阐明了Pｙtｈon在编写爬虫这个方面的强大和快速。仅仅用少量的代码就能实现爬虫系统，并且再强大的社交网站也可
外文资料 ABSTRACT Crawling the web is deceptively simple: the basic algorithm is (a)Fetch a page (b) Parse it to extract all linked URLs (c) For all the URLs not seen before, repeat (a)–(c). However, the size of the web (estimated at over 4 billion pages) and its rate of change (estimated at 7% per week) move this plan from a trivial programming exercise to a serious algorithmic and system design challenge. Indeed, these two factors alone imply that for a reasonably fresh and complete crawl of the web, step (a) must be executed about a thousand times per second, and thus the membership test (c) must be done well over ten thousand times per second against a set too large to store in main memory. This requires a distributed architecture, which further complicates the membership test. A crucial way to speed up the test is to cache, that is, to store in main memory a (dynamic) subset of the “seen” URLs. The main goal of this paper is to carefully investigate several URL caching techniques for web crawling. We consider both practical algorithms: random replacement, static cache, LRU, and CLOCK, and theoretical limits: clairvoyant caching and infinite cache. We performed about 1,800 simulations using these algorithms with various cache sizes, using actual log data extracted from a massive 33 day web crawl that issued over one billion HTTP requests. Our main conclusion is that caching is very effective – in our setup, a cache of roughly 50,000 entries can achieve a hit rate of almost 80%. Interestingly, this cache size falls at a critical point: a substantially smaller cache is much less effective while a substantially larger cache brings little additional benefit. We conjecture that such critical points are inherent to our problem and venture an explanation for this phenomenon. 1. INTRODUCTION A recent Pew Foundation study [31] states that “Search eng ines have become an indispensable utility for Internet users” and estimates that as of mid-2002, slightly
浅析网络语言的文献综述 摘要 语言是一种文化，一个民族要有文化前途，靠的是创新。从这个意义上说，新词语用过了些并不可怕，如果语言僵化，词汇贫乏，那才是真正的可悲。语汇系统如果只有基本词，永远稳稳当当，语言就没有生命力可言，因此，在规定一定的规范的同时，要允许歧疑的存在，但更要积极吸收那些脱离当时的规范而能促进语言的丰富和发展的成分。正确看待网络语言。 关键字 网络语言；因素；发展趋势； 一、关于“网络语言”涵义及现状的研究 1.网络语言的涵义研究 网络语言是一个有着多种理解的概念，既可以指称网络特有的言语表达方式，也可以指网络中使用的自然语言，还可以把网络中使用的所有符号全部包括在内。网络语言起初多指网络语言的研究现状（网络的计算机语言，又指网络上使用的有自己特点的自然语言。于根元，2001）。 较早开展网络语言研究的劲松、麒可(2000)认为，广义的网络语言是与网络时代、e时代出现的与网络和电子技术有关的“另类语言”；狭义的网络语言指自称网民、特称网虫的语言。 周洪波(2001)则认为，网络语言是指人们在网络交流中所使用的语言形式，大体上可分为三类：一是与网络有关的专业术语；二是与网络有关的特别用语；三是网民在聊天室和BBS上的常用词语。 于根元(2003)指出，“网络语言”本身也是一个网络用语。起初多指网络的计算机语言，也指网络上使用的有自己特点的自然语言。现在一般指后者。狭义的网络语言指论坛和聊天室的具有特点的用语。 何洪峰(2003)进一步指出，网络语言是指媒体所使用的语言，其基本词汇及语法结构形式还是全民使用的现代汉语，这是它的主体形式；二是指IT领域的专业用语，或是指与电子计算机联网或网络活动相关的名词术语；其三，狭义上是指网民所创造的一些特殊的信息符号。总的看来，研究者基本认为网络语言有广义、狭义两种含义，广义的网络语言主要指与网络有关的专业术语，狭义的网络语言主要指在聊天室和BBS上常用的词语和符号。 2. 网络语言的研究现状 如：国人大常委会委员原国家教委副主任柳斌表示，网络语言的混乱，是对汉语纯洁性的破坏，语言文字工作者应对此类现象加以引导和批评。国家网络工程委会副秘书史自文表示，老师要引导学生使用网络语言。比如说在写出作文的时候，可以针对彩简单的网络语言还是用含义更有韵味的唐诗更好做一个主题研讨会，和学生一起探讨。这样就可以在理解、尊重学生的基础上进行引导。经过这样的过程，学生对于用何种语言形式多了一个选择，又加深了对传统文化的理解。 如：北京教科院基教所研究员王晓春表示，在网络世界里用网络语言无可厚非。但在正式场合要引导学生不使用网络语言。在教学中老师要引导学生如何正
搜索引擎爬虫外文翻译文献 (文档含中英文对照即英文原文和中文翻译) 译文： 探索搜索引擎爬虫 随着网络难以想象的急剧扩张，从Web中提取知识逐渐成为一种受欢迎的途径。这是由于网络的便利和丰富的信息。通常需要使用基于网络爬行的搜索引擎来找到我们需要的网页。本文描述了搜索引擎的基本工作任务。概述了搜索引擎与网络爬虫之间的联系。 关键词：爬行，集中爬行，网络爬虫 1.导言 在网络上WWW是一种服务，驻留在链接到互联网的电脑上，并允许最终用户访问是用标准的接口软件的计算机中的存储数据。万维网是获取访问网络信息的宇
宙，是人类知识的体现。 搜索引擎是一个计算机程序，它能够从网上搜索并扫描特定的关键字，尤其是商业服务，返回的它们发现的资料清单，抓取搜索引擎数据库的信息主要通过接收想要发表自己作品的作家的清单或者通过“网络爬虫”、“蜘蛛”或“机器人”漫游互联网捕捉他们访问过的页面的相关链接和信息。 网络爬虫是一个能够自动获取万维网的信息程序。网页检索是一个重要的研究课题。爬虫是软件组件，它访问网络中的树结构，按照一定的策略，搜索并收集当地库中检索对象。 本文的其余部分组织如下：第二节中，我们解释了Web爬虫背景细节。在第3节中，我们讨论爬虫的类型，在第4节中我们将介绍网络爬虫的工作原理。在第5节，我们搭建两个网络爬虫的先进技术。在第6节我们讨论如何挑选更有趣的问题。 2.调查网络爬虫 网络爬虫几乎同网络本身一样古老。第一个网络爬虫，马修格雷浏览者，写于1993年春天，大约正好与首次发布的OCSA Mosaic网络同时发布。在最初的两次万维网会议上发表了许多关于网络爬虫的文章。然而，在当时，网络i现在要小到三到四个数量级，所以这些系统没有处理好当今网络中一次爬网固有的缩放问题。 显然，所有常用的搜索引擎使用的爬网程序必须扩展到网络的实质性部分。但是，由于搜索引擎是一项竞争性质的业务，这些抓取的设计并没有公开描述。有两个明显的例外：股沟履带式和网络档案履带式。不幸的是，说明这些文献中的爬虫程序是太简洁以至于能够进行重复。 原谷歌爬虫（在斯坦福大学开发的）组件包括五个功能不同的运行流程。服务器进程读取一个URL出来然后通过履带式转发到多个进程。每个履带进程运行在不同的机器，是单线程的，使用异步I/O采用并行的模式从最多300个网站来抓取数据。爬虫传输下载的页面到一个能进行网页压缩和存储的存储服务器进程。然后这些页面由一个索引进程进行解读，从HTML页面中提取链接并将他们保存到不同的磁盘文件中。一个URL解析器进程读取链接文件，并将相对的网址进行存储，并保存了完整的URL到磁盘文件然后就可以进行读取了。通常情况下，因
英语对现代汉语网络语言的影响 “语言，像文化一样，很少是自给自足的”（语言学家萨丕尔） 姓名：万玉梅学号：080114316 院系：文学院 摘要：语言本身就是社会生活发展的产物。随着网络的出现和发展而产生的网络语言也是社会进步的结果、历史发展的必然。英语是当今世界上通用的语言，而汉语是目前世界上使用人数最多的语言，现在，却因为网络语言产生千丝万缕的联系。网络语言作为新生事物，具有强大的生命力，在这种状况下，英语就不可避免的对现代汉语网络语言产生影响。 我们先来看一个例子： 新浪网2000年8月29日有一篇文章中有一段话是很典型的网络语言，部分记录如下： “7456（气死我了）！大虾（网络高手）、菜鸟（初学上网技术不熟练的人）一块儿到偶（我）的烘焙鸡（home page，主页）上乱灌水（发表没有意义的文章），这些水桶（经常灌水的人）真是BT（变态）！BS（鄙视） u（you，你们）！哥们儿用不着PMP（拍马屁），到底谁是好汉，光棍节过招。94（就是）酱紫（这样子），待会儿再打铁（发帖）。：p（吐舌头的鬼脸）呵呵！” 从这个例子看来，如果一个不懂网络语言的人来看这段文字是很难看懂的，但是这种简短的表达方式很适合网民交流，没有语法限制，可以任意表达，也正是这种随心所欲的交流方法，为网民们提供了充分发挥想象力和创造性的最自由的空间，这种空间因缺少了传统社会生活中无所不在的“监督”而显得更加自由、更加珍贵。网民们能够在网络上最大限度地发挥自己的想象力和创造性。同传统的书面语言相比较，网络语言由于减少了外来的束缚，发挥了作者的自由性，往往在构思上更为巧妙，往往语出惊人、令人瞠目，从而最大限度地反映出每个人在语言上的创造力。 一、网络语言的概况 随着国际互联网技术的发展，网络的普及和网名民的大量增多，网络语言也随之越来越丰富。目前，网络语言已经日渐成为网民在网络交流上必不可少的“通行证”。 1.网络语言的含义 网络语言是人们在网络交际时所运用的语言形式，它是夹杂了数字代码、英语字母、谐音假借文字和电脑键盘上符号写成的特殊语言，是一种新的媒体语言。 网络语言分为广义和狭义的两种，根据词汇的语义功能和文化内涵，广义的网络语言可分为三类：一是与网络有关的专业术语，如：鼠标、硬件、软件、病毒、登陆、在线、聊天室、局域网、防火墙、浏览器等。二是与网络有关的特别用语，如：网民、网吧、第四媒体、电子商务、虚拟空间、信息高速公路等。三是网民在聊天室和BBS上的常用词语和符号。狭义的网络语言仅指第三类，即网友之间为了方便交流，加强沟通而创造的有它独特的风格的习惯用语，是由网民创造并在网上使用的语言。前两种一旦被广泛运用，便在现代汉语词汇中固定下来，形成相对的稳定性；而第三种语言由于其五彩缤纷的词汇超越常规的语法和
常用外文数据库介绍 SpringerLINK数据库 德国施普林格(Springer-Verlag)是世界上著名的科技出版集团, 通过SpringerLink系统提供其学术期刊及电子图书的在线服务。2002年7月开始，Springer公司和EBSCO/Metapress公司在国内开通了SpringerLink服务。 访问方式：镜像服务器(本校读者无需登录)、国外站点（用户需登录出国并自付国际网络通信费）。 访问权限：校园网IP地址范围。 访问全文：(PDF格式)需要使用Acrobat Reader软件，如需安装，可由此下载Acrobat Reader。 EBSCOhost数据库 EBSCO公司通过国际专线提供检索服务，校园网的用户检索、下载无需支付国际网络通信费。采用IP控制访问权限，不需要帐号和口令。 WorldSciNet数据库 WorldSciNet为新加坡世界科学出版社(World Scientific Publishing Co.)电子期刊发行网站，该出版社委托EBSCO / MetaPress 公司在清华大学图书馆建立了世界科学出版社全文电子期刊镜像站. Ptics Express Optics Express由美国光学学会创办，刊登光学技术领域方面的报告和新进展。提供1997年创刊以来的全部文献，以平均49天一期的速度出版，并支持彩色图像和多媒体文件。 网站地址：https://www.doczj.com/doc/ec4181843.html,/ 创建者：Optical Society 0f America New Journal 0f Physics New Journal 0fPhysics由英国皇家物理学会和德国物理学会出版，提供1998年创刊以来的全部文献。所有用户可免费获取电子版文章。 网站地址：https://www.doczj.com/doc/ec4181843.html, 创建者：Institute of Physics & German Physical Society
Springer 具体学科涉及：数学、物理与天文学、化学、生命科学、医学、工程学、计算机科学、环境科学、地球科学、经济学、法律。 右上部可以选择界面的语言 实例1 检索关于“乙醇的分离”方面的文献。 检索课题分析：从题目字面上看，检索式“乙醇and 分离”是正确的，但在化学化工上，将混合物分离（separation）的目的是为了提纯，因此加上提纯和纯化（purification,refine），检索策略就更全了。所以我们将其检索式定为“（alcohol or ethanol）and (separ* or purific* or refin*)”， 检索步骤如下图所示：在标题字段输入（alcohol or ethanol）and (separ* or purific* or refin*)，在高级检索中输入检索式，如图所示。检索关于“乙醇的分离”方面的文献。 检索课题分析：从题目字面上看，检索式“乙醇and 分离”是正确的，但在化学化工上，将混合物分离（separation）的目的是为了提纯，因此加上提纯和纯化（purification,refine），检索策略就更全了。所以我们将其检索式定为“（alcohol or ethanol）and (separ* or purific* or refin*)”， 检索步骤如下图所示：在标题字段输入（alcohol or ethanol）and (separ* or purific* or refin*)，在高级检索中输入检索式。 EBSCO 在线文献数据库，涉及自然科学、社会科学、人文和艺术等多种学术领域。主要的数据库有： 1、Academic Source Premier 2、Business Source Premier 3、Communication & Mass Media Complete 4、EconLit 5、PsycARTICLES 如要跨库检索，可在页面上点击“选择数据库”标签，进入选库界面，复选后重新进入检索。（1）检索技术 ①布尔逻辑检索 利用布尔逻辑算符AND 、OR 、NOT组配检索。 ②截词检索 使用通配符"？"表示中截断，只替代一个字符；使用"*"表示后截断，替代任意个字符。该数据库不可使用前截断。 ③位置算符检索 W算符表示在此算符两侧的检索词在命中时,必须按输入时的先后次序排列，不得颠倒顺序。两个检索词之间可以插入任何其它的词和字母（但可以有一个空格或一个符号连接号），相隔的词数用W加数字表示。可见，检索用户要想用一个固定的词组检索，也可采用（W）算符，如:thin(W)film等。 N算符表示在此算符两侧的检索词在命中时，词序可以颠倒。检索词之间允许插入任何其它的词和字母，相隔的词数用N加数字表示。 另外，输入以符号连接的短语检索时，检索结果也会命中不含符号的短语的记录，并在同义词中扩检。例如：输入television: talk show,检索结果将命中含television talk-show, television talk show, and if synonyms have been activated, TV talk show的文献。
外文译文正文: 探索搜索引擎爬虫随着网络难以想象的急剧扩张,从Web中提取知识逐渐成为一种受欢迎的途径。这是由于网络的便利和丰富的信息。通常需要使用基于网络爬行的搜索引擎来找到我们需要的网页。本文描述了搜索引擎的基本工作任务。概述了搜索引擎与网络爬虫之间的联系。 关键词:爬行,集中爬行,网络爬虫 导言在网络上是一种服务,驻留在链接到互联网的电脑上,并允许最终用户访问是用标准的接口软件的计算机中的存储数据。万维网是获取访问网络信息的宇宙,是人类知识的体现。搜索引擎是一个计算机程序,它能够从网上搜索并扫描特定的关键字,尤其是商业服务,返回的它们发现的资料清单,抓取搜索引擎数据库的信息主要通过接收想要发表自己作品的作家的清单或者通过“网络爬虫”、“蜘蛛”或“机器人”漫游互联网捕捉他们访问过的页面的相关链接和信息。 网络爬虫是一个能够自动获取万维网的信息程序。网页检索是一个重要的研究课题。爬虫是软件组件,它访问网络中的树结构,按照一定的策略,搜索并收集当地库中检索对象。本文的其余部分组织如下:第二节中,我们解释了Web爬虫背景细节。在第3节中,我们讨论爬虫的类型,在第4节中我们将介绍网络爬虫的工作原理。在第5节,我们搭建两个网络爬虫的先进技术。在第6节我们讨论如何挑选更有趣的问题。 调查网络爬虫网络爬虫几乎同网络本身一样古老。第一个网络爬虫,马修格雷浏览者,写于1993年春天,大约正好与首次发布的OCSA Mosaic网络同时发布。在最初的两次万维网会议上发表了许多关于网络爬虫的文章。然而,在当时,网络
i现在要小到三到四个数量级,所以这些系统没有处理好当今网络中一次爬网固有的缩放问题。显然,所有常用的搜索引擎使用的爬网程序必须扩展到网络的实质性部分。但是,由于搜索引擎是一项竞争性质的业务,这些抓取的设计并没有公开描述。有两个明显的例外:股沟履带式和网络档案履带式。不幸的是,说明这些文献中的爬虫程序是太简洁以至于能够进行重复。原谷歌爬虫(在斯坦福大学开发的)组件包括五个功能不同的运行流程。服务器进程读取一个URL出来然后通过履带式转发到多个进程。每个履带进程运行在不同的机器,是单线程的,使用异步I/O采用并行的模式从最多300个网站来抓取数据。爬虫传输下载的页面到一个能进行网页压缩和存储的存储服务器进程。然后这些页面由一个索引进程进行解读,从6>HTML页面中提取链接并将他们保存到不同的磁盘文件中。一个URL 解析器进程读取链接文件,并将相对的网址进行存储,并保存了完整的URL到磁盘文件然后就可以进行读取了。通常情况下,因为三到四个爬虫程序被使用,所有整个系统需要四到八个完整的系统。在谷歌将网络爬虫转变为一个商业成果之后,在斯坦福大学仍然在进行这方面的研究。斯坦福Web Base项目组已实施一个高性能的分布式爬虫,具有每秒可以下载50到100个文件的能力。Cho等人又发展了文件更新频率的模型以报告爬行下载集合的增量。互联网档案馆还利用多台计算机来检索网页。每个爬虫程序被分配到64个站点进行检索,并没有网站被分配到一个以上的爬虫。每个单线程爬虫程序读取到其指定网站网址列表的种子从磁盘到每个站点的队列,然后用异步I/O来从这些队列同时抓取网页。一旦一个页面下载完毕,爬虫提取包含在其中的链接。如果一个链接提到它被包含在页面中的网站,它被添加到适当的站点排队;否则被记录在磁盘。每隔一段时间,合并成一个批处理程序的具体地点的种子设置这些记录“跨网站”的网址,过滤掉进程
网络爬虫技术浅析 在当今社会，越来越多的人使用互联网看视频，听音乐，查资料等等，使得网络上的数据越来越多。人们想从海量的数据中获取到自己想要的知识，靠人力浏览很难实现查找到需要的东西，除非运气相当好。这个时候搜索引擎就出现了，搜索引擎可以通过关键字，查找网页并显示在用户面前，用户可以得到有用的信息。在搜索引擎中非常关键的数据来源来自一种很神奇的技术：网络爬虫技术，它构成了搜索引擎的基础部分。 网络爬虫的基本概念 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。 一、网络爬虫的历史 1994年的1月份，第一个既可搜索又可浏览的分类目录EINetGalaxy上线了。它之后才出现了雅虎，直至我们现在熟知的Google、百度。但是他们都不是第一个吃搜索引擎这个螃蟹的人。从搜索FTP上的文件开始，搜索引擎的原型就出现了，那时还未有万维网，当时人们先用手工后用蜘蛛程序搜索网页，但随着互联网的不断壮大，怎样能够搜集到的网页数量更多、时间更短成为了当时的难点和重点，成为人们研究的重点。 1994年7月20日发布的Lycos网站第一个将“蜘蛛”程序接入到其索引程序中。引入“蜘蛛”后给其带来的最大优势就在于其远胜于其它搜索引擎的数据量。自此之后几乎所有占据主导地位的搜索引擎中，都靠“蜘蛛”来搜集网页信息。 通用网络爬虫和聚焦网络爬虫的工作原理 网络爬虫是搜索引擎的重要组成部分，它是一个自动提取网页的程序，为搜索引擎从网上下载网页. 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。与传统爬虫相比，聚焦爬虫的工作流程则较为复杂，需要根据一定
常用免费外文全文数据库 1.SpringerLINK数据库 德国施普林格(Springer-Verlag)是世界上著名的科技出版集团, 通过SpringerLink系统提供其学术期刊及电子图书的在线服务。2002年7月开始，Springer公司和EBSCO/Metapress 公司在国内开通了SpringerLink服务。 访问方式：镜像服务器(本校读者无需登录)、国外站点（用户需登录出国并自付国际网络通信费）。 访问权限：校园网IP地址范围。 访问全文：(PDF格式)需要使用Acrobat Reader软件，如需安装，可由此下载Acrobat Reader。 2.EBSCOhost数据库 EBSCO公司通过国际专线提供检索服务，校园网的用户检索、下载无需支付国际网络通信费。采用IP控制访问权限，不需要帐号和口令。 3.WorldSciNet数据库 WorldSciNet为新加坡世界科学出版社(World Scientific Publishing Co.)电子期刊发行网站，该出版社委托EBSCO / MetaPress 公司在清华大学图书馆建立了世界科学出版社全文电子期刊镜像站. 4.Ptics Express Optics Express由美国光学学会创办，刊登光学技术领域方面的报告和新进展。提供1997年创刊以来的全部文献，以平均49天一期的速度出版，并支持彩色图像和多媒体文件。 网站地址：https://www.doczj.com/doc/ec4181843.html,/ 创建者：Optical Society 0f America 5.New Journal 0f Physics New Journal 0fPhysics由英国皇家物理学会和德国物理学会出版，提供1998年创刊以来的全部文献。所有用户可免费获取电子版文章。 网站地址：https://www.doczj.com/doc/ec4181843.html, 创建者：Institute of Physics & German Physical Society 6.The Journal of Machine Learning Research The Journal of Machine Learning Research由麻省理工学院出版，是机械研究领域的优质学术性论文的平台，用户可下载2000年创刊以来的全部文章。 网站地址：https://www.doczj.com/doc/ec4181843.html,/ 创建者：MIT Press 7.Journal of Insect Science Journal of Insect Science由亚利桑那大学图书馆创办。它收集整理网上发布的有关昆虫生物学和节枝动物生态学的论文。可下载从2001年创刊至今的全部文献。 网站地址：https://www.doczj.com/doc/ec4181843.html,/ 创建者：Library of the University of Arizona 8.Geometry & Topology GTP：Geometry＆Topology Publication是英国沃里克大学的数学系建立的，GT是国际化的数学类在线期刊，内容涉及几何学、拓扑学及其应用等领域。提供如下三种期刊的所有文献：Geometry＆Topology(1997年创刊至今)，Geometry＆Topology Monographs(1998年
信息科技英语翻译之汉译英课外练习（01） 因特网搜索工具分为两大阵营：搜索引擎，如HotBot和AltaVista，以及在线目录，如Yahoo和Lycos。两者间的差别与它们如何编撰网站编目有关。当然，对任何规律都有例外。有些搜索实用程序，如Ask Jeeves，把搜索引擎和目录方法合并成单一的软件包，希望把这两个阵营中最好的东西提供给用户。 在基于目录的搜索服务中，Web网站编目是手工编撰的。比如一直流行的Yahoo就指定专门的人力资源来接受用户对网站的建议，并对建议进行评价和分类，再把它们加到Yahoo网站上特定目录中。 通常是通过简单地填写在线表格就能把你的网站信息提交给(搜索引擎)。例如，在Yahoo 网站上，你可以在www．yahoo．com/docs/info/include．htm1上找到提交信息。由于人工干预对处理、验证和评价提交请求是必要的，所以在网站在基于目录的搜索服务中捕捉到一处之前，可望有些延迟。 另一方面，搜索引擎完全实现了编撰过程的自动化，彻底消除了人工干预。 一个叫做蜘蛛或爬虫的软件机器人自动地在整个Web上取出站点，阅读页面和跟随相关的链接。通过设计，蜘蛛可以周期性地返回到站点，检查新的页面和修改已有页面。 蜘蛛爬行得到的结果记录在搜索引擎的索引或目录中。已知了因特网上可资利用的信息的价值，对索引扩张到非常大的规模是不会感到惊讶的。例如，AltaVista的索引最近已增至3．5亿页而名列前茅。这个数字看来好像非常大，但总体估计它仅代表了Web上不足35%的页面。 由于已编索引的信息的深度与广度(非常大)，所以通常在“蜘蛛爬行过”站点的时间与出现在搜索索引中的时间之间有一个延迟，有时多达几周。只有这两步的过程完成之后，站点才能供搜索查询使用。 最后，每个搜索引擎的心脏是一种算法，它将关键字查询与索引中的信息匹配起来，并按算法认为最有关联的顺序把结果列出。 由于每种搜索引擎的蜘蛛、产生的索引和搜索算法都是不一样的，所以在不同搜索引擎上的搜索结果和排列次序是不同的。这就解释了为什么当相同的关键字搜索准则输入进去时，HotBot中排在最前面的10个站点不会出现在AltaVista中最前面的站点中。 此外，很多(但不是所有的)搜索实用程序也引用元标记(文档中用来描述其内容的、看不见的HTML标记)，作为控制内容如何编索引的方法。因此，在整个站点中正确使用元标记也能提高(此站点)在搜索引擎中的排列名次
在IEEE通信学会的主题专家的方向在IEEE ICC这全文论文同行评审的出版2009程序 敏感数据要求：做网站询问是否正确？ 克雷格A.树和Minaxi古普塔 计算机科学系 印第安纳大学 {cshue，minaxi}@https://www.doczj.com/doc/ec4181843.html,
摘要：为了确保敏感的Web内容的安全性，一个组织必须使用TLS以确保这样做正确。然而，很少有人知道如何使TLS实际使用在网站上。在这项工作中，我们进行大规模的网络范围内的测量，以确定如果网站需要使用TLS的时候，当他们这样做，确保他们使用它正确。我们发现，其中TLS几十万页要么不使用要么使用不当，将会使敏感数据处于危险之中。 引言 该网站提供了电子商务前所未有的机遇。 此类交易的安全性是一般 通过使用传输层安全提供 性（TLS）协议[1]，在标准跟踪安全的后继 套接字层（SSL）协议。TLS允许客户端验证 他们访问和服务器的真实性保证 在客户端之间的通信的保密性和 服务器安全。虽然以前的工作分析TLS证书和 该协议本身，很少的工作重点在其网站上使用。 本文由愿望所驱使，了解TLS是怎么 在今天的网络上被使用的。Web内容的很大一部分是公开可用的，并且不要求保密性。在 很多情况下，如阅读新闻的文章或使用搜索 发动机，TLS保护的好处不超过 性能开销与该协议有关。在 其他情况下，敏感信息被发送并应 通过TLS进行保护。然而，仅仅使用TLS不 够了;它仍然必须正确使用。调查TLS 使用在网络上，我们提出两个主要问题：是否有 在网络上的网站，不使用TLS时，他们应注意什么？做到这一点使用TLS这样做正确的网站？动力 对于第一个问题是敏感信息可能 通过窃听者很容易被截获，除非使用TLS。 第二个问题是通过观察，TLS动机 保护必须从Web服务器发送一个表格前 到客户端。否则，将含有一个表格页可以 被攻击者改变，允许敏感截取 数据。几大机构，包括https://www.doczj.com/doc/ec4181843.html,， https://www.doczj.com/doc/ec4181843.html,，或https://www.doczj.com/doc/ec4181843.html,，建立了TLS 客户端后，保护已下载的网页，但在此之前 提交表单数据。这种做法，被称为安全的岗位，是通常由具有高体积的组织 用户流量从未签署到页面上的表单。此 特别常见的，当窗体出现在主 一个网站的页面。这些组织使用安全后，以避免 与TLS的nonauthenticating相关的性能开销
开题报告如何写 注意点 1.一、对指导教师下达的课题任务的学习与理解 这部分主要是阐述做本课题的重要意义 2.二、阅读文献资料进行调研的综述 这部分就是对课题相关的研究的综述落脚于本课题解决了那些关键问题 3.三、根据任务书的任务及文件调研结果，初步拟定执行实施的方案（含具体进度计划） 这部分重点写具体实现的技术路线方案的具体实施方法和步骤了，具体进度计划只是附在后面的东西不是重点
南京邮电大学通达学院毕业设计(论文)开题报告 题目基于python的网络爬虫系统的设计与实现 学生姓名徐亚洲班级学号12003426 专业软件工程 一、对指导教师下达的课题任务的学习与理解 随着网络的快速发展和广泛应用，大数据时代的到来，网络就像一个巨大的数据宝库，如何快速获取其中的数据资源成为亟待完成的新需求。然而网络上的信息资源大多是无组织并且动态变化的，光靠管理员手工去管理，很难将这些庞大，繁杂的数据进行有效的保存和利用，这就促使了网络爬虫技术的兴起。 网络爬虫源自Spider(或Crawler、robots)等的意译。网络爬虫的定义有广义和狭义之分，狭义的定义为：利用标准的http协议，根据超链接和Web文档检索的方法遍历万维网信息空间的软件程序。广义的定义为：所有能利用http协议检索Web文档的软件都称之为网络爬虫。 网络爬虫又被称为做网络蜘蛛、网络机器人，主要用于网络资源的收集工作。是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 网络爬虫已经发展了很多年，并且搜索引擎也是爬虫的一种应用，通过搜索引擎能够更快速的获得有用的数据和信息。但是，一些通用性的搜索引擎也存在着一定的局限性，通用搜索引擎返回的结果可能包含了大量用户不关心的网页内容，而且通用搜索引擎有限的服务器资源与无限的网络资源之间存在的矛盾进一步加深，还有，就是通用搜索引擎不能支持给据语义的信息提出的查询和搜索。所以学习网络爬虫有很大的意义。因此，本课题基于Python编写基本的爬虫系统，用于网路爬虫的入门，为以后的爬虫学习奠定基础。 所以，对于本课题我设计并实现以个关于入门爬虫的系统----基于python的豆瓣网爬虫系统。二、阅读文献资料进行调研的综述 网络爬虫是一个功能很强大的自动提取网页的程序，它为搜索引擎从万维网下载网页，是搜索引擎的重要组成部分。它通过请求站点上的html文档访问某一个站点。它遍历Web空间，不断从一个站点移动到另一个站点，自动建立索引，并加入到网页数据库中。网络爬虫进入某个超级文本时，利用html语言的标记结构来搜索信息，及获取指向其他超级文本的url地址，可以完全不依赖于用户的干预实现网络上的自动“爬行”和搜索。 本课题需要用MySQL来存取从网页上抓去到的数据，文献[1]讲述了MySQL数据库的入门知识，该，学习该文献能够做到MySQL数据库的基本存取操作，满足本课题的实际操作要求。文献[2] 和文献[3]讲述了Python的入门教程和Python的编程入门，通过学习文献可以了解Python的基本语法和Python的基本编程方法，对于本课题程序编写，能够拥有大概的思路和想法。文献[4]中提供了开发了一款支持并行的微博数据抓取工具的基本思路，该工具可以实时抓取微博中指定用户的粉丝信息、微博正文等内容;该工具利用关键字匹配技术,匹配符合规定条件的微博,并抓取相关内容。并且支持并行抓取信息。并行爬虫拥有较好的加速比，可以快速抓取数据。
问题1 利用EBSCO的ASP数据库检索文献篇名中含有CD-ROM或DVD技术方面的文献，其他项默认，下面正确的表达式为： 正确答案：TI (cd rom or dvd) and TI technolog* 问题2 EBSCO数据库中的哪个字库收录有期刊《US-China Foreign Language》？ 正确答案：Academic Search Premier 问题3 SpringerLink将收录的所有文献类型按期刊、图书、丛书、参考工具书、实验室指南等进行划分。 正确答案：对 问题4 在EBSCO数据库中检索时，检索字段代码TI、SO、AU、TX依次表示的是： 正确答案 1. 标题 2. 来源出版物 3. 作者 4. 全文 问题5 EBSCO系列数据库中的Academic Search Complete 子库提供的检索途径包括： 正确答案：Title Author Journal Name 问题6 EBSCO数据库中，检索字 段代码为TI、SO、AU分别 表示的是： 正确答案：题名、刊 名、作者 问题7 用EBSCO数据库检索时， 如果想扩大检索结果的数 量，可以采用下列哪些措 施？ 正确答案：增加同义 词或上位词 使用截词检索 将检索字段Title改为 ALL Text 问题8 从概念之间的关系，判断 下列检索策略，那些是符合 逻辑的？ 正确答案：cycle OR bicycle bank AND management 问题9 输入wom?n可检索到包含 以下单词的文献： 正确答案：woman women 问题10 EBSCO数据库中的ASC 是学术期刊集成全文数据 库Academic Search Complete的简称。 正确答案：对 问题11 在外文数据库检索时，遇 有Fulltext链接时，说明该 库可提供原文。 正确答案：对 问题12 在外文数据库检索时，使 用截词检索可以提高信息 检索的查全率，但是可能会 降低信息检索的查准率。 正确答案：对 问题13 检索表达式computer/ti指 的是在什么字段中检索含
基于C++的网络爬虫的设计与实现的研究综述 作者：xxx 指导老师：xxx 摘要：本文归纳了网络爬虫的设计与实现方面的研究内容，概括了网络爬虫的定义与爬取策略、网络爬虫的体系结构、设计网络爬虫的关键问题以及爬虫身份的识别等方面的观点，并总结了如何通过一个或多个给定的种子网站，将网站上相应的网页抓取下来，并将其存入数据库或文本文件中的研究成果。本文也指出了如何通过解决传统的通用搜索引擎在某些领域的局限性，帮助人们更加有效地提取与利用互联网信息，进而提高人们在检索信息效率方面的研究需求。最后，本文提出了一个满足用户需求的网络爬虫的开发方案。 关键词：网络爬虫；通用搜索引擎；互联网 The Design and Implementation of Web Spider Based on C++ Author:xxxTutor: xxx Abstract：This paper summarizes the research about the design and implementation of the web spider, summarizesthe view aboutthe definition of web spider, the crawling strategy of the web spider, the architecture of the web spider, the key issues to design the web spider and identification of the web spider ,and summarizes the research about how to catch the web-pages which links to the corresponding web site through one or more given seed site, and then stores it into a database or text file . The paper also points out how to solve the limitations of the Traditional General Search Engine in some areas , help people more effectively extract the information and make use of the Internet, then improve people’sresearch needs in the area of information retrieval. In the end, the paper proposesa web spider development planwhich can meet the user’s needs. Keywords:WebSpiders ;Tradition Universal Search Engine ; Internet