全文搜索引擎的设计与实现
前言
面对海量的数字化信息，搜索引擎技术帮助我们在其中发现有价值的信息与资源。我们可以通过google、百度这样的搜索引擎服务提供商帮助我们在Internet上搜索我们需要的信息。但是在一些没有或不便于连入Internet的内部网络或者是拥有海量数据存储的主机，想要通过搜索来发现有价值的信息和资源却不太容易。所以开发一个小型全文搜索引擎，实现以上两种情况下的信息高效检索是十分有必要的。本设计着眼于全文搜索引擎的设计与实现，利用Java ee结合Struts,Spring,Hibernates以及Ajax等框架技术，实现基于apache软件基金会开源搜索引擎框架Lucene下的一个全文搜索引擎。
正文
搜索引擎技术起源1990年，蒙特利尔大学学生Alan Emtage、Peter Deutsch和Bill Wheelan出于个人兴趣，发明了用于检索、查询分布在各个FTP主机中的文件Archie，当时他们的目的仅仅是为了在查询文件时的方便，他们未曾预料到他们的这一创造会成就日后互联网最的广阔市场，他们发明的小程序将进化成网络时代不可或缺的工具——搜索引擎。1991年，在美国CERFnet、PSInet及Alternet网络组成了CIEA （商用Internet
协会）宣布用户可以把它们的Internet子网用于商业用途，开始了Internet商业化的序幕。商业化意味着互联网技术不再为科研和军事领域独享，商业化意味着有更多人可以接触互联网，商业化更意味着潜在的市场和巨大的商机。1994年，Michael Mauldin推出了最早的现代意义上的搜索引擎Lycos，互联网进入了搜索技术的应用和搜索引擎快速发展时期。以上是国际互联网和搜索引擎发展历史上的几个重要日子。互联网从出现至今不过15年左右时间，搜索引擎商业化运作也就10年左右。就在这短短的10年时间里，互联网发生了翻天覆地的变化，呈爆炸性增长。于此同时也成就了google、百度这样的互联网巨头。今天，当我们想要在这片广阔的信息海洋中及时获得想要查找的信息时，已经离不开搜索引擎了。
相关技术
1.Lucene
谈到搜索引擎除了google、百度这些互联网巨头，在开源界也有很好的全文检索引擎的架构——Lucene。Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。作为一个开放源代码项目，Lucene从问世之后，引发了开放源代码社群的巨大反响，程序员们不仅使用它构建具体的全文检索应用，而且将之集成到各种系统软件中去，以及构建Web应用，甚至某些商业软件也采用了Lucene作为其内部全文检索子系统的核心。apache软件基金会的网站使用了Lucene作为全文检索的引擎，IBM的开源软件eclipse的2.1版本中也开始采用了Lucene作为帮助子系统的全文索引引擎，相应的IBM的商业软件Web Sphere中也采用了Lucene。Lucene以其开放源代码的特性、优异的索引结构、良好的系统架构获得了越来越多的应用。Lucene是一个高性能、可伸缩的信息搜索(IR)库。它使你可以为你的应用程序添加索引和搜索能力。Lucene是用java实现的成熟的、免费的开源项目，是著名的Apache Jakarta大家庭的一员，并且基于在Apache软件许可[ASF, License]。同样，Lucene 是当前与近几年内非常流行的免费的Java信息搜索(IR)库。Lucene作为一个全文检索引擎，其具有如下突出的优点：
（1）索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。
（2）在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。
（3）优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。
（4）设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。
（5）已经默认实现了一套强大的查询引擎，用户无需自己编写代码即使系统可获得强大的查询能力，Lucene的查询实现中默认实现了布尔操作、模糊查询（Fuzzy Search[11]）、分组查询等等。
2.Java EE
Java EE（Java Platform，Enterprise Edition）是sun公司推出的企业级应用程序版本。这个版本以前称为J2EE。能够为我们帮助开发和部署可移植、健壮、可伸缩且安全的服
务器端Java 应用程序。Java EE 是在Java SE 的基础上构建的，它提供Web 服务、
组件模型、管理和通信API，可以用来实现企业级的面向服务体系结构（service-oriented architecture，SOA）和Web 2.0 应用程序。
Java，是由Sun Microsystems公司于1995年5月推出的Java程序设计语言和Java平台的总称。用Java实现的HotJava浏览器（支持Java applet）显示了Java的魅力：跨平台、动态的Web、Internet计算。从此，Java被广泛接受并推动了Web的迅速发展，常用的浏览器现在均支持Java applet。
3.Struts2
Struts2为服务于Web的一种MVC框架, 是在struts 和WebWork的技术基础上进行了
合并的全新的MVC框架。Struts 2以WebWork为核心，采用拦截器的机制来处理用户
的请求，这样的设计也使得业务逻辑控制器能够与Servlet API完全脱离开。
4.Hibernate
Hibernate是一个开放源代码的对象关系映射框架，它对JDBC进行了非常轻量级的对象封装，使得Java程序员可以随心所欲的使用对象编程思维来操纵数据库。Hibernate可以应用在任何使用JDBC的场合，既可以在Java的客户端程序使用，也可以在Servlet/JSP 的Web应用中使用，最具革命意义的是，Hibernate可以在应用EJB的J2EE架构中取代CMP，完成数据持久化的重任。
5.Spring
Spring是一个开源框架，是为了解决企业应用程序开发复杂性由Rod Johnson创建的。框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为J2EE 应用程序开发提供集成的框架。Spring使用基本的JavaBean来完成以前只可
能由EJB完成的事情。然而，Spring的用途不仅限于服务器端的开发。从简单性、可测试性和松耦合的角度而言，任何Java应用都可以从Spring中受益。Spring使用基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅限于服务器端的开发。从简单性、可测试性和松耦合的角度而言，任何Java应用都可以从Spring中
受益。
6.Ajax(Asynchronous JavaScript And XM)
AJAX 不是一种新的编程语言，而是一种用于创建更好更快以及交互性更强的Web 应用程序的技术。通过AJAX，JavaScript 可使用JavaScript 的XMLHttpRequest 对
象来直接与服务器进行通信。通过这个对象，您的JavaScript 可在不重载页面的情况与Web 服务器交换数据。AJAX 在浏览器与Web 服务器之间使用异步数据传输（HTTP 请求），这样就可使网页从服务器请求少量的信息，而不是整个页面。AJAX 是一种
独立于Web 服务器软件的浏览器技术。AJAX 基于下列Web 标准：JavaScript XML HTML CSS 在AJAX 中使用的Web 标准已被良好定义，并被所有的主流浏览器支持。AJAX 应用程序独立于浏览器和平台。Web 应用程序较桌面应用程序有诸多优势；它们能够涉及广大的用户，它们更易安装及维护，也更易开发。通过AJAX，因特网应用程序可以变得更完善，更友好。
7.Tomcat
Tomcat 很受广大程序员的喜欢，因为它运行时占用的系统资源小，扩展性好，支持负载平衡与邮件服务等开发应用系统常用的功能；而且它还在不断的改进和完善中，任何一个感兴趣的程序员都可以更改它或在其中加入新的功能。
Tomcat 是一个轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。对于一个初学者来说，可以这样认为，当在一台机器上配置好Apache 服务器，可利用它响应对HTML 页面的访问请求。实际上Tomcat 部分是Apache 服务器的扩展，但它是独立运行的，所以当你运行tomcat 时，它实际上作为一个与Apache 独立的进程单独运行的。
总结
全文搜索引擎已经成为人们在信息化时代中检索信息不可缺少的工具。本设计将lucene这一开源的搜索引擎框架，结合Java Web开发流行的SSH、Ajax等技术，实现一个可以在小型局域网或海量文件存储的主机上进行数据检索的引擎。并且通过Spring可以实现灵活的配置。为无法使用互连网搜索引擎下的海量数据检索，提供了一个很好的解决方案。
参考文献
[1] (美)Otis Gospodnetic Erik Hatcher 编著，谭鸿、黎俊鸿、周鹏、高承山译，.Lucene
in Action中文版.电子工业出版社. 2007-01
[2]张思民，Java开发技术与工程实践.清华大学出版社.2010-11
[3]邱哲、符滔滔、王学松编著.开发自己的搜索引擎---Lucene+Heritrix（第2版）.
人民邮电出版社.2010-1-1
[4]李刚，轻量级Java EE企业应用实战（第3版）.电子工业出版社. 2011-3-1
[5]（英）Jeremy Keith编著，杨涛王建桥杨晓云译，JavaScript DOM编程艺术.人
民邮电出版社.2007-01
[6] (美) Bruce Eckel编著，陈昊鹏译, Java编程思想(第4版) .机械工业出版
社.2007-06
[7] (美)梅特斯克、（美）韦克著，龚波、赵彩、陈蓓译, Java设计模式.人民邮电出
版社. 2007-03
[8]张思民编著, Java语言程序设计.清华大学出版社.2007.2.
SEO是英文Search Engine Optimization 的缩写，翻译成中文，意思就是“搜索引擎优化”。SEO的主要工作是通过了解各类搜索引擎在抓取页面时的不同特征，针对各类 搜索引擎制定不同的优化方针，使得所要优化网站的排名上升，进而达到提升网站流 量乃至最终达到提升网站销售能力和宣传网站的目的。 在国外，SEO开展较早，那些专门从事SEO的技术人员被Google称之为“Seach Engine Optimizers”。在国外，最大的搜索引擎供应商是Google，而在国内，最大的搜索引擎供应商是搜罗。因此，Google成为国外SEO的主要研究对象；而在国内，则主要是搜罗。 当今，随着搜索引擎的飞速发展以及排名算法机制的不断更新，SEO技术及其队伍也在近些年来飞速发展和壮大，人们对SEO技术的认可和重视也与日俱增。 在讨论搜索引擎优化之前，首先简单地谈一下搜索引擎的工作原理。研究搜索引擎优 化实际上就是对搜索引擎工作过程的逆向推理，因此，学习搜索引擎优化首先要了解 搜索引擎的工作原理。搜索引擎主要包括全文搜索引擎（搜罗、Google），目录搜索 引擎，元搜索引擎三大类。以下主要介绍全文搜索引擎的工作原理。 搜索引擎的主要工作包括：页面收录、页面分析、页面排序及关键字查询。 (1).页面收录： 页面收录就是指搜索引擎在互联网中进行数据采集，然后将采集到的数据存放到自己的数据库中，这是搜索引擎最基础的工作。搜索引擎是根据页面的URL 地址找到网页，然后利用蜘蛛程序抓取网页。 (2).页面分析： 页面分析指搜索引擎对收录的页面将进行一系列的分析、处理，
主要包括：过滤标签提取网页正文信息，对正文信息进行切词处理，建立关键字与页面间的索引等，为用户的查询做好准备。 用户向搜索引擎提交关键字查询信息后，通常会返回多个结果页面，决定页面排序的 主要因素包括页面相关性和链接权重，做优化工作的主要任务也就是想办法提高页面 的相关性和链接权重，页面相关项性主要由关键字匹配度、关键字密度、关键字分布 及权重标签等决定，链接权重包括内部链接权重和外部链接权重，其中外部链接权重 影响较大。最后就是用户进行关键字查询。 谈完了搜索引擎的工作原理，接下来就要是网站推广中最重要的环节了，即SEO 搜索引擎优化。一般来说，SEO搜索引擎优化存在着两种截然不同的方式：一种是以 正常的方式或者说搜索引擎允许的方式进行优化；而另一种则是以一种作弊的形式来 进行优化。对于这两种方法，不能只是单纯地赞扬或者反对，而应该客观地予以观察。第一种方式追求的是稳以及安全，而第二种方式则风险与利益相挂钩。风险小了，回 报也就少了；而当风险很大时，利益有时候也很大。 在这里，主要讲的是第一种方法，因为第一种方法实际操作起来是比较困难的，而且对于网站的风险性很大，不建议新手去做。新手只需要一步一个脚印，慢慢坚持下去，就会有所成就的。 SEO搜索引擎优化一般来说可以分为两类：网站内部SEO搜索 引擎优化和网站外部的SEO搜索引擎优化。 （一） 网站内部SEO搜索引擎优化 网站内部SEO搜索引擎优化的主要内容有：网站结构优化、网 页代码优化、关键字优化、站内链接优化等。 （1）网站结构优化。
第四代搜索引擎前沿综述 刁轶夫3061401080 2010年5月 1．介绍 随着因特网的普及，网上信息的发展呈现两个基本的趋势：规模的爆炸性增长，覆盖领域的不断扩大。如何在海量，非结构化信息中，提取对用户有用的信息是信息时代的核心课题。搜索引擎正是通过对信息的自动搜集，索引，在用户发出请求时经过实时排序，为用户呈现其最有价值的信息。 由搜索引擎衍生而来的关键词广告产生了巨大的商业价值，并造就了谷歌、百度等互联网巨头。但同时，谷歌以pagerank为核心的第三代搜索引擎已经不能满足日益增长的需求，数据量的增长和数据覆盖范围的增加迫切呼唤第四代搜索引擎。 我认为，第四代搜索将把个性化信息及人际推荐关系叠加到链接分析上，大大改善搜索结果排序效果；同时，跨媒体搜索将实现诸如用图片搜索图片等功能，打通文字，图片，视频，声音的界限，颠覆现在全部基于关键字的搜索方法，为用户带来更加直观的搜索体验。 2．搜索引擎发展历史及趋势 2.1 搜索引擎发展历史 从Lycos和Yahoo的时代到现在，搜索引擎的发展已经经过了三代。Andrei[1]的文章中对前三代搜索引擎的特征做了描述： Google经过改进Pagerank和一系列技术，演化至第三代，而第四代搜索引擎有大量公司如Cuil,Quora探索，但还未形成成熟的产品。 下图援引自Google创始人论文[2]，说明第二代，第三代搜索引擎的主要原理： 首先搜索引擎通过爬虫技术（Crawler），根据网页链接爬取互联网内容；然后建立倒排索引(Inverted Index)；同时通过Pagerank技术，基于random walk的思想计算出每个网页的Pagerank。前面几步都是独立于用户查询进行的。当用户提交查询关键词后，搜索
多方位剖析搜索引擎排名 各位SEO朋友，接触SEO这么久，也看了不少达人们写的文章，也有很多专业性很强的文章，也有很多实用性的内容。其中大家一直关注并为这个问题烦恼，也是在为这个问题不断的寻找答案，那就是搜索引擎排名的问题，咋们做优化先抛开营销不说，都是在追求高的排名和流量，这个也是做优化的根本目的，各位seoer也是为了达到这个目的想了很多的办法，可谓是不折手段。通过这半年的时间我也对此做了简单的积累和总结。下面就一一分享给大家。 首先我想说的最核心的三点是一个领域的网站的相关度、重要度和权威度。可能这核心的三点大家都是司空见惯，也是老生常谈的。但是我们在做网站的时候真正顾及全面的很少，我们需要把这三点谨记在心，时刻提醒自己在优化的过程中去向这个靠拢，最终实现目标。其中我们要知道网站排名的影响因素： 影响搜索引擎排名的因素： 第一点：网站标题标签关键字; 第二点：导入链接锚文字; 第三点：网站整体链接权威度; 第四点：网站年龄; 第五点：网站内部链接的流行度; 第六点：导入链接主题相关性; 第七点：网站在相关话题社区中的链接流行度; 第八点：页面文字中使用关键字; 地九点：链接来源网站的整体链接流行度; 上面列出了九点，我们可以看看你有哪些做的不好，有哪些是做的比较好，还有就是你没有注意到的地方，可以试着去改善给自己做一个总结。 搜索引擎怎么判别这些因素： 在这里要我们要引入几个概念，看看搜索引擎是怎么来判别这些因素的，我才疏学浅，可能介绍的比较简单，大家可以试着去理解。主要也是三点：文件分析、语义分析、和链接分析。当用户搜索某个关键词搜索信息的时候，搜索引擎会通过文件分析和语义分析来判定它的索引库的那些内容会出现该搜索结果中，在通过链接分析来判定什么内容和页面排名靠前，从而获得更好的排名。这也是seoer根本的目标：被索引有排名。
龙源期刊网 https://www.doczj.com/doc/356656732.html, 基于JAVA技术搜索引擎的设计与实现 作者：刘智勇 来源：《数字技术与应用》2017年第05期 摘要：随着科技的进步与发展，互联网成为21世纪的宠儿，网络信息也复杂多样。这些繁杂的网络信息在给我们带来便利的同时也产生了极大的问题，比如如何在这海量的信息里面找到自己所需要的内容，成为当前互联网技术的热门领域。互联网信息复杂多样，因此想要迅速、快捷的找到所需要的信息内容，就需要搜索引擎来帮忙实现。本文就对搜索引擎的工作原理，组成和数据结构等方面进行分析，对搜索引擎未来的发展方向进行探索。众所周知，智能化是未来的一个大的趋势，想要实现搜索引擎的智能化，就需要使搜索引擎具备自我学习的能力，适应用户的查询需求。 关键词：搜索引擎；智能化；信息检索 中图分类号：TP391.3 文献标识码：A 文章编号：1007-9416（2017）05-0205-01 1 搜索引擎概述 随着信息时代的来临，互联网的迅速普及应用，已经成为我们正常生活中不可或缺的一部分。因为互联网信息具备共享等多种特性，使得网络信息成倍的增加。谷歌公司所收录的网页信息都已经过亿，而且每天还在不断的攀升，想要在这么多数据里面，选取对自己有用的信息，就需要借助搜索引擎来进行实现。 搜索引擎是从1994年诞生，随着互联网的信息日益增多，搜索引擎也在不断的发展，从1994年到现在历经三个阶段。搜索引擎的第一个阶段就是1994年到1996年，这个阶段的搜索引擎以集中式检索为主。当时网络信息并没有很多，一般都是少于百万的网页，也没有索引，检索速度也非常慢。也是采用网络、数据库等关键技术来实现。第二个阶段是1996年到1998年，这个期间，搜索引擎采用分布式检索方案，使用多个微型计算机来协同工作，其目的是为了提高数据规模和响应速度。一般可以响应千万次的用户检索请求。第三代搜索引擎，就当前所使用的搜索引擎，也是搜索引擎极为繁荣的时期。它拥有完整的索引数据库，除了一般的搜索，还有主题搜索和地域搜索。但是这些搜索结果反馈给用户的数据量较大，检索结果的相关度又成为研究的核心。 我们通常所用的搜索引擎也分为多种，按照信息的搜集方法和服务提供方式的不同进行区分，常用的有三类，第一，目录式搜索引擎。它是以人工方式进行信息的搜集，由编辑员进行审查并制作成信息摘要，将其进行分类置入架构中去。这类搜索方式的搜索结果准确，信息质量高，但是需要大量的人工成本，信息更新不及时，维护量大。第二，机器人搜索引擎。就是我们常说的网络爬虫，是由一个网络蜘蛛的机器人程序以某种策略自动地在互联网中搜集和发现信息，这种信息查询方式是由索引器完成的。索引器为搜集到的信息建立一个完整的索引，
搜索引擎论文题目（热门标题100个） 搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。下面是100个关于搜索引擎论文题目，供大家参考。 搜索引擎论文题目一： 1、搜索引擎商标侵权法律问题研究 2、搜索引擎中的伦理失范问题与治理研究 3、中文学术搜索引擎比较研究 4、利用搜索引擎数据模拟疾病空间分布 5、大学生网络信息搜索行为实证研究——基于搜索引擎的利用 6、跨设备搜索引擎结果页面注意力分布研究——基于眼动视觉数据的实证分析 7、基于Lucene的新闻垂直搜索引擎设计与实现 8、基于更新信息的网页机器理解及其在站内搜索引擎中应用 9、利用学术搜索引擎及学术论坛提高大学生研究性学习效率 10、基于大数据的有声图书馆搜索引擎设计 11、基于Redis的分布式搜索引擎研究 12、大数据搜索引擎下的知识产出机制研究
13、“老狐狸”施密特:带领谷歌从搜索引擎变身7000亿美元市值科技巨头 14、基于搜索引擎数据的流感监测预警 15、竞价排名中搜索引擎服务提供商的审查义务范围研究 16、论搜索引擎公司的社会责任 17、电商营销精确搜索引擎的优化设计与实现 18、电子商务专业“学赛创”一体化教学模式的设计与实践——以《搜索引擎优化》课程为例 19、基于Google API的全文搜索引擎系统 20、基于知网与搜索引擎的词汇语义相似度计算 21、国内可视化搜索引擎研究进展:领域应用与系统实现 22、开源搜索引擎Elasticsearch和Solr对比和分析 23、如何免费从搜索引擎获取SEO流量 24、网站SEO中被搜索引擎惩罚的几种表现 25、网络搜索引擎广告的创新传播策略 搜索引擎论文题目二： 26、搜索引擎社会责任缺失的现状、原因及对策研究 27、知识发现系统与通用学术搜索引擎文献资源比较研究——以超星发现和百度学术为例 28、搜索引擎中缩略图使用的合法性分析 29、多边平台的产品市场界定——兼论搜索引擎的产品市场
文献综述格式、范文及书写规范要求 一、定义： 综述是指就某一时间内，作者针对某一专题，对大量原始研究论文中的数据、资料和主要观点进行归纳整理、分析提炼而写成的论文。综述属三次文献，专题性强，涉及范围较小，具有一定的深度和时间性，能反映出这一专题的历史背景、研究现状和发展趋势，具有较高的情报学价值。阅读综述，可在较短时间内了解该专题的最新研究动态，可以了解若干篇有关该专题的原始研究论文。国内外大多数医学期刊都辟有综述栏目。 检索和阅读文献是撰写综述的重要前提工作。一篇综述的质量如何，很大程度上取决于作者对本题相关的最新文献的掌握程度。如果没有做好文献检索和阅读工作，就去撰写综述，是绝不会写出高水平的综述的。 综述的写作格式一般包括四部分，即前言、正文、小结、参考文献。 前言，要用简明扼要的文字说明写作的目的、必要性、有关概念的定义，综述的范围，阐述有关问题的现状和动态，以及目前对主要问题争论的焦点等。前言一般200-300字为宜，不宜超过500字。 正文，是综述的重点，写法上没有固定的格式，只要能较好地表达综合的内容，作者可创造性采用诸多形式。正文主要包括论据和论证两个部分，通过提出问题、分析问题和解决问题，比较不同学者对同一问题的看法及其理论依据，进一步阐明问题的来龙去脉和作者自己的见解。当然，作者也可从问题发生的历史背景、目前现状、发展方向等提出文献的不同观点。正文部分可根据内容的多少可分为若干个小标题分别论述。 小结，是结综述正文部分作扼要的总结，作者应对各种观点进行综合评价，提出自己的看法，指出存在的问题及今后发展的方向和展望。内容单纯的综述也可不写小结。 二、格式 综述一般都包括题名、著者、摘要、关键词、正文、参考文献几部分。其中正文部分又由前言、主体和总结组成。 前言用200～300字的篇幅，提出问题，包括写作目的、意义和作用，综述问题的历史、资料来源、现状和发展动态，有关概念和定义，选择这一专题的目的和动机、应用价值和实践意义，如果属于争论性课题，要指明争论的焦点所在。 主体主要包括论据和论证。通过提出问题、分析问题和解决问题，比较各种观点的异同点及其理论根据，从而反映作者的见解。为把问题说得明白透彻，可分为若干个小标题分述。这部分应包括历史发展、现状分析和趋向预测几个方面的内容。 ①历史发展：要按时间顺序，简要说明这一课题的提出及各历史阶段的发展状况，体现各阶段的研究水平。 ②现状分析：介绍国内外对本课题的研究现状及各派观点，包括作者本人的观点。将归纳、整理的科学事实和资料进行排列和必要的分析。对有创造性和发展前途的理论或假说要详细介绍，并引出论据；对有争论的问题要介绍各家观点或学说，进行比较，指问题的焦点和可能的发展趋势，并提出自己的看法。对陈旧的、过时的或已被否定的观点可从简。对一般读者熟知的问题只要提及即可。 ③趋向预测：在纵横对比中肯定所综述课题的研究水平、存在问题和不同观点，提出展望性意见。这部分内容要写得客观、准确，不但要指明方向，而且要提示捷径，为有志于攀登新高峰者指明方向，搭梯铺路。主体部分没有固定的格式，有的按问题发展历史依年代顺序介绍，也有按问题的现状加以阐述的。不论采用哪种方式，都应比较各家学说及论据，阐明有关问题的历史背景、现状和发展方向。 三、写法 主体部分的写法有下列几种：
全文搜索引擎的设计与实现 前言 面对海量的数字化信息，搜索引擎技术帮助我们在其中发现有价值的信息与资源。我们可以通过google、百度这样的搜索引擎服务提供商帮助我们在Internet上搜索我们需要的信息。但是在一些没有或不便于连入Internet的内部网络或者是拥有海量数据存储的主机，想要通过搜索来发现有价值的信息和资源却不太容易。所以开发一个小型全文搜索引擎，实现以上两种情况下的信息高效检索是十分有必要的。本设计着眼于全文搜索引擎的设计与实现，利用Java ee结合Struts,Spring,Hibernates以及Ajax等框架技术，实现基于apache软件基金会开源搜索引擎框架Lucene下的一个全文搜索引擎。 正文 搜索引擎技术起源1990年，蒙特利尔大学学生Alan Emtage、Peter Deutsch和Bill Wheelan出于个人兴趣，发明了用于检索、查询分布在各个FTP主机中的文件Archie，当时他们的目的仅仅是为了在查询文件时的方便，他们未曾预料到他们的这一创造会成就日后互联网最的广阔市场，他们发明的小程序将进化成网络时代不可或缺的工具——搜索引擎。1991年，在美国CERFnet、PSInet及Alternet网络组成了CIEA （商用Internet 协会）宣布用户可以把它们的Internet子网用于商业用途，开始了Internet商业化的序幕。商业化意味着互联网技术不再为科研和军事领域独享，商业化意味着有更多人可以接触互联网，商业化更意味着潜在的市场和巨大的商机。1994年，Michael Mauldin推出了最早的现代意义上的搜索引擎Lycos，互联网进入了搜索技术的应用和搜索引擎快速发展时期。以上是国际互联网和搜索引擎发展历史上的几个重要日子。互联网从出现至今不过15年左右时间，搜索引擎商业化运作也就10年左右。就在这短短的10年时间里，互联网发生了翻天覆地的变化，呈爆炸性增长。于此同时也成就了google、百度这样的互联网巨头。今天，当我们想要在这片广阔的信息海洋中及时获得想要查找的信息时，已经离不开搜索引擎了。 相关技术
一个小型搜索引擎的设计与实现 摘要 随着互联网和宽带上网的普及，搜索引擎在中国异军突起，并日益渗透到人们的日常生活中，在互联网普及之前，人们查阅资料首先想到的是拥有大量书籍的资料的图书馆。但是今天很多人都会选择一种更方便、快捷、全面、准确的查阅方式--互联网。而帮助我们在整个互联网上快速地查找到目标信息的就是越来越被重视的搜索引擎。 本文通过分析国内外搜索引擎的发展现状，提出了一种功能强大，操作简单，通用性强，可以满足用户对信息搜索需要,利用ASP技术实现的一个B/S体系结构的搜索引擎系统方案。文中着重论述了该系统的功能与实现、数据流程与存储、后台管理等。并对关键的有关技术作了较详细的介绍。论文在撰写过程中，力求将理论与系统应用相结合，对各种理论进行阐述的同时配合系统从实际应用和操作技巧上加以说明，希望能够更充分地体现到这些知识与技术在本系统中的应用与实现。 关键词：搜索引擎；ASP；B/S；关键字
The Design and Implementation of a Small Search Engine Abstract With the popularization of the Internet and surfing the Net broadband search engine likes a dark horse in China, going to people?s daily life day by day. Before this, when people consult materials the first thought is the library that has a large number of books. Now, more and more people will choose Internet to search for information. It?s more convenient, and accurate for searching information. The search engine that helps us in the whole Internet to quickly identify target information is played more and more attention to. Through analyzing the current development of search engine in domestic and international, this paper gives a plan that achieves the formidable function, simply operating, stronger versatility and satisfies the users to the information search need, and realizes a systematic scheme of search engine of B/S system structure with the technology of ASP. This paper mainly describes the function and realization of this system, data procedure and storing, back-stage management, etc. And also introduces to the key relevant technology in detail. During this period, I?ve made a lot effort to union the theory and practice, and coordinates with system to explain from practical application and operation skill while explaining various kinds of theories, hope to more fully reflect the knowledge and application in this system of technology and realize. Key words:Search Engine; ASP; B/S; Keyword
搜索引擎竞价排名的应用状况分析及建议 【摘要】：竞价排名是搜索引擎关键词广告的一种形式，按照付费最高者排名靠前的原则，对购买了同一关键词的网站进行排名的一种方式。目前关键词竞价排名成为一些企业利用搜索引擎营销的重要方式，竞价排名带来的实际效果（ROI）尚没有权威的调查结果，总体来说仍处于起步阶段。为了了解竞价排名的相关问题，我们对网络营销服务领域的企业应用进行了初步的调查，并对竞价排名营销方式提出一些基本建议。 -------------------------------------------------------------------------------- 竞价排名是搜索引擎关键词广告的一种形式，按照付费最高者排名靠前的原则，对购买了同一关键词的网站进行排名的一种方式。竞价排名一般采取按点击收费的方式。关键词广告和竞价排名方式较传统的搜索引擎营销方式的主要特点有：可以方便的对用户的点击情况进行统计分析、可以随时更换关键词以增强营销效果。目前关键词竞价排名成为一些企业利用搜索引擎营销的重要方式，竞价排名带来的实际效果（ROI）尚没有权威的调查结果，总体来说仍处于起步阶段。 国内主要搜索引擎在收费登录之后又相继推出了竞价排名服务，竞价排名方式已成为一些企业的网络营销
手段，目前的应用状况如何，又具有什么特点呢？为了了解竞价排名的相关问题，我们对网络营销服务领域的企业应用进行了初步的调查，并对竞价排名营销方式提出一些基本建议。因为网络营销企业自身的网络营销更具有先天优势，在一定程度上也引导着网络营销应用的潮流，因此我们利用百度搜索引擎，对网络营销服务领域常用的关键词进行了检索，结果如下： 网络营销服务领域常用关键词竞价排名应用状况 关键词 竞价网站数量 网站建设 50 网站推广 41 电子商务 26 搜索引擎 10 网络营销 17 网站策划 7 网络广告 7 网上商店 7 网上营销 2 email营销 2 资料来源：根据百度搜索引擎检索结果整理。检索时间：2003年5月30日 说明：根据搜索结果中网站简介最后有“[推广]”标志进行统计，这些网站是否完全属于付费竞价排名，无法得到完全证实，统计结果仅供参考。
基于搜索引擎的“SIVA”网络营销理论模型的应用研究 基于搜索引擎的“SIVA”网络营销理论模型的应用研究 信息技术的到来改变了营销环境，需要建立一种新的由消费者主导的交互市场营销体系。传统的以线性的输出营销系统，都是基于内部驱动的品牌传播方法，而现在，消费者决策体系已由线性变成网状，选择由单一的点变成立体的面，因此，必须建立一种全新的以消费者为核心的交互式的营销模型来适应当今的大数据时代。 一、前言 回顾过去几十年营销理论的发展，从当年的4P理论到逐渐意识要与消费者沟通的4C、4R理论的发展，表明了营销体系的不断推进，消费者的地位不断被提升。要以消费者为中心，要了解消费者真正的需求，要实现与消费者对话，营销者就要不断努力地接近消费者， 改变营销策略，从说服转为倾听，希望能从消费者口中找到营销的最佳时机。 互联网的发展，特别是搜索引擎的出现，让越来越多的企业真正从消费者的心声中发现了商机。LANCOME兰蔻于1935年诞生于法国，兰蔻品牌已发展成为全法国第一和全世界第二 的世界知名化妆品牌。兰蔻以聚集了中国95%以上网民的百度搜索营销平台为基础，将关 键字投放、品牌专区、关联广告、精准广告等不同营销形式有机地整合在一起，各个营销环节层层相扣，全方位开展了网络营销活动。如若有消费者在百度搜索上敲下“兰蔻”两个字搜索关键词栏目即出现包含“兰蔻”的若干主题词。这些主题词与兰蔻产品或品牌的相关性极高，消费者可以从这些主题词的链接中找到自己想要的信息和解决方案。 而在当今的大数据时代，消费者的信息与需求源源不断地涌向互联网这个大口袋里，为企业品牌提供了巨大的机会与便利。消费者与企业双方依托搜索平台进行对接，期待最契合的连接点，相互得到满足。 二、搜索引擎 中国现在有5.64亿网民，4.2亿手机用户，每天在百度上的搜索请求超过50亿次《中国互 联网发展状况统计报告》（2013年1月，第31次）。根据全球最大的网络调查公司CyberAt las的调查表明，网站75%的流量都是来自于搜索引擎。 1.搜索引擎的定义 搜索引擎是指一种基于Internet上的信息查询系统，包括信息存取、信息管理和信息检索。搜索引擎便于网民获取有效信息，成为网民最喜爱的网络信息采集渠道，同时也有利于企业以较低的成本获得较高的信息传播效率，成为企业产品和服务推广的主要手段。 2.搜索引擎的营销功能 （1）对潜在客户的精准定位
百度搜索点击模型简介 用户的搜索点击模型(Click Model)其实是一个非常大的话题，涉及到用户查询满意度的建模和分析。 百度真实网页权重里有一个satisfyScore(满意度打分)，所以搜索点击行为不仅是提升点击权重，连带提高满意度权重。 在今天的搜索引擎技术中，通过Click Model 衍生出了众多的功能，包括搜索满意度的自动监控、搜索结果的自动调权调序等。 这里提到了搜索点击模型会自动改变排名。 而这些技术的出发点都是User Behavior(用户行为)数据。 在Session 信息(a search session 一次搜索周期信息)里，用户的点击行为往往能提供丰富的信息： 百度网页搜索一次完整的搜索周期包含大量信息，有查询词，搜索结果的标签，标题，链接，高度、宽度，模版，排名，数据策略ID，点击校验参数，时间戳，官网认证标识，何种搜索结果，随机样本ID，查询ID，付费名，是否百度首页，是否登录百度账号，搜索形式，搜索框位置，字符编码，输入耗时等几十项信息。 1.在搜索结果从上至下被用户浏览的过程中，当被点击的结果中间出现了跳跃，例如 Query1(第1次搜索)对应的自然排序结果是Result1(第1个结果), Result2(第2个结果), Result3(第3个结果)…,但是如果大量用户的点击是Result1, Result3, 则Result2 的相关性可能存在问题；意思是点击第1、3个结果，不但可以提升第1、3个结果的权重，还可以降低第2个结果的权重。所以对付竞争对手快速点击一个办法是大量点击其他结果。 2.另外一种情况是，如果同一个Query 产生了一次点击后，间隔一段时间后再次出现 了对后面结果的点击，则也许说明了之前结果的满足度不够高。 3.一种在搜索结果页降低竞争对手满意度权重的方式，先点击对方的结果，隔段时间 再点自己网站的结果。 4.在同一个Session 里，用户发生主动Query 变换(或称为Query Re-write)也往往能 说明问题，前面的Query 如果搜索结果质量不高，则很多用户会选择修改查询词，此时前面被点击的Title(搜索结果标题)重要程度往往不如后续的Title，等等各类场景很丰富。 5.另一种一石二鸟的办法是先搜索一个竞争对手排名好的关键词，点了之后，更换另 一个自己网站的相关词点击，亦可降低对方网站的满意度。 以上各类的Click Model 思想虽然在实际线上系统中被广泛运用，但竞赛中没有提供更详细的信息，包括点击结果在搜索中的排序(对于分析点击模型至关重要)、点击发生的时间、点击停留间隔、用户的Cookieid/Userid(暂存用户信息ID/用户ID)等，限制了
seo影响搜索引擎排名十大因素分析 针对搜索引擎排名算法的多变性，以下有些因素可能有些过时，望各位seo能够有选择性的采用。Maoseomao申明，以下提到的搜索引擎不专指某一个搜索引擎。如果某一条是某一个搜索引擎专用，笔者会提到这个搜索引擎。如果笔者没有提到，那么这一条将是对所有搜索引擎通用。以下是对搜索引擎排名有利的因素10条，以后还会出专题2，专题3。 1.英文网站中的网页命名，多个词之间采用-来连接，符号最好不要超过4次。网页的名字最好用关键词来命名。注意这里说的是英文网站。 2.注重网站的更新，更新内容的频率越大，越快，搜索引擎越是喜欢。特别是Google，做Google的朋友一定要注意了，Google对这点比较看重。 3.一个来自高权重的内容相关的网站的链接，对自己网站的排名帮助很大，但是要注意一点，这个链接必须要稳定，经过maoseomao的测试，买来的链接，要在挂上2周后才能慢慢起作用。各位也不要太着急了。 4.网站的主题要鲜明。这一点对网站的排名有很大的影响，如果您的站点很大，但是不专业，那么您的网站主题就不鲜明，就会在这个主题上很难获得关键词排名。但是这一条不适用于元老级别的站点，比如新浪、腾讯、雅虎等。 5.网站的URL缩短对排名也是有好处的。其实，说来说去缩短URL的方法不外乎有两种：?网页或文件命名不要太长; ?网站保持在3层以内，就能很有效的缩短网站的URL，尽量保持整个网站的URL在100个字符以内。 6.网站的规模越大越好，特别是Google，喜欢大的站点。如果你的站点有100个页面，建议您添加到200个页面，否则在Google中很难有高的权重产生。 7.网站域名的年龄和网站域名的剩余时间问题。网站域名年龄越长，搜索引擎就越相信也越认可您的站点。网站域名剩余的时间越长，在搜索引擎看来，你不会在短期内关闭网站，有点像给搜索引擎“作秀”的感觉——“你看我下定决心了”，搜索引擎自然给高评价。这一点不仅Google，百度现在也开始重视这一点了。 8.自己站点的PageRank越高越好。这个是Google的专利产品。不过现在Google已经降低了对这个参数的参考。但是百度还是比较重视的。
第四代搜索引擎—— 主题搜索引擎的设计与实现 Design and Implementation of Focused Search Engine, 4th Generation Search Engine 北京大学计算机科学技术系计算机软件专业 九七级学士毕业论文 指导教师：李晓明王建勇 作者：罗昶 学号：09708136 2001年6月
指导老师对论文工作的评语 “面向主题的搜索引擎”，是我们“天网”搜索引擎下一步发展的重要方向之一。罗昶同学的毕业论文，是这一新方向的良好开端。 论文从系统实现的角度，较全面的阐述了实现一个高质量主题搜索引擎系统的各个方面，着重分析了导向词、特征提取、权威和中心网页、超链分析以及网页评分等多种搜集策略的运用，并提出了“主题度”的概念，用以衡量主题搜索引擎的质量，意在指明一个搜索引擎在一个主题下的主题度越高，则它越贴近这个主题，用户就越容易找到跟这个主题相关的资料。特别地，将上述认识用于实践中，高质量地完成了一个面向影视主题的搜索引擎系统，搜集了十多万影视信息，在影视信息方面提供着比“天网”通用搜索引擎更有效的服务；论文内容丰富，所涉及的工作量很大，且有较强的系统性，是一篇很有参考价值的论文，为“天网”的发展做出了贡献。 老师签名:__________
论文摘要 互联网上的信息每天都以指数量级的速度爆炸性增长，面对如此浩瀚的资源，搜索引擎为所有网上冲浪的用户提供了一个入口，毫不夸张的说，所有的用户都可以从搜索引擎出发到达自己想去的网上任何一个地方。因此它也成为除了电子邮件以外最多人使用的网上服务。 但是，随着信息多元化的增长，千篇一律的给所有用户提供同一个入口显然已经不能满足特定用户更深入的查询需求。同时，这样的通用搜索引擎在目前的硬件条件下，要及时更新以得到互联网上较全面的信息是不太可能的。针对这种情况，我们需要一个分类细致精确、对硬件要求低，数据全面深入、更新及时的面向主题的搜索引擎。由于主题搜索运用了人工分类以及特征提取等智能化策略，因此它比前三代的搜索引擎将更加有效和准确，我们将这类完善的主题搜索引擎称为第四代搜索引擎。 本文阐述了第四代搜索引擎天网主题搜索引擎的设计与实现，并着重分析了导向词、特征提取、权威和中心网页、超链分析以及网页评分等多种搜集策略的运用。论文最后定义了独创的“主题度”来衡量主题搜索引擎的性能，一个搜索引擎在一个主题下的主题度越高，证明这个搜索引擎越贴近这个主题，用户就越容易找到跟这个主题相关的资料。有了“主题度”，就可以很容易的比较使用多种搜集策略以后的天网主题搜索引擎与原天网通用搜索引擎的差别，说明了前者在特定的主题下要比后者更准确贴切。 关键词：互联网、万维网、搜索引擎、数据发掘、主题搜索、主题度
一、界面、广告以及速度搜索引擎在我们日常操作中的使用频率非常高，大家使用它的目的都非常明确，就是用它来搜寻需要的内容，而不会为搜索引擎的页面做过多的停留，因此搜索引擎的界面设计和速度就对我们的使用产生不小的影响，下面来看看这六款搜索引擎在界面和速度上的表现。谷歌、百度和微软的Live Search，这三大搜索引擎的界面大家都已经相当熟悉，它们有着共同的特点，就是简洁至极：网站LOGO、搜索框和按钮以及个别功能服务链接，除此以外，页面上就没有其他多余和花哨的东西了，给人的感觉非常清爽，界面一目了然，特别是Live Search在不失简洁的同时还通过一些小脚本和背景图片使得页面整体更加美观。三者使用起来都很方便，并且首页界面上没有任何第三方的广告。搜索结果页面，三者同样是采用简洁的风格，页面左侧排列着搜索结果，百度搜索结果页面右侧有不少广告，谷歌视关键词的不同也可能出现右侧广告。 Live Search的界面十分简洁且美观 百度搜索结果页面右侧的广告与上面三者相比，雅虎全能搜在界面上显得更为活泼、色彩更加多样，并且在首页内容上也更丰富。首页上除了常规的搜索所需组成部分外，雅虎全能搜还加入了天气预报、邮箱登录的显示区域。虽然这些占据了一点点页面，但是它们功能实用且不影响正常使用。雅虎全能搜的搜索主页 搜狗搜索的界面可谓结合了谷歌和Live Search：在布局上
与谷歌类似，而在细节上与Live Search有着异曲同工之妙；而搜索新军——网易有道的界面与谷歌、百度站在同一阵线，风格、版式都十分一致。在搜索结果页面中，搜狗搜索页面左侧有少量广告。总的来说，六款搜索引擎的界面设计都比较合理、美观、大方。雅虎全能搜的界面稍有不同，加入了天气预报和邮箱模块，而其他五款都尽量精简，其中谷歌、百度和有道趋于一致，采用最简的风格，而Live Search和搜狗在首页的一些细节上多加以了一些修饰。此外，值得一提的是一些搜索引擎对于Logo文化的重视，在传统的节日或者一些特殊的纪念日时都会将首页的Logo徽标换成与该日子相关的设计。其中在这方面要数谷歌和百度做得最为出色：无论是三八节、五一节这样的国际节日，或者情人节、万圣节这样的西方舶来物，还是春节、清明、端午等传统的中国农历节日，谷歌和百度都会精心设计相应的节日Logo；此外，谷歌在一些特殊的纪念日，如达芬奇诞辰、地球日之类的纪念日也会推出专门的徽标；而百度近期开始定期在首页推出一个搜索封面人物，以此反映对互联网时代风云人物的价值取向，十分有特色。雅虎和搜狗在节日Logo设计方面也有所表现，在节日时也可经常看到其专门的徽标；网易有道正式版新近推出不久，我们还无法对其在特殊Logo的设计上是否会有所表现作出评价。搜索引擎的特色Logo其实并不仅仅是一个单纯的设计，它还有更多的作用：它承载了一种信息，传达了搜索引擎提供商对于创新、
英文十大搜索引擎十大搜索引擎排名 中文搜索引擎 Google搜索引擎（https://www.doczj.com/doc/356656732.html,/） 目前最优秀的支持多语种的搜索引擎之一,约搜索3,083,324,652 张网页。提供网站、图像、新闻组等多种资源的查询。包括中文简体、繁体、英语等35个国家和地区的语言的资源。 百度(baidu)中文搜索引擎(https://www.doczj.com/doc/356656732.html,/) 全球最大中文搜索引擎。提供网页快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、新闻搜索、Flash搜索、信息快递搜索、百度搜霸、搜索援助中心。 北大天网中英文搜索引擎(https://www.doczj.com/doc/356656732.html,/) 由北京大学开发，简体中文、繁体中文和英文三个版本。提供全文检索、新闻组检索、FTP 检索（北京大学、中科院等FTP站点）。目前大约收集了100万个WWW页面（国内）和14万篇Newsgroup（新闻组）文章。支持简体中文、繁体中文、英文关键词搜索，不支持数字关键词和URL名检索。 新浪搜索引擎(https://www.doczj.com/doc/356656732.html,/) 互联网上规模最大的中文搜索引擎之一。设大类目录18个，子目1万多个，收录网站20余万。提供网站、中文网页、英文网页、新闻、汉英辞典、软件、沪深行情、游戏等多种资源的查询。 雅虎中国搜索引擎(https://www.doczj.com/doc/356656732.html,/) Yahoo!是世界上最著名的目录搜索引擎。雅虎中国于1999年9月正式开通，是雅虎在全球的第20个网站。Yahoo！目录是一个Web资源的导航指南，包括14个主题大类的内容。 搜狐搜索引擎(https://www.doczj.com/doc/356656732.html,/) 搜狐于1998年推出中国首家大型分类查询搜索引擎，到现在已经发展成为中国影响力最大的分类搜索引擎。每日页面浏览量超过800万，可以查找网站、网页、新闻、网址、软件、黄页等信息。 网易搜索引擎(https://www.doczj.com/doc/356656732.html,/) 网易新一代开放式目录管理系统（ODP）。拥有近万名义务目录管理员。为广大网民创建了一个拥有超过一万个类目，超过25万条活跃站点信息，日增加新站点信息500~1000条，日访问量超过500万次的专业权威的目录查询体系。 3721网络实名/智能搜索(https://www.doczj.com/doc/356656732.html,/) 3721公司提供的中文上网服务――3721"网络实名"，使用户无须记忆复杂的网址，直接输入中文名称，即可直达网站。3721智能搜索系统不仅含有精确的网络实名搜索结果，同时集成多家搜索引擎。
web搜索引擎的设计与实现
摘要 随着网络的迅猛发展。网络成为信息的极其重要的来源地，越来越多的人从网络上获取自己所需要的信息，这就使得像Google[40]，百度[39]这样的通用搜索引擎变成了人们寻找信息必不可少的工具。 本文在深入研究了通用搜索引擎基本原理、架构设计和核心技术的基础上，结合小型搜索引擎的需求，参照了天网，lucene等搜索引擎的原理，构建了一个运行稳定，性能良好而且可扩充的小型搜索引擎系统，本文不仅仅完成了对整个系统的设计，并且完成了所有的编码工作。 本文论述了搜索引擎的开发背景以及搜索引擎的历史和发展趋势，分析了小型搜索引擎的需求，对系统开发中的一些问题，都给出了解决方案，并对方案进行详细设计，编码实现。论文的主要工作及创新如下： 1.在深刻理解网络爬虫的工作原理的基础上，使用数据库的来实现爬虫部分。 2.在深刻理解了中文切词原理的基础之上，对lucene的切词算法上做出了改进的基础上设计了自己的算法，对改进后的算法实现，并进行了准确率和效率的测试，证明在效率上确实提高。 3.在理解了排序索引部分的原理之后，设计了实现索引排序部分结构，完成了详细流程图和编码实现，对完成的代码进行测试。 4.在完成搜索部分设计后，觉得效率上还不能够达到系统的要求，于是为了提高系统的搜索效率，采用了缓存搜索页面和对搜索频率较高词语结果缓存的两级缓存原则来提高系统搜索效率。 关键词：搜索引擎，网络爬虫，中文切词，排序索引
ABSTRACT With the rapidly developing of the network. Network became a vital information source, more and more people are obtaining the information that they need from the network,this making web search engine has become essential tool to people when they want to find some information from internet. In this paper, with in-depth study of the basic principles of general search engines, the design and core technology architecture, combining with the needs of small search engine and in the light of the "tianwang", lucene search engine, I build a stable, good performance and can be expanded small-scale search engine system, this article not only completed the design of the entire system, but also basically completed all the coding work. This article describle not only the background of search engines, but also the history of search engine developing and developing trends,and analyse the needs of small search engines and giving solutionsthe to the problems which was found in the development of the system ,and making a detailed program design, coding to achieve. The main thesis of the article and innovation are as follows: 1.with the deep understanding of the working principle of the network spider.I acheived network spider with using database system. 2.with the deep understanding of Chinese segmentation and segmentation algorithm of lucene system,I made my own segmentation algorithm,and give a lot of tests to my segmentation algorithm to provide that my segmentation algorithm is better. 3.with the deep understanding of sorted and index algorithm,I designed my own sorted and index algorithm with the data-struct I designed and coding it ,it was provided available after lots of tests. 4.after design of search part,I foud the efficiency of the part is not very poor,so I designed two-stage cache device to impove the efficiency of the system. Key words: search engine,net spider, Chinese segmentation,sorted and index