下载文档原格式
1.5 搜索引擎1.5.1 搜索引擎概述1．搜索引擎概念搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。
它包括信息搜索、信息整理和用户查询三部分组成。
搜索引擎之所以能在短短几年时间内获得如此迅猛的发展，最重要的原因是搜索引擎为人们提供了一个前所未有的查找信息资料的便利方法。
搜索引擎最重要也最基本的功能就是搜索信息的及时性、有效性和针对性。
2．搜索引擎分类搜索引擎可以分成以下几类。
（1）全文搜索引擎全文搜索引擎是目前应用最广泛的搜索引擎，典型代表有Google搜索、百度搜索。
它们从互联网提取各个网站的信息，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。
根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。
（2）目录式搜索引擎目录索引的典型代表主要有Yahoo！、新浪分类目录搜索。
它是以人工方式或半自动方式搜集信息，由搜索引擎的编辑员查看信息之后，依据一定的标准对网络资源进行选择、评价，人工形成信息摘要，并将信息置于事先确定的分类框架中而形成的主题目录。
目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。
用户完全可以按照分类目录找到所需要的信息，不依靠关键词进行查询。
（3）元搜索引擎元搜索引擎接受用户查询请求后，通过一个统一的界面，同时在多个搜索引擎上搜索，并将结果返回给用户。
著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。
在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。
常用搜索引擎技术概述第一部分：概述常用搜索引擎技术搜索引擎，是全球互联网中最重要的应用之一。
通过搜索引擎，人们可以在大量的网页中快速找到自己需要的信息。
然而，搜索引擎后面的技术能够支持如此巨大的数据库的搜索，却是很多人不了解的。
本文将介绍常用搜索引擎技术的概述。
1. 爬虫技术搜索引擎能够搜索到的网页都来源于爬虫技术，也称为网络爬虫。
爬虫就是“爬行”整个网络，将网页内容下载下来，并且存储到搜索引擎的数据库中。
因此，搜索引擎的爬虫技术质量直接影响了搜索结果的质量。
爬虫技术也会面临着很多挑战，例如：反爬虫技术、网页无法访问或访问速度过慢等等问题。
2. 检索技术搜索引擎的核心技术是检索引擎。
检索引擎能够根据用户输入的关键词，快速的在海量数据中查找相关的信息。
然而，随着搜索引擎技术的发展和用户搜索习惯的不同，常规的词袋模型越来越难以满足用户的需求。
此时，机器学习和自然语言处理技术的应用，成为提高检索引擎质量的重要手段。
3. 排序技术排序技术是搜索引擎的重要组成部分，它能够根据网页的相关度和质量，将搜索结果进行排序。
搜索引擎使用的排序算法主要有 PageRank 算法、 TF-IDF 算法、BM25 算法等。
然而，这些排序算法都存在着各自的缺陷，需要根据搜索引擎具体的应用场景来挑选合适的算法。
4. 去噪技术搜索引擎会在海量的数据中搜索到很多噪声数据，这些数据会对用户搜索结果的质量产生很大的影响。
因此，去噪技术在搜索引擎中是非常重要的。
去噪技术主要有停用词过滤、同义词替换、词形还原等技术。
5. 分布式技术随着互联网信息量的不断增加，一台服务器已经无法完成检索引擎的搜索任务。
因此，分布式技术成为解决搜索引擎扩展性问题的有效手段。
分布式搜索引擎可以将搜索任务分配给多台服务器完成，从而降低搜索时间和增加可扩展性。
6. 用户界面技术搜索引擎的用户界面技术也是非常重要的一部分，用户可以通过它快速找到自己所需的信息。
用户界面技术涉及到交互设计、响应式网页设计、界面美化等技术。
