第1章 搜索引擎概述
- 格式:ppt
- 大小:352.50 KB
- 文档页数:28
搜索引擎详解一、搜索引擎的定义搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。
搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。
百度和谷歌等是搜索引擎的代表。
二、搜索引擎的发展过程及特点用户的大众化,和信息量的高速增长,向用户提出了一个问题,及普通用户面对海量及不断增长的信息资源,如何快速有效的找到所需的资源?为了解决该问题人们开始了对各种各样的网络信息检索工具的研究。
1、搜索引擎的雏形(1)匿名FTP文件检索工具-----Archie,是网络上出现最早的信息检索工具,是由加拿大蒙特利尔的麦基尔大学的大学生开发的。
它依靠基于脚本的采集程序自动搜索匿名FTP站点的文件,然后对有关信息进行索引,供使用者以文件名进行查询。
(2)Gopher空间检索工具-----Veronica & Jughead是受Archie启发而开发的,与Archie相比,Veronica出来能够检索文件外,也能够检索网页。
(3)网络上的第一只蜘蛛-----World Wide Web Wanderer是美国麻省理工大学开发的,最初是用来统计互联网上的服务器数量,后继发展,它可以同步抓取网络地址,抓取的URL形成第一个Web数据库,其成为了搜索引擎的先锋,优点是能够自动处理并积累数据库,缺点是耗费网络带宽。
(4)HTTP版本的“Archie”-----ALIWEB是由美国Martijin Koster 创造的类似“蜘蛛”的自动搜索引擎。
通过人工采集信息,很好的解决了网络带宽滥用的问题,不过数据库的规模较小。
2、基于网络机器人的标题搜索引擎基于该思想的搜索引擎有代表性的有:英国施特灵大学的JumpStation、美国科罗拉多大学的WWWW以及NASA的Responsitory--Based Softenwarehouse Engineering Spider。
搜索引擎百科搜索引擎是互联网时代的重要工具,它们通过收集、整理和展示网页信息,帮助用户高效地查找需要的内容。
本文将介绍搜索引擎的定义、发展历程、工作原理以及对社会的影响。
一、定义搜索引擎是一种互联网技术,通过建立全球性的网络索引库,实现对互联网上信息的搜索、索引和呈现。
搜索引擎的目标是根据用户提供的关键词,展示与之相关的网页。
二、发展历程1. 早期搜索引擎早期的搜索引擎如Archie、Gopher等,主要用于检索FTP和存档文件。
随着互联网的迅速发展,研究人员迎来了一个新的挑战,即如何有效地搜索和组织海量互联网信息。
2. 首批商业搜索引擎1990年代中后期,一些商业搜索引擎如AltaVista、Yahoo!等相继出现。
它们通过机器人抓取网页内容,并建立索引库,用户可以通过关键词搜索获取信息。
3. 谷歌的崛起1998年,谷歌成立,通过创新的PageRank算法,提供了更准确和高效的搜索结果。
谷歌的成功经验在于不仅仅关注关键词匹配度,还注重网页的权威性和链接质量,提供更有价值的搜索结果。
4. 移动搜索的兴起随着智能手机的普及,移动搜索成为新的趋势。
谷歌、百度等搜索引擎都推出了移动搜索应用,为用户提供随时随地的信息检索能力。
三、工作原理1. 爬虫抓取搜索引擎使用网络爬虫,也称为蜘蛛或机器人,自动访问网页并抓取页面内容。
爬虫根据链接关系进行遍历,将抓取到的页面存储到索引库中。
2. 索引建立搜索引擎通过建立索引,将抓取到的网页内容进行组织和存储。
索引通常包括网页标题、URL、正文内容等关键信息,以方便后续的搜索和检索。
3. 检索与排序当用户输入关键词进行搜索时,搜索引擎会根据建立好的索引库进行匹配,并根据一定的排序算法,将相关度较高的网页展示给用户。
常用的排序算法包括PageRank、TF-IDF等。
四、对社会的影响1. 信息检索便利搜索引擎解决了信息过载的问题,使得用户能够快速地找到所需信息。
无论是学术研究、生活服务还是娱乐信息,都可以通过搜索引擎轻松获取。
搜索引擎140403121定义搜索引擎提供一个包含搜索框的页面,在搜索框输入词语,通过浏览器提交给搜索引擎后,搜索引擎就会返回跟用户输入的内容相关的信息列表。
其实,搜索引擎涉及多领域的理论和技术:数字图书馆、数据库、信息检索、信息提取、人工智能、机器学习、自然语言处理、计算机语言学、统计数据分析、数据挖掘、计算机网络、分布式处理等,具有综合性和挑战性。
工作原理搜索引擎的基本上分为四个步骤:1.爬行和抓取搜索引擎派出一个能够在网上发现新网页并抓文件的程序,这个程序通常称之为蜘蛛。
搜索引擎从已知的数据库出发,就像正常用户的浏览器一样访问这些网页并抓取文件。
搜索引擎会跟踪网页中的链接,访问更多的网页,这个过程就叫爬行。
这些新的网址会被存入数据库等待抓取。
所以跟踪网页链接是搜索引擎蜘蛛发现新网址的最基本的方法,所以反向链接成为搜索引擎优化的最基本因素之一。
搜索引擎抓取的页面文件与用户浏览器得到的完全一样,抓取的文件存入数据库。
2.索引蜘蛛抓取的页面文件分解、分析,并以巨大表格的形式存入数据库,这个过程既是索引(index).在索引数据库中,网页文字内容,关键词出现的位置、字体、颜色、加粗、斜体等相关信息都有相应记录。
3.搜索词处理用户在搜索引擎界面输入关键词,单击“搜索”按钮后,搜索引擎程序即对搜索词进行处理,如中文特有的分词处理,去除停止词,判断是否需要启动整合搜索,判断是否有拼写错误或错别字等情况。
搜索词的处理必须十分快速。
4.排序对搜索词处理后,搜索引擎程序便开始工作,从索引数据库中找出所有包含搜索词的网页,并且根据排名算法计算出哪些网页应该排在前面,然后按照一定格式返回到“搜索”页面。
再好的搜索引擎也无法与人相比,这就是为什么网站要进行搜索引擎优化。
没有SEO的帮助,搜索引擎常常并不能正确的返回最相关、最权威、最有用的信息。
SEOSEO是由英文Search Engine Optimization缩写而来,中文意译为“搜索引擎优化”。
第6章 Internet信息检索工具——搜索引擎6.1 搜索引擎的基本概念Internet是一个广阔的信息海洋,漫游其间而不迷失方向有时会是相当困难的。
如何快速准确地在网上找到需要的信息已变得越来越重要。
搜索引擎(Search Engine)是一种网上信息检索工具,在浩瀚的网络资源中,它能帮助你迅速而全面地找到所需要的信息。
1. 搜索引擎的定义搜索引擎是一种能够通过Internet接受用户的查询指令,并向用户提供符合其查询要求的信息资源网址的系统。
它是一些在Web中主动搜索信息(网页上的单词和特定的描述内容)并将其自动索引的Web网站,其索引内容存储在可供检索的大型数据库中,建立索引和目录服务。
一些搜索引擎搜索网页的每一个单词,而另一些搜索引擎则只搜索网页的前二百至五百个单词。
当用户输入关键词(Keyword)查询时,该搜索引擎会告诉用户包含该关键词信息的所有网址,并提供通向该网络的链接。
搜索引擎既是用于检索的软件又是提供查询、检索的网站。
所以,搜索引擎也可称为Internet上具有检索功能的网页。
搜索引擎也是目前Internet对信息资源进行组织的主要方式。
搜索引擎由网上机器人(Spider或Robot)自动在网页上按某种策略进行远程数据的搜索与获取,并生成本地索引。
由于不需要人们的介入,速度得以大大的提高。
其覆盖面和及时性也得以大大的提高。
Spider或Robot是一种软件,它沿着WWW文件的链接在网上漫游,记录RUL、文件的简明摘要、关键字或索引,形成一个很大的数据库,这种数据库包括标题、摘要、关键词和RUL、文件的大小、语种以及词出现的频率。
它的运行方式为:从一个或一组RUL开始,访问该RUL所指HTML文件中所有的RUL锚链,然后再以这些新的RUL为起始点,继续进行本地索引,直到再也没有满足条件的新的RUL为止。
在记录新的RUL 时,可以进行分析和判断,从中去掉不需要或不想要的RUL,这不但提高了本地索引的速度,也减少了索引文件在本地所占用的磁盘空间,搜索引擎将HTML格式文件取到本地后,由一个小程序将其中的辅助部分去掉,并按一定策略将其中可用于查询的部分(如关键字和一些指定词等)存储到数据库中,形成本地查询数据库,以后再查时就不必到远地去重新获取HTML格式文件了。
搜索引擎的概论网络中的资源非常丰富,但是如何有效的搜索信息却是一件困难的事情。
建立搜索引擎就是解决这个问题的最好方法。
本文首先详细介绍了基于英特网的搜索引擎的系统结构,然后从网络机器人、索引引擎、Web服务器三个方面进行详细的说明。
为了更加深刻的理解这种技术,本人还亲自实现了一个自己的搜索引擎——新闻搜索引擎。
新闻搜索引擎是从指定的Web页面中按照超连接进行解析、搜索,并把搜索到的每条新闻进行索引后加入数据库。
然后通过Web服务器接受客户端请求后从索引数据库中搜索出所匹配的新闻。
关键字:搜索引擎网络引擎新闻搜索文章搜索网页快照第一章引言面对浩瀚的网络资源,搜索引擎为所有网上冲浪的用户提供了一个入口,毫不夸张的说,所有的用户都可以从搜索出发到达自己想去的网上任何一个地方。
因此它也成为除了电子邮件以外最多人使用的网上服务。
搜索引擎技术伴随着WWW的发展是引人注目的。
搜索引擎大约经历了三代的更新发展:第一代搜索引擎出现于1994年。
这类搜索引擎一般都索引少于1,000,000个网页,极少重新搜集网页并去刷新索引。
而且其检索速度非常慢,一般都要等待10秒甚至更长的时间。
在实现技术上也基本沿用较为成熟的IR(Information Retrieval)、网络、数据库等技术,相当于利用一些已有技术实现的一个WWW上的应用。
在1994年3月到4月,网络爬虫World Web Worm (WWWW)平均每天承受大约1500次查询。
大约在1996年出现的第二代搜索引擎系统大多采用分布式方案(多个微型计算机协同工作)来提高数据规模、响应速度和用户数量,它们一般都保持一个大约50,000,000网页的索引数据库,每天能够响应10,000,000次用户检索请求。
1997年11月,当时最先进的几个搜索引擎号称能建立从2,000,00 0到100,000,000的网页索引。
Altavista搜索引擎声称他们每天大概要承受20,000,000次查询。