搜索引擎简史
- 格式:pdf
- 大小:645.76 KB
- 文档页数:5
搜索终总结引言在信息时代,搜索引擎成为人们获取信息的重要工具。
随着互联网的迅速发展,搜索引擎在人们的生活中扮演着愈发重要的角色。
本文将对搜索引擎进行总结,包括搜索引擎的发展历程、搜索引擎的工作原理、常见的搜索引擎技术以及搜索引擎的未来发展等方面进行介绍。
搜索引擎的发展历程搜索引擎的发展可以追溯到20世纪90年代中期。
最早的搜索引擎是由人工编辑的目录式搜索,如Yahoo!。
但这种方式不仅耗时耗力,也存在主观性较大的问题。
随后,基于关键词的搜索引擎开始兴起,如AltaVista和Excite。
它们通过遍历互联网页面,建立索引,以提供更快速、准确的搜索结果。
然而,随着互联网规模的迅速膨胀,这种搜索方式也逐渐暴露出效率低下的问题。
2000年,谷歌引入了一种全新的搜索算法PageRank,凭借其独特的排序方式,使搜索结果更加准确和相关。
此后,谷歌逐渐崛起为搜索引擎领域的巨头,并且成为了我们常用的搜索引擎之一。
同时,其他搜索引擎也在不断进化和创新,如百度、必应等。
搜索引擎的工作原理搜索引擎的工作可以分为三个主要步骤:爬取、索引和检索。
爬取搜索引擎通过爬虫程序(又称蜘蛛程序)遍历互联网上的页面,将页面内容下载到搜索引擎的数据库中。
爬虫程序根据链接关系,从一个页面跳转到另一个页面,不断扩展爬取的范围。
索引在爬取的过程中,搜索引擎会分析页面的结构和内容,并建立索引以便后续的检索。
索引可以理解为搜索引擎的目录,包含了所有网页的关键信息,如网页标题、关键词、摘要等。
索引的建立需要考虑诸多因素,如页面质量、关键词的权重等。
检索当用户输入搜索关键词后,搜索引擎会通过查询索引,找到与关键词相关的网页。
搜索引擎会根据算法确定搜索结果的排序,将最相关的网页展示给用户。
常见的排序算法有PageRank、TF-IDF等。
常见的搜索引擎技术除了基本的爬取、索引和检索外,搜索引擎还应用了一系列技术来优化用户的搜索体验,如下所示:自然语言处理(NLP)NLP技术帮助搜索引擎更好地理解用户的搜索意图。
搜索引擎百科搜索引擎是互联网时代的重要工具,它们通过收集、整理和展示网页信息,帮助用户高效地查找需要的内容。
本文将介绍搜索引擎的定义、发展历程、工作原理以及对社会的影响。
一、定义搜索引擎是一种互联网技术,通过建立全球性的网络索引库,实现对互联网上信息的搜索、索引和呈现。
搜索引擎的目标是根据用户提供的关键词,展示与之相关的网页。
二、发展历程1. 早期搜索引擎早期的搜索引擎如Archie、Gopher等,主要用于检索FTP和存档文件。
随着互联网的迅速发展,研究人员迎来了一个新的挑战,即如何有效地搜索和组织海量互联网信息。
2. 首批商业搜索引擎1990年代中后期,一些商业搜索引擎如AltaVista、Yahoo!等相继出现。
它们通过机器人抓取网页内容,并建立索引库,用户可以通过关键词搜索获取信息。
3. 谷歌的崛起1998年,谷歌成立,通过创新的PageRank算法,提供了更准确和高效的搜索结果。
谷歌的成功经验在于不仅仅关注关键词匹配度,还注重网页的权威性和链接质量,提供更有价值的搜索结果。
4. 移动搜索的兴起随着智能手机的普及,移动搜索成为新的趋势。
谷歌、百度等搜索引擎都推出了移动搜索应用,为用户提供随时随地的信息检索能力。
三、工作原理1. 爬虫抓取搜索引擎使用网络爬虫,也称为蜘蛛或机器人,自动访问网页并抓取页面内容。
爬虫根据链接关系进行遍历,将抓取到的页面存储到索引库中。
2. 索引建立搜索引擎通过建立索引,将抓取到的网页内容进行组织和存储。
索引通常包括网页标题、URL、正文内容等关键信息,以方便后续的搜索和检索。
3. 检索与排序当用户输入关键词进行搜索时,搜索引擎会根据建立好的索引库进行匹配,并根据一定的排序算法,将相关度较高的网页展示给用户。
常用的排序算法包括PageRank、TF-IDF等。
四、对社会的影响1. 信息检索便利搜索引擎解决了信息过载的问题,使得用户能够快速地找到所需信息。
无论是学术研究、生活服务还是娱乐信息,都可以通过搜索引擎轻松获取。
搜索引擎发展历程搜索引擎在过去几十年的发展历程中经历了多次重大的技术突破和演进。
早期的搜索引擎主要是基于全文检索技术,用户通过输入关键词,搜索引擎会从海量数据中匹配出相关的网页结果。
1990年代初,最早的搜索引擎出现了,例如Excite和Infoseek。
当时的搜索引擎主要依赖人工编辑来整理和分类网页信息。
然而,由于互联网规模膨胀迅猛,这种人工编辑的方式很快变得不够高效和可扩展。
随着互联网的普及,1996年谷歌搜索引擎诞生了。
谷歌的创新之处是引入了PageRank算法,通过分析网页间的链接关系来评估网页的重要性和相关性。
这一算法大大提升了搜索结果的质量,并很快使得谷歌成为领先的搜索引擎。
为了提供更精准的搜索结果,搜索引擎开始采用语义分析和自然语言处理技术。
这些技术能够理解用户的意图,而不仅仅是匹配关键词。
例如,当用户搜索"天气"时,搜索引擎会返回天气预报结果,而不仅仅是包含"天气"关键词的网页。
移动互联网的兴起,使得移动搜索成为搜索引擎发展的重要方向。
移动搜索引擎需要考虑到用户的位置信息、设备特性和网络环境等因素,以提供更符合用户需求的搜索结果。
同时,移动搜索引擎还需要在有限的屏幕空间和低带宽环境下展示结果。
随着人工智能技术的快速发展,搜索引擎也开始引入机器学习和深度学习算法。
通过分析用户的搜索历史和行为,搜索引擎能够为用户提供个性化、定制化的搜索结果。
此外,搜索引擎还可以通过自动推荐、自动补全等功能提供更便捷、智能的搜索体验。
总的来说,搜索引擎发展的历程是一个不断创新和提升搜索质量的过程。
从最早的全文检索到引入链接分析、语义分析、移动搜索和人工智能等技术,搜索引擎不断演进,以满足用户不断变化的需求。
疯狂seo论坛:搜索引擎发展史(一)1990年第一个互联网上的搜索引擎Archie出现,用于搜索FTP服务器上的文件。
当时基于HTTP 协议的Web还没出现。
1993年6月,第一个Web搜索引擎World Wide Web Wanderer出现,只收集网址,并没有索引文件内容出现。
10月,第二个Web搜索引擎ALIWEB出现,开始索引文件元信息(也就是标题标签等信息),也没有索引文件内容。
1994年1月,Infoseek创立,其搜索服务稍后才正式推出。
Infoseek是早期最重要的搜索引擎之一,允许站长提交网址是从Infoseek开始的。
百度创始人李彦宏就是Infoseek的核心工程师之一。
4月,Yahoo!由David Filo和Jerry Yang(杨致远)创立。
当时还没有注册 域名,网站建立在斯坦福大学的域名上。
Yahoo!最初不是真正的搜索引擎,而是人工编辑的网站目录,创始人亲自把收集的有价值的网站列在Yahoo!目录中。
当网站数量还不大时,可以实现人工编辑,既为用户提供方便,又保证了信息质量,Yahoo!迅速成长为网络巨人。
4月,第一个全文搜索引擎(索引文件全部内容)WebCrawler推出。
起初是华盛顿大学的一个研究项目。
1995年被美国在线AOL在线收购,1996年又被Excite收购。
2001年停止研发自己的搜索技术,网站成为元搜索引擎(整合、显示多个第三方搜索引擎结果,被成为元搜索引擎。
)6月,Lycos创立,迅速成为最受欢迎的搜索引擎之一。
1995年1月,域名注册。
4月,Yahoo!公司正式成立。
12月,Excite搜索引擎正式上线,成为早期流行的搜索引擎之一。
2001年其母公司破产,被Infoseek购买。
2004年被Ask Jeeves收购。
12月,Infoseek成为网景浏览器的默认搜索引擎。
网景,Netscape,当时浏览器市场的绝对控制者,曾占市场份额的90%以上。
中文搜索引擎发展史中文搜索引擎发展史Openfind搜索引擎Openfind 创立于1998年1月,其技术源自台湾中正大学吴升教授所领导的GAIS实验室。
Openfind起先只做中文搜索引擎,鼎盛时期同时为三大著名门户新浪、奇摩、雅虎提供中文搜索引擎,但2000年后市场逐渐被Baidu和Google瓜分。
2002年6月,Openfind重新发布基于GAIS30 Project的Openfind搜索引擎Beta版,推出多元排序(PolyRankTM),宣布累计抓取网页35亿,开始进入英文搜索领域,此后技术升级明显加快。
天网搜索引擎北大天网是国家"九五"重点科技攻关项目"中文编码和分布式中英文信息发现"的研究成果,由北大计算机系网络与分布式系统研究室开发,于1997年10月29日正式在CERNET 上提供服务。
2000年初成立天网搜索引擎新课题组,由国家973重点基础研究发展规划项目基金资助开发,收录网页约6000万,利用教育网优势,有强大的ftp搜索功能。
百度搜索引擎Baidu 2000年1月,两位北大校友超链分析专利发明人、前Infoseek资深工程师李彦宏与好友徐勇(加州伯克利分校博士后)在北京中关村创立了百度(Baidu)公司。
2001年8月发布搜索引擎Beta版(此前Baidu只为其它门户网站搜狐新浪Tom等提供搜索引擎),2001年10月22日正式发布Baidu搜索引擎,专注于中文搜索。
Baidu搜索引擎的其它特色包括:百度快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、mp3搜索、Flash搜索。
2002年3月闪电计划(Blitzen Project)开始后,技术升级明显加快。
中国搜索中国搜索(原慧聪搜索)2002年正式进入中文搜索引擎市场,2003年8月24日慧聪搜索(现中国搜索)正式推出第三代智能中文搜索引擎.2003年12月23日慧聪搜索正式独立运作,成立中国搜索,陈沛出任CEO,同时推出中国搜索新闻中心。
【搜索引擎的发展史】1990年,加拿大麦吉尔大学(University of McGill)计算机学院的师生开发出Archie。
当时,万维网(World Wide Web)还没有出现,人们通过FTP来共享交流资源。
Archie能定期搜集并分析FTP服务器上的文件名信息,提供查找分别在各个FTP主机中的文件。
用户必须输入精确的文件名进行搜索,Archie告诉用户哪个FTP服务器能下载该文件。
虽然Archie搜集的信息资源不是网页(HTML文件),但和搜索引擎的基本工作方式是一样的:自动搜集信息资源、建立索引、提供检索服务。
所以,Archie被公认为现代搜索引擎的鼻祖。
搜索引擎的起源:所有搜索引擎的祖先,是1990年由Montreal的McGill University三名学生(Alan Emtage、Peter Deutsch、Bill Wheelan)发明的Archie(Archie FAQ)。
Alan Emtage等想到了开发一个可以用文件名查找文件的系统,于是便有了Archie。
Archie是第一个自动索引互联网上匿名FTP网站文件的程序,但它还不是真正的搜索引擎。
Archie是一个可搜索的FTP文件名列表,用户必须输入精确的文件名搜索,然后Archie会告诉用户哪一个FTP地址可以下载该文件。
由于Archie深受欢迎,受其启发,Nevada System Computing Services大学于1993年开发了一个Gopher(Gopher FAQ)搜索工具Veronica(Veronica FAQ)。
Jughead是后来另一个Gopher搜索工具。
发展(1):世界上第一个Spider程序,是MIT Matthew Gray的World wide Web Wanderer,用于追踪互联网发展规模。
刚开始它只用来统计互联网上的服务器数量,后来则发展为也能够捕获网址(URL)。
搜索引擎一般由以下三部分组成:爬行器(机器人、蜘蛛)索引生成器查询检索器发展(2):Excite 的历史可以上溯到1993年2月,6个Stanford University(斯坦福大学)大学生的想法是分析字词关系,以对互联网上的大量信息作更有效的检索。
简述几大搜索引擎的发展史和特点
2000年1月百度成立,名字源于“众里寻他千百度”。
2004年搜狐公司的搜狗搜索引擎上线。
2005年百度上市。
2006年Google正式确定其全球中文名字为谷歌,并进军中国市场。
同时,百度宣称比Google更懂中文,稳固国内搜索引擎霸主地位。
2006年腾讯公司的搜搜搜索引擎上线。
2007年网易公司有道搜索引擎上线。
2009年Google以创始人之一的Larry Page命名的PageRank(谷歌PR值)正式被大众知晓,后被广泛重视。
2009年微软Live Search改名为Bing。
2009年7月雅虎使用Bing搜索数据。
2010年谷歌退出中国市场。
2012年8月360搜索引擎上线。
百度是中国社会主义特色的产物,会人工k站。
注重心情。
谷歌全球最大的搜索引擎,能看到很多国外网站,能接收到最新的seo技术,收录快,但排名很难。
注重算法。
搜狗中国大陆最好的简体搜索引擎,简体文字最好的。
搜狗输入法。
搜索腾讯空间的东西用soso。
360的出现让搜索引擎更多元化,360的排名对网站时间、权重很注重。
本文由段民海整理编辑,目的只为传播分享。
搜索引擎简史随着互联网的发展,搜索引擎的出现是必然的。
就像传统的图书馆一样,收藏的书籍、文件多了,必然出现管理、查找困难,索引和搜索就成为必需的了。
实际上,搜索引擎原理在很大程度上源于传统文件检索技术。
网上资源数量远超出我们个人所能想象与掌控的,没有搜索引警,我们无法有效利用这些资源,也就没有互联网的今天。
当今社会化媒体如日中天,诸如Facebook、TwiUer等应用的使用人次、网站流量、社会影响力已经达到甚至超过Yahoor、Google等互联网巨人。
有这样一种倾向和观点,网民现在寻找信息更多地是靠Facebook、Twitter,而不是搜索引擎。
也许搜索引擎已经过时了?其实大可不必担心。
也许Google、百度会没落,会消失,但搜索引擎不会。
就算依靠Facebook、Twitter,或者以后出现的什么新网络服务寻找信息,用户需要寻找信息时,一样要在搜索框输入关键词,这还是搜索,只不过搜索信息来源能从搜索引警收录的页面数据库变成Facebook、Twitter内部数据库,排名算法从页面相关性、链接变成会员、好友的推荐程度,但数据来源及算法的改变都不能改变用户对搜索的需要,也不会改变搜索的基本形式。
只要搜索存在,就有哪条信息排在前面的问题,就有SEO的存在。
也许搜索引擎这个名字变了,SEO也只是需要改个名字而已。
搜索是近20年互联网变化最快的领域之一,这种变化不仅体现在搜索技术突飞猛进和对网络经济的巨大推动上,搜索引擎本身的合纵连横、兴衰起伏也是精彩纷呈,常令人有眼花缭乱、瞠目结舌之感。
了解搜索引擎的发展历史有助于SEO人员理解搜索引擎营销的发展、变革,对未来有更准确的预期。
本节就简要列出搜索引擎发展史上的重要事件,其中很多事件对今天搜索以及SEO行业的形态有至关重要的影响。
1990年第一个互联网上的搜索引擎Arclue出现,用于搜索ftp服务器上的文件。
当时基于HTTP协议的Web还没有出现。
1993年6月,第一个Web搜索引擎World Wide Web Wanderer出现,它只收集网址,并没有索引寸件内容。
10月,第二个Web搜索引擎ALIWEB出现,开始索引文件元信息(也就是标题签等信息),也还没有索引文件主体内容。
1994年1月,Infoseek创立,其搜索服务稍后才正式推出。
Infoseek是早期最重要的搜索j擎之一,允许站长提交网址是从Infoseek开始的。
百度创始人李彦宏就是Infoseek的j心工程师之一。
4月,Yahoo!由David Filo和Jerry Yang(杨致远)创立。
当时还没有注册yahoo.co:域名,网站建在斯坦福大学的域名上。
Yahoo!最初不是真正的搜索引擎,而是人工编j的网站目录,创始人亲自把收集到的有价值的网站列在Yahoo!目录中。
当网站数量i不大时,可以实现人工编辑,既为用户提供了方便,又保证了信息质量,Yahoor迅速长为网络巨人。
4月,第一个全文搜索引擎(索引文件全部内容)WebCrawler推出。
起初是华盛屯大学的一个研究项目。
1995年被美国在线AOL收购,1996年又被Excite收购。
2001乌停止研发自己的搜索技术,网站成为元搜索引擎(整合、显示多个第三方搜索引擎结果被称为元搜索引擎)。
6月,Lycos创立,迅速成为最受欢迎的搜素引擎之一。
1995年1月,域名注册。
4月,Yahoo!公司正式成立。
12月,Excite搜索引擎正式上线,成为早期流行的搜索引擎之一。
2001年其母公司破产,被InfoSpace购买。
2004年被Ask Jeeves收购。
12月,AltaVista创立,迅速成为最受欢迎的搜索引擎,堪称当时的Google。
AltaVisU在搜索领域做了很多开创性的工作,页面排名以站内因素为主。
站长提交网址后收录非常迅速。
12月,Infoseek成为网景浏览器的默认搜索引擎。
网景,Netscape,当时浏览器市场的绝对统治者,曾占市场份额的90c/o以上。
后来随着免费的微软IE浏览器推出而衰落,2008年正式停止研发和技术支援。
1996年3月,Google作为创始人Larry Page和Sergey Brin在斯坦福入学的研究项目开始,当时的名称是BackRub,1997年才改名为Google。
4月,Yahoof上市。
5月,Inktomi创立,是早期重要的搜索技术提供商,本身并没有供用户使用搜索网站或界面,而是专门提供搜索技术给其他公司。
Inktomi最先开始付费收录,后来被Google等的成功证明行不通。
5月,Hotbot创立,开始时使用Inktomi数据。
1998年被Lycos收购,后水转型为元搜索引擎,显示来自Google、FAST、Teoma和Inktomi的结果。
也是初期颇流行的内搜索引擎之一。
11月,Lycos收录6千万文件,成为当时最大的搜索引擎。
但是与今天的数据库相比,真是小巫见大巫。
1997年4月,Ask Jeeves上线,2006年改名为Ask,是唯一一个至今仍真实存在并有一定市场份额的早期搜索引擎。
创立时标榜的特点是“自然语言”搜索,用户可以用问句形式搜索。
起初雇用大量编辑进行人工编辑搜索结果,显然(至少今天看来很显然),这种模式行不通,后来不得不使用其他搜索引擎数据。
199年2月21日,GoTo(后来改名为Overture)正式开始Pay For Placement(出售搜索结果位置)服务,谁付的钱多,谁就排在前面。
在当时饱受非议,是后来所主流搜索引擎最主要收入来源PPC的始祖。
Direct Hit创建,搜索结果的用户点击率是其排名因素的重要部分,Direct Hit因此流行一时,但很快也因此造成搜索质量大幅下降。
今天搜索引擎算法中引入用浏览数据,早在初期搜索引擎就有探索并留下了教训,处理不好,就会被作弊者利用。
1998年中,迪斯尼成为Infoseek的控股公司,将Infoseek转型为门户。
早期搜索引擎没有明确赢利模式,遇到搜索质量下降、没有收入等困难时,常常采用转型为门户的方法,寄希望于像Yahoo!那样赚网络显示广告的钱,但几乎没有成功转型的例子。
这为Google等后来者坚持提高搜索技术、坚持简洁的搜索核心业务提供了前车之鉴。
同样在1998年,AltaVista被卖给Compaq,1999年10月,Compaq也将AltaVista转型为门户,AltaVista走向没落。
1998年中,Yaho0 1放弃1996年开始使用的AltaVista,转而使用Inktomi盼搜索数据。
早期Yahoo!只在其目录中没有用户寻找的网站时才显示来自真正搜索引擎的数据。
9月,Google公司正式成立。
MSN搜索推如,不过微软很长时间没有重视搜索引擎,直到2004年,MSN Search都在使用其他提供商的搜索数据和技术。
1999年5月,AJ_创建,是搜索技术公司FAST展示其技术的平台。
6月,Netscape放弃Excite,开始使用Google搜索数据,对Google来说是个里程碑。
1999年中,迪斯尼将Infoseek流量转入,曾经流行一时的搜索引擎Infoseek消失。
Go.com几经波折,目前无声无息。
Lycos停止自己的搜索技术,开始使用AIITheWeb数据。
2000年1月,Ask Jeeves以5亿美元收购搜索引擎Direct Hit,但并没有进一步发展。
2002年年初Direct Hit正式结束。
1月18日,百度成立。
起初作为搜索技术提供商向其他网站提供中文搜索服务和数据。
5月,Lycos被西班牙公司Terra Networks收购,改名为Terra Lycos。
互联网泡沫破灭后,Terra Lycos渐渐势微。
7月,Yahoo!开始使用Google搜索数据,以自己当时最强大的网上品牌和流量培养出日后最强大的竞争对手。
2000年中,GoTo,com基本放弃用自己网站吸引用户的做法,开始向多家搜索引擎及网站提供付费搜索服务,包括,.Ask Jeeves,AOL,Netscape等。
这可能是(后来的Overture)的重大失误之一,一个具开仓IJ意义的模式,其品牌名称却没能被普通用户知道,也因此无法与Google这种家喻户晓的品腊抗衡。
10月,Google推出AdWords,以CPM模式,也就是按显示付费,提供搜索广告成供。
这个模式并不成功。
2001年9月,Ask Jeeves收购Teoma,一个与Google一样重视链接的搜索引擎,曾经被认为是可能与Google抗衡的搜索引擎之一。
10月,百度作为搜索引擎正式上线,直接独立提供搜索服务。
中文搜索迅速进入百度时代。
2002年3月,Google Adwords推出PPC形式,也就是按点击是付费,成为今天Advvords的主流。
PPC搜索广告由Overture 发明,由Google发扬光人。
从PPC J1:始,Googlc Adwords才真正被客户接受和广泛使用,Google成为充分利Jfj搜索的恻I:赚钱机器。
5月,美国在线AOL放弃Inktomi,开始使JIj Google搜索数引.,10月,Yahoo!放弃在用户搜索时先返回Yahoo!目录中数据的做法,完全改为显示Google搜索数据。
Yahoo!目录至今还是最重要的网站日录。
12月,Yahoo!收购苦于没有良好赢利模式的Inktonu,为2003年一系列收购和整合拉开序幕。
Yalhoo!显然希望拥有自己的搜索技术,而不想继续依赖其他搜索引擎如Google。
2003年2月18日,Overture宣布收购AltaVista。
除了厂“告平台,Overture也拥有了自己的搜索技术。
2月25日,Ovefiure宣布收购FAST的搜索技术部门,FAST拥有,也向另一个著名的搜索网站Lycos 提供搜索数据。
Ovenure因此拥有了当时两家主要搜索技术公司。
3月,Google推出后来被称为Adsense的内容广告系统,向萁他内容嗍站提供广告服务,成为很多网站的主要收入来源之一。
7月,Yahoo!宣布以16亿美元收购Overture,将除了Google之外的几乎所有主流搜索技术(Inktomi、AltaVista、FAST)收归旗下。
可惜,随着2010年Yahoo!放弃自己的搜索技术,转而使用微软必应,Yahoo!以前收购的及自己在此基础上研发多年的搜索技术全部无疾而终。
Overture的PPC广告平台被整合、改名为Yahoo! Search Marketing。
2003年,微软MSN开始开发自己的搜索引擎技术。
此前,MSN网站一直使用Inktomi等搜索技术提供商的搜索数据。
2004年2月,正如所有人预料的,Yahoo!在收购了几大搜索公司后推出自己的搜索引擎,不再使用Google数据和技术。