搜索引擎

搜索引擎(search engine)一、内涵：是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，并将处理后的信息显示给用户，是为用户提供检索服务的系统。

搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。

百度和谷歌等是搜索引擎的代表。

二、类型：★全文索引全文搜索引擎是名副其实的搜索引擎，国外代表有Google，国内则有著名的百度搜索。

它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。

根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。

★目录索引目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。

用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。

目录索引中最具代表性的莫过于大名鼎鼎的Yahoo、新浪分类目录搜索。

★元搜索引擎元搜索引擎（META Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。

著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。

在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。

★其他非主流搜索引擎1、集合式搜索引擎：该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。

2、门户搜索引擎：AOL Search、MSN Search等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。

3、免费链接列表（Free For All Links简称FFA）：一般只简单地滚动链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。

三、原理第一步：爬行搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”。

搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。

比如：蜘蛛如果跟踪链接想去爬行一个站点的时候，先要通过robots文件说明，如果robots文件不允许蜘蛛爬行的话，蜘蛛是不能跟踪链接的。

当然，蜘蛛也需要理解HTTP返回码、nofollow标签、mate标签等等，所以蜘蛛的爬行是在一定规律和要求下进行的。

除了搜索引擎蜘蛛要遵循的一些规则外，还有一些搜索引擎蜘蛛无法做到的事情。

比如：要求注册的站点，FLASH里的链接，图片里的链接等等。

所以，我们了解搜索引擎蜘蛛爬行的时候，不能一味的认为搜索引擎蜘蛛无所不能。

第二步：抓取存储搜索引擎是通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存入原始页面数据库。

其中的页面数据与用户游览器得到的HTML是完全一样的。

搜索引擎蜘蛛在抓取页面是，也做一定的重复内容检测，一旦遇到权重很低的网站上有大量抄袭、采集或者复制的内容，很可能就不在爬行。

这也就是为什么有一些采集站的数据量很大，但是收录量很低的原因。

不过，大部分的去重工作，还是在预处理阶段进行。

第三步：预处理搜索引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理。

1、提取文字：现在搜索引擎的排名,还是主要以文字内容为基础。

蜘蛛抓取到数据库里的原始页面文件，需要进行文字提取，去除页面中的标签、JS程序、图片等无法用于排名的内容。

当然，搜索引擎也会提取游览器中发现显示的标签文字、图片注释文字、FLASH注释文字和锚文本文字等。

2、中文分词：中文分词主要是针对中文搜索引擎的特有步骤，英文搜索引擎不存在这个步骤。

由于中文字和词是连载一起的，搜索引擎要分辨哪些字组成的一个词，所以进行一种分词步骤。

中文分词一般都是按照两种方法，一种是词典匹配;一种是基于统计分析。

词典匹配比较容易理解，是根据以往词典中出现的词语匹配。

而基于统计分析，主要是分析大量的文字样本，计算出字与字相邻出现的频率，来判断是不是一个词。

在这里，我们就比较容易理解关键词里所说到的完全匹配，基本上是基于词典匹配，反之则是根据统计分析出来的词。

3、去停词：主要是去除对内容无关紧要的一些助词(如中文的：的，地，哈。

英文的the.a,an 等)，使索引数据主题更为突出，减少无谓的计算量。

4、消除噪音：主要是去除一些对页面主题内容没什么贡献，并且大量重复出现的文字。

比如，导航、页脚、和广告等5、去重：去重处理，其实就是搜索引擎判断是否原创的一种计算方式。

一般情况，搜索引擎运用的方法是对页面特征关键词计算指纹，也就是说从页面主题内容中选取最有代表性的一部分关键词，然后计算这些关键词的数字指纹。

实验证明，一般复制的内容即使增加了的、地、哈等文字或者把段落重新组合，都能被搜索引擎轻易判断出来。

这些只能从推理上来理解，现阶段的搜索引擎还不能完全判断原创内容，因为还会涉及到页面被抓去的时间的先后，网站的信任度等很多方面的信息。

6、正向索引：主要是指搜索引擎在完成了以上5个步骤后，就得到了独特的、能反应页面内容的、以词为单位的内容。

搜索引擎就可以分词程序划分好的词，把页面转化成关键词组成的集合。

搜索引擎索引程序将页面及关键词形成词表的结构存储进索引库。

实际上在搜索引擎索引库中，关键词也已经转换成为关键词的ID，这样的数据库结构就称为正向索引。

7、倒排索引：是指搜索引擎将正向索引数据库重新构造为倒排索引，把文件对应到关键词的影视转换为关键词到文件的映射。

在倒排索引中是以关键词为主，每个关键词对应着一系列文件，这些文件都出现了这个关键词。

这样当用户搜索某个关键词的时候，排序程序在倒排索引中定位到这个关键词就可以马上找到所有包含这个关键词的文件。

一般用户在搜索引擎中搜索关键词时，都是运用的倒排索引。

8、链接关系计算：是搜索引擎排名的重要依据。

所以，搜索引擎对于大量网页的导入及导出链接、链接的权重、相关性等数据进行充分的计算，从而作为某个文件对应关键词的排序依据。

9、特殊文件处理：对于搜索引擎无法爬行和读取的flash、图片、js等文件，暂时无法作为搜索引擎的排名考量指标，仅能以特殊文件的代替文件作为唯一有价值的排序依据。

搜索引擎的预处理阶段也是在后台完成的，用户搜索时感觉不到这个过程。

第四步：排名用户在搜索框输入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程与用户直接互动的。

但是，由于搜索引擎的数据量庞大，虽然能达到每日都有小的更新，但是一般情况搜索引擎的排名规则都是根据日、周、月阶段性不同幅度的更新。

搜索引擎对网站的影响：一个网站的命脉就是流量，而网站的流量可以分为两类。

一类是自然流量，一类就是通过搜索引擎而来的流量。

如果搜索引擎能够能多能有效的抓取网站内容，那么对于网站的好处是不言而喻的。

所以，SEO也应运而生了。

作用搜索引擎是网站建设中针对“用户使用网站的便利性”所提供的必要功能，同时也是“研究网站用户行为的一个有效工具”。

高效的站内检索可以让用户快速准确地找到目标信息，从而更有效地促进产品/服务的销售，而且通过对网站访问者搜索行为的深度分析，对于进一步制定更为有效的网络营销策略具有重要价值。

1、从网络营销的环境看，搜索引擎营销的环境发展为网络营销的推动起到举足轻重的作用2、从效果营销看，很多公司之所以可以应用网络营销是利用了搜索引擎营销3、就完整型电子商务概念组成部分来看，网络营销是其中最重要的组成部分，是向终端客户传递信息的重要环节四、搜索引擎注册的过程搜索引擎注册通常有软件自动注册和人工注册两种方式。

软件自动注册，即一次输入注册所需资料，然后由程序自动加注册搜索引擎，其特点是速度快，但准确度低，而且大部分小型搜索引擎对网站增加访问量几乎没有作用。

在人工注册之前，应该做好充分的准备，包括：关键词、网站描述、网站名称、URL、联系人信息等。

在进行人工注册的准备和注册过程中，下列几方面的问题需要给予足够的关注。

1. 网页标题和META标签（1）网页标题（TTTLE)。

这里说的标题是指网页中的HTML。

（2）META标签。

此标签的重要作用就是为搜索引擎的蜘蛛或机械手检索网页做准备，一些搜索引擎就是根据源代码中META标签所设定的关键词来检索和排序的。

2. 网页主体(BODY)。

网页主体是浏览器可以看到的全部内容，在HTML代码中位于标签之下，即网页的全部内容。

（1）统一资源定位（URL）。

URL即通常所说的网址，因此可以构造一个含有关键词的网址，并将这个网址提交给搜索引擎。

（2）构造关键词。

META标签中的关键词对搜索引擎产生直接作用，一般来说，可以在两类关键词中选择：一类是简短、有力的，排列位置可以稍微靠前，但词汇数量少：另一类是范围较宽、数量较多的关键词，排列顺序可能稍后靠。

（3）对网站的描述。

需要描述的是自己的网站而不是公司，目的是为了让访问者对网站有进一步的了解，已决定是否继续到你的网站获取进一步的信息。

3. 提交你的网站当上述准备工作就绪，就可以正式注册了。

注册时进入搜索引擎登录页面，按照网站要求填写相应内容提交即可。

4. 网站注册后的跟踪管理在向搜索引擎提交注册表单之后，如果超过了搜索引擎正常的更新周期，你的网站仍然没有被收录，应再一次注册。