我们向搜索引擎提交一个查询，搜索引擎会从先到后列出大量的结果，排序的不同带来的经济效应也不同，我们想要的就是让自己的搜索结果靠前，最好是能得到NO.1。那么这些搜索结果排序的标准是什么呢？
还是看看百度搜索研发部以求医为例谈搜索引擎排序算法的基础原理。
比如，如果我牙疼，应该去看怎样的医生呢？假设只有三种选择：
A医生，既治眼病，又治胃病；
B医生，既治牙病，又治胃病，还治眼病；
C医生，专治牙病。
A医生肯定不在考虑之列，B医生和C医生之间，貌视更应该选择C医生，因为他更专注，更适合我的病情。假如再加一个条件：B医生经验丰富，有二十年从医经历，医术高明，而C医生只有五年从医经验，这个问题就不那么容易判断了，是优先选择更加专注的C医生，还是优先选择医术更加高明的B医生，的确成了一个需要仔细权衡的问题。
至少，我们得到了一个结论，择医需要考虑两个条件：医生的专长与病情的适配程度、医生的医术。大家肯定觉得这个结论理所当然，而且可以很自然地联想到，搜索引擎排序不也是这样吗，既要考虑网页内容与用户搜索查询的匹配程度，又要考虑网页本身的质量。
但是，怎么把这两种因素结合起来，得到一个，而不是两个或多个排序标准呢？简单的加减乘除是不够严谨的，最好能跟数学这样坚实的学科联系起来。人类在古代就能建造出高楼，但要建造出高达数百米的摩天大厦，如果没有建筑力学、材料力学这样坚实的学科作为后盾，则是非常非常困难的。同理，搜索引擎算法要处理上亿的网页，也需要更为牢固的理论基础。
求医，病人会优先选择诊断准确、治疗效果好的医生。而对于搜索引擎来说，一般按网页满足用户需求的概率从大到小排序。如果用q表示用户给出了一个特定的搜索查询，用d表示一个特定的网页满足了用户的需求，那么排序的依据可以用一个条件概率来表示：
这个简单的条件概率，将搜索引擎排序算法与概率论这门坚实的学科联系了起来。可以看到，搜索引擎的排序标准，是由三个部分组成的：搜索查询本身的属性P(q)、网页本身的属性P(d)、两者的匹配关系P(q|d)。对于同一次查询来说，所有网页对应的P(q)都是一样的，因此排序时可以不考虑，即
搜索引擎为了提高响应用户搜索查询的性能，需要事先对所有待查询的网页做预处理。预处理时，搜索引擎预处理只知道网页，还不知道用户查询，因此需要倒过来计算，即分析每个网页能满足哪些需求，该网页分了多大比例来满足该需求，即得到公式右边的第一项P(q|d)，这相当于医生的专注程度。
比如，一个网页专门介绍牙病，另一个网页既介绍牙病又介绍胃病，那么对于“牙疼”这个查询来说，前一个网页的P(q|d)值就会更高一些。
公式右边的第二项P(d)，是一个网页满足用户需求的概率，它反映了网页本身的好坏，与查询无关。假如要向一个陌生人推荐网页(我们并不知道他需要什么)，那么P(d)就相当于某个特定的网页被推荐的概率。在传统的信息检索模型中，这个不太被重视，之前都试图只根据查询与文档的匹配关系来得到排序的权重。而实际上，这个与查询无关的量是非常重要的。
假如我们用网页被访问的频次来估计它满足用户需求的概率，可以看出对于两个不同的网页，这个量有着极其巨大的差异：有的网页每天只被访问一两次，而有的网页每天被访问成千上万次，这对于排序非常重要。
总而言之，这个公式模型告诉了我们网页与查询的匹配程度，和网页本身的好坏都是参与排序排名的重要因素。
怎么样？文章中的内容在现在是不是有很多都似曾相似，是不是在互联网上看到很多文章都和这类似？其实很多内容都是从这里衍生出去的。比如搜索引擎的综合得分排序、比如关键词与网页内容的相关度、比如网页本身好坏对排序影响等等。
一个最简单的例子，著名的搜索引擎排序算法pagerank算法，其实就是为了弥补传统算法对P(d)值（页面本身好坏判断）的不足而产生的，Pagerank是对网页好坏判断的一个不错的标准。而现在的网页点击量、停留时间、跳出率、页面访问速度等都是对网页满足用户需求概率的预估，这一个因素越来越重要。
随着用户时代来临，用户投票越来越影响搜索排名，而用户主要衡量的除了需求满足外就是网页本身质量。所以，网页本身质量不管对于用户还是搜索引擎，在排序上都变得越来越重要。
2014年10月11日于嗨推学习笔记
搜索引擎基本工作原理 目录 1工作原理 2搜索引擎 3目录索引 4百度谷歌 5优化核心 6SEO优化 ?网站url ? title信息 ? meta信息 ?图片alt ? flash信息 ? frame框架 1工作原理 搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。 1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（spider）。爬虫Spider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。 2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重
复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。 3、提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。 搜索引擎基本工作原理 2搜索引擎 在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库 的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP 地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，
搜索引擎基本原理 一．全文搜索引擎 在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。 二．目录索引 与全文搜索引擎相比，目录索引有许多不同之处。 首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。 其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。
尤其象Yahoo!这样的超级索引，登录更是困难。（由于登录Yahoo!的难度最大，而它又是商家网络营销必争之地，所以我们会在后面用专门的篇幅介绍登录Yahoo雅虎的技巧） 此外，在登录搜索引擎时，我们一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。 最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。 目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。 目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而象 Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。
影响网站在搜索引擎排序的六大主要因素 一、服务器的稳定性，服务器的选择，可从以下几个方面考虑： 1、选择正规的IDC公司，也就是服务器提供商，可以看他们的一些相关证件等，首先这个公司必须是正规的那你才有首要的保证； 2、看他们是否有7*24小时技术售后服务，因为服务器的租用关键的就是后期的技术售后服务（如果有你也可以在很晚的时候给他们打个电话，看通不通），如果需要备案也问下他们是否免费协助备案； 3、其实各家IDC公司的资源是不同的，你可以根据你的需要，例如服务器的配置、带宽、线路等，来选择合适你的IDC公司； 4、其实上边那几步已经可以选择出几个了，然后你可以在对比价格和一些你自己的要求等，相信就可以选择出合适你的服务器提供商了。 如果是租用空间，那要选择足够空间，一般企业200-500M即可 二、关键词 1、关键词的选词 关键词的选词很重要，这就基本上决定了你网站的定位，所以我们需要选择适合自己网站的
关键词。这三言两语也讲不清楚，到时会专门出一个专题来另讲，各位如有兴趣，可继续关注我的文库 2、关键词的数目 小编曾经看到一个网站的关键词大概放了二十个不同关键词，title（标题）上面布局满了所谓的关键词，看起来很杂，对用户体验大大降分。查询这样的网站的排名，虽然域名有三四年的历史，但是排名依然很低，而且是没有流量的，这样的网站大多数都是很难干优化的，除了一些少数的网站。因为这样的网站关键词的布局很多，导致了网站的相关性不断减少，权重很大程度上得不到提高。小编建议一般网站的关键词选择在四五个之内就可以了，不宜太多，假如网站关键词全部优化上去了，可以适量增加网站关键词的个数。 3、页面关键词的布局 标题、描述页、导航栏、友情链接、产品名称、网页内文章标题、文章内容等。这些地方都要可以布局关键词，但要布局合理。一般标题最好有2-3个核心关键词，描述页面也要重复几次关键词，整个网站首页关键词密度布置在2%-8%。但关键词一定要统一，不要分布得过多过散。 三、外链数量和质量 外链数量和质量对网站排名有很大影响，因此，做外链，成很多站长的主要工作。建设外链时要注意以下几个问题 1、外链源的多样性，很多来自不同域名的链接 2、外部链接含有关键字的锚文字 3、外链的质量，多到高权重高质量的平台做外链链 4、定期检查自己的友情链接健康度，如果发现你的友情链接有问题了，一定要及时处理。 如果对方的网站被处罚，则应果断撤掉。否则会影响自己的权重。 做外链的方法很多，下次也会开一个专题来讲。这里就不做细讲。各位如有兴趣，可继续关注我的文库 四、内容：
以及其他信息。 搜索引擎基本工作原理
与全文搜索引擎相比，目录索引有许多不同之处。 首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。 其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其象Yahoo!这样的超级索引，登录更是困难。 此外，在登录搜索引擎时，我们一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。 最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。 目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。 目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而象Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注），在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。 新竞争力通过对搜索引擎营销的规律深入研究认为：搜索引擎推广是基于网站内容的推广——这就是搜索引擎营销的核心思想。这句话说起来很简单，如果仔细分析会发现，这句话的确包含了搜索引擎推广的一般规律。本文作者在“网站推广策略之内容推广思想漫谈”一文中提出一个观点：“网站内容不仅是大型ICP网站的生命源泉，对于企业网站网络营销的效果同样是至关重要的”。因为网站内容本身也是一种有效的网站推广手段，只是这种推广需要借助于搜索引擎这个信息检索工具，因此网站内容推广策略实际上也就是搜索引擎推广策略的具体应用。 百度谷歌 编辑 查询处理以及分词技术 随着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把有代表性的搜索引擎作为研究对象。搜索引擎经济的崛起，又一次向人们证明了网络所蕴藏的巨大商机。网络离开了搜索将只剩下空洞杂乱的数据，以及大量等待去费力挖掘的金矿。
搜索引擎工作原理 在搜索引擎的后台，有一些收集网页信息的程序。收集到的信息一般是能够表明网站内容的关键词或短语。然后，信息的索引存储在数据库中。 搜索引擎的系统架构和操作模式吸收了信息检索系统设计中的许多宝贵经验，并根据万维网数据和用户的特点进行了许多修改。其核心文档处理和查询处理的过程基本上是类似传统信息检索系统的工作原理,但它处理的数据对象的复杂特征,也就是说,万维网数据,确定搜索引擎系统必须调整其系统结构,以满足数据处理和用户查询的需求搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。 3、1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（spider）。爬虫Spider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。 4、2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词（中文）、判断网页类型、分
析超链接、计算网页的重要度/丰富度等。 5、提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。 在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置、频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。
参数，然后对相应站点进行抓取。 在这里，我要说明一下，就是针对百度来说，site的数值并非是蜘蛛已抓取你页面的数值。比 如site:https://www.doczj.com/doc/a213903398.html,，所得出的数值并不是大家常说的百度收录数值，想查询具体的百度收录量应该在百度提供的站长工具里查询索引数量。那么site是什么？这个我会在今后的文章中为大家讲解。 那么蜘蛛如何发现新链接呢？其依靠的就是超链接。我们可以把所有的互联网看成一个有向集合的聚集体，蜘蛛由起始的URL集合A沿着网页中超链接开始不停的发现新页面。在这个过程中，每发现新的URL都会与集合A中已存的进行比对，若是新的URL，则加入集合A中，若是已在集合A中存在，则丢弃掉。蜘蛛对一个站点的遍历抓取策略分为两种，一种是深度优先，另一种就是宽度优先。但是如果是百度这类商业搜索引擎，其遍历策略则可能是某种更加复杂的规则，例如涉及到域名本身的权重系数、涉及到百度本身服务器矩阵分布等。 二.预处理。 预处理是搜索引擎最复杂的部分，基本上大部分排名算法都是在预处理这个环节生效。那么搜索引擎在预处理这个环节，针对数据主要进行以下几步处理： 1.提取关键词。 蜘蛛抓取到的页面与我们在浏览器中查看的源码是一样的，通常代码杂乱无章，而且其中还有很多与页面主要内容是无关的。由此，搜索引擎需要做三件事情：代码去噪。去除掉网页中所有的代码，仅剩下文本文字。②去除非正文关键词。例如页面上的导航栏以及其它不同页面共享的公共区域的关键词。③去除停用词。停用词是指没有具体意义的词汇，例如“的”“在”等。 当搜索引擎得到这篇网页的关键词后，会用自身的分词系统，将此文分成一个分词列表，然后储存在数据库中，并与此文的URL进行一一对应。下面我举例说明。 假如蜘蛛爬取的页面的URL是https://www.doczj.com/doc/a213903398.html,/2.html，而搜索引擎在此页面经过上述操作后提取到的关键词集合为p，且p是由关键词p1,p2,……,pn组成，则在百度数据库中，其相互间的关系是一一对应，如下图。
搜索引擎到工作原理 第一节搜索引擎的定义和功能构成 所谓“搜索引擎”，说到底是一个计算机应用软件系统，或者说是一个网络应用软件系统。从网络用户的角度看，它根据用户提交的类自然语言查询词或者短语，返回一系列很可能与该查询相关的网页信息，供用户进一步判断和选取。为了有效地做到这一点，它大致上被分成三个功能模块，或者三个子系统：即网页搜集，预处理和查询服务。 应该指出，在实践中这三个部分是相对独立的，它们的工作形成了搜索引擎工作的三个阶段，通常分别由人工启动。同时我们注意到，在早期的搜索引擎中，系统处理的网页数量少，预处理部分的工作比较简单，只是涉及到汉语的分词（英文还没有这个问题）和建索引，因此也有将分词合并到网页搜集过程中，将建索引归到查询服务子系统中，从而整个系统看起来只有两个模块的安排。 图片一：搜索引擎三段式工作原理模式图 第二节、网页搜集 搜索引擎这样一个软件系统应该是何种工作方式？如果说软件系统是工作在某还是即时。我们都有经验，在网络比较畅通的引擎服务的基础应该是一批预先搜集好的网页个数据集合上的程序的话，这个软件系统操作的数据不仅包括内容不可预测的用户查询，还要包括在数量上动态变化的海量网页，并且这些网页不会主动送到系统来，而是需要由系统去抓取。 首先，我们考虑抓取的时机：事先情况下，从网上下载一篇网页大约需要1秒钟左右，因此如果在用户查询的时候即时去网上抓来成千上万的网页，一个个分析处理，和用户的查询匹配，不可能满足搜索引擎的响应时间要求。不仅如此，这样做的系统效益也不高（会重
复抓取太多的网页）；面对大量的用户查询，不可能想象每来一个查询，系统就到网上“搜索”一次。 因此我们看到，大规模引擎服务的基础应该是一批预先搜集好的网页（直接或者间接1）。这一批网页如何维护？可以有两种基本的考虑。 定期搜集，每次搜集替换上一次的内容，我们称之为“批量搜集”。由于每次都是重新来一次，对于大规模搜索引擎来说，每次搜集的时间通常会花几周。而由于这样做开销大，较通常两次搜集的间隔时间也不会很短（例如早期天网的版本大约每3个月来一次，Google在一段时间曾是每隔28天来一次）。这样做的好处是系统实现比较简单，主要缺点“是时新性”（freshness）不高，还有重复搜集所带来的额外带宽的消耗。 增量搜集，开始时搜集一批，往后只是（1）搜集新出现的网页，（2）搜集那些在上次 搜集后有过改变的网页，（3）发现自从上次搜集后已经不再存在了的网页，并从库中删除。由于除新闻网站外，许多网页的内容变化并不是很经常的（有研究指出50%网页的平均生 命周期大约为50天，这样做每次搜集的网页量不会很大（例如我们在2003年初估计中 国每天有30-50万变化了的网页），于是可以经常启动搜集过程（例如每天）。30万网页，一台PC机，在一般的网络条件下，半天也就搜集完了。这样的系统表现出来的信息时 新性就会比较高，主要缺点是系统实现比较复杂；这种复杂还不仅在于搜集过程，而是还 在于下面要谈到的建索引的过程。 上面讲的是系统网页数据库维护的基本策略。在这两种极端的情况之间也可能有一些折中的方案，J. Cho博士在这方面做过深入的研究[Cho and Garcia-Molina,2000]，[Cho,2002]， 根据一种网页变化模型和系统所含内容时新性的定义，提出了相应优化的网页搜集策略。其 中一个有趣的结论是：在系统搜集能力一定的情况下，若有两类网页（例如“商业”和“教育”），它们的更新周期差别很大（例如“商业”类网页平均更新周期是“天”，而“教育”类 网页平均更新周期是“月”），则系统应该将注意力放在更新慢的网页上[Cho and Garcia-Molina,2000]，以使系统整体的时新性达到比较高的取值。 在具体搜集过程中，如何抓取一篇篇的网页，也可以有不同的考虑。最常见的一种是所 谓“爬取”：将Web上的网页集合看成是一个有向图，搜集过程从给定起始URL集合S （或者说“种子”）开始，沿着网页中的链接，按照先深、先宽、或者某种别的策略遍历，不 停的从S中移除URL，下载相应的网页，解析出网页中的超链接URL，看是否已经被访 问过，将未访问过的那些URL加入集合S。整个过程可以形象地想象为一个蜘蛛（spider）在蜘蛛网（Web）上爬行（crawl）。后面我们会看到，真正的系统其实是 多“个蜘蛛”同时在爬。 这种方式的好处除了概念很漂亮，一般实现起来也不困难外，还有很重要的一条是容易通过一定的策略，使搜集到的网页相对比较“重要”。前面提过，任何搜索引擎是不可能将Web 上的网页搜集完全的，通常都是在其他条件的限制下决定搜集过程的结束（例如磁盘满，或者搜集时间已经太长了）。因此就有一个尽量使搜到的网页比较重要的问题，这对于那些并不追求很大的数量覆盖率的搜索引擎特别重要。研究表明，按照先宽搜索方式得到的网页集合要比先深搜索得到的集合重要（这里当然有一个重要性的指标问题）。这种方式的一个困难是要从每一篇网页中提取出所含的URL。由于HTML的灵活性，其中出现URL的方式各种各样，将这个环节做得彻底不容易（例如我们现在还没有很好的简单办法从JavaScript 脚本中提取URL）。同时，由于Web 的“蝴蝶结”形状，这种方式搜集到的网页不大会超过所有目标网页数量2的2/3。 另外一种可能的方式是在第一次全面网页搜集后，系统维护相应的URL集合S，往 后的搜集直接基于这个集合。每搜到一个网页，如果它发生变化并含有新的URL，则将它们 对应的网页也抓回来，并将这些新URL也放到集合S中；如果S中某个url对应的
课题：信息检索工具的工作原理 课型：新授课 课时：1 课时 教学目标： 1．了解常用的英特网信息检索工具类型；能描述信息检索工具的基本工作原理和特点。 2．体验因特网信息检索工具的优缺点。 3. 掌握常用因特网信息检索工具的使用方法，能熟练使用信息检索工具获取所需信息。 内容分析： 本节为“因特网信息资源检索”中的重点部分，介绍了全文和目录索引类搜索引擎的工作原理，这是学习的重点。教材中通过搜索奥运信息的例子来说明在网上检索信息的过程， 以达到简化原理、帮助学生理解的目的。教学中应尽量选取贴近生活的例子来说明复杂的工 作原理，降低难度，以提高学生的检索能力为最终目的。 教学过程： 1．情境引入 已搜索一首歌曲为基础，提出问题：同学们想像一下信息检索工具该如何工作呢？有几种方法能达到，让学生们互相讨论，并展开对比讨论，选出最恰当的方法。 2．教学过程 方法一：全文搜索引擎的工作原理 （1）提出问题 ①去超市购买一枝钢笔的过程。 购物→描述商品特征→取货→交给顾客 ②利用全文搜索引擎查找夏季奥运会的由来，并观察操作的一般过程。如图 1-1 ～ 1-3 所示。 图 1-1 百度检索首页
图 1-2 百度检索结果页面 图 1-3 百度检索答案举例页面 总结 全文搜索引擎检索信息的过程： 搜索关键字或词→数据库中检索→搜索结果。 （2）通过上述范例引申 从专业的角度拓展给学生讲解搜索引擎的组成。 ①搜索器：负责定期地自动到各个网站上，把网页抓下来，并顺着上面的链接，持 续不断地抓取网页。 ②索引器：把搜索器抓来的网页进行分析，按照关键词句进行索引，并存入服务器 的数据库中。 ③检索器：面向用户，接收用户提交的查询字串，在索引数据库中查询，并将结果 反馈给用户。 巩固练习：搜索江苏省2012年高考方案 进一步总结，得出全文搜索引擎的工作包括三个过程。 ①搜索器在因特网中发现、搜集网页信息。 ②索引器对所搜集的信息进行提取和组织，并建立索引库。 ③由检索器根据用户输入的查询关键词，在索引库中快速检出相关文档，进行文档与查询内容的相关比较，对检出的结果进行排序，并将查询结果返回给用户。 方法二：目录索引类搜索引擎的基本工作原理 （1）提出问题 ①如果去学校图书馆借阅“短篇小说集”，该怎么去做，描述一般过程。 借阅图书→找书目→找相应书籍→从书架拿出 ②利用目录类搜索引擎查找“北京大学”的信息，如图 1-4 ～ 1-7所示。
搜索引擎分类及工作原 理 WEIHUA system office room 【WEIHUA 16H-WEIHUA WEIHUA8Q8-
搜索引擎的分类及工作原理 姓名:XXX 班级:XXX 摘要：这篇论文是关于搜索引擎的分类及原理的分析。在浩瀚的网络资源中，搜索引擎（Search Engine）是一种网上信息检索工具，它能帮助用户迅速而全面地找到所需要的信息。它是一个集中了千千万万个站点的地方,主要功能是给人们搜索这些站点。它还会分门别类的把一些好的站点列出来，以方便人们查找资料，有了搜索引擎你就能很容易的找到你想要的内容或站点，因此掌握好使用搜索引擎对于任何上网的用户至关重要。一个好的搜索引擎，不仅数据库容量要大，更新频率、检索速度要快，支持对多语言的搜索，而且随着数据库容量的不断膨胀，还要能从庞大的资料库中精确地找到正确的资料。 关键词：搜索引擎工作原理分类蜘蛛搜集网站 1.前言 获得网站网页资料，能够建立数据库并提供查询的系统，我们都可以把它叫做搜索引擎。搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。真正意义上的搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。 当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。 2.搜索引擎分类
搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（Full Text Search Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。 全文搜索引擎 全文搜索引擎是从网站提取信息建立网页数据库。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。 目录索引 首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。
搜索引擎排序的标准是什么？ (易开店讯) 我们向搜索引擎提交一个查询，搜索引擎会从先到后列出大量的结果，这些结果排序的标准是什么呢？这个看似简单的问题，却是信息检索专家们研究的核心难题之一。 为了说明这个问题，我们来研究一个比搜索引擎更加古老的话题：求医。比如，如果我牙疼，应该去看怎样的医生呢？假设我只有三种选择： A医生，既治眼病，又治胃病； B医生，既治牙病，又治胃病，还治眼病； C医生，专治牙病。 A医生肯定不在考虑之列。B医生和C医生之间，貌视更应该选择C医生，因为他更专注，更适合我的病情。假如再加一个条件：B医生经验丰富，有二十年从医经历，医术高明，而C医生只有五年从医经验，这个问题就不那么容易判断了，是优先选择更加专注的C医生，还是优先选择医术更加高明的B医生，的确成了一个需要仔细权衡的问题。 至少，我们得到了一个结论，择医需要考虑两个条件：医生的专长与病情的适配程度；医生的医术。大家肯定觉得这个结论理所当然，而且可以很自然地联想到，搜索引擎排序不也是这样吗，既要考虑网页内容与用户查询的匹配程度，又要考虑网页本身的质量。但是，怎么把这两种因素结合起来，得到一个，而不是两个或多个排序标准呢？假如我们把这两种因素表示成数值，最终的排序依据是把这两个数值加起来，还是乘起来，或是按决策树的办法把它们组织起来？如果是加起来，是简单相加，还是带权重加呢？ 我们可以根据直觉和经验，通过试错的办法，把这两个因素结合起来。但更好的办法是我们能找到一个明确的依据，最好能跟数学这样坚实的学科联系起来。说起来，依据朴素的经验，人类在古代就能建造出高楼；但要建造出高达数百米的摩天大厦，如果没有建筑力学、材料力学这样坚实的学科作为后盾，则是非常非常困难的。同理，依据朴素的经验构建的搜索引擎算法，用来处理上万的网页集合应该是没问题的；但要检索上亿的网页，则需要更为牢固的理论基础。 求医，病人会优先选择诊断准确、治疗效果好的医生；对于搜索引擎来说，一般按网页满足用户需求的概率从大到小排序。如果用q表示用户给出了一个特定的查询，用d表示一个特定的网页满足了用户的需求，那么排序的依据可以用一个条件概率来表示： P(dq)
搜索引擎的分类及工作原理 姓名:XXX 班级:XXX 摘要：这篇论文是关于搜索引擎的分类及原理的分析。在浩瀚的网络资源中，搜索引擎（Search Engine）是一种网上信息检索工具，它能帮助用户迅速而全面地找到所需要的信息。它是一个集中了千千万万个站点的地方,主要功能是给人们搜索这些站点。它还会分门别类的把一些好的站点列出来，以方便人们查找资料，有了搜索引擎你就能很容易的找到你想要的内容或站点，因此掌握好使用搜索引擎对于任何上网的用户至关重要。一个好的搜索引擎，不仅数据库容量要大，更新频率、检索速度要快，支持对多语言的搜索，而且随着数据库容量的不断膨胀，还要能从庞大的资料库中精确地找到正确的资料。 关键词：搜索引擎工作原理分类蜘蛛搜集网站 1.前言 获得网站网页资料，能够建立数据库并提供查询的系统，我们都可以把它叫做搜索引擎。搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。真正意义上的搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。 当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。 2.搜索引擎分类 搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（Full Text Search Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。 2.1全文搜索引擎 全文搜索引擎是从网站提取信息建立网页数据库。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间搜索引擎主动派出“蜘蛛”程
一、搜索引擎引题 搜索引擎是什么？ 这里有个概念需要提一下。信息检索(Information Retrieval 简称IR) 和搜索(Search) 是有区别的，信息检索是一门学科，研究信息的获取、表示、存储、组织和访问，而搜索只是信息检索的一个分支，其他的如问答系统、信息抽取、信息过滤也可以是信息检索。 本文要讲的搜索引擎，是通常意义上的全文搜索引擎、垂直搜索引擎的普遍原理，比如Google、Baidu，天猫搜索商品、口碑搜索美食、飞猪搜索酒店等。 Lucene 是非常出名且高效的全文检索工具包，ES 和Solr 底层都是使用的Lucene，本文的大部分原理和算法都会以Lucene 来举例介绍。 为什么需要搜索引擎？ 看一个实际的例子：如何从一个亿级数据的商品表里，寻找名字含“秋裤”的商品。 使用SQL Like select * from item where name like '%秋裤%' 如上，大家第一能想到的实现是用like，但这无法使用上索引，会在大量数据集上做一次遍历操作，查询会非常的慢。有没有更简单的方法呢，可能会说能不能加个秋裤的分类或者标签，很好，那如果新增一个商品品类怎么办呢？要加无数个分类和标签吗？如何能更简单高效的处理全文检索呢？
使用搜索引擎 答案是搜索，会事先build 一个倒排索引，通过词法语法分析、分词、构建词典、构建倒排表、压缩优化等操作构建一个索引，查询时通过词典能快速拿到结果。这既能解决全文检索的问题，又能解决了SQL查询速度慢的问题。 那么，淘宝是如何在1毫秒从上亿个商品找到上千种秋裤的呢，谷歌如何在1毫秒从万亿个网页中找寻到与你关键字匹配的几十万个网页，如此大的数据量是怎么做到毫秒返回的。 二、搜索引擎是怎么做的？ Part1. 分词 分词就是对一段文本，通过规则或者算法分出多个词，每个词作为搜索的最细粒度一个个单字或者单词。只有分词后有这个词，搜索才能搜到，分词的正确性非常重要。分词粒度太大，搜索召回率就会偏低，分词粒度太小，准确率就会降低。如何恰到好处的分词，是搜索引擎需要做的第一步。 正确性&粒度 分词正确性 “他说的确实在理”，这句话如何分词？ “他-说-的确-实在-理”[错误语义] “他-说-的-确实-在理”[正确语义] 分词的粒度 “中华人民共和国宪法”，这句话如何分词？
搜索引擎的工作原理大致可以分为： 1、搜集信息：搜索引擎的信息搜集基本都是自动的。搜索引擎利用称为网络蜘蛛(spider)的自动搜索机器人程序来连上每一个网页上的超连结。机器人程序根据网页链到其他中的超链接，就象日常生活中所说的“一传十，十传百……”一样，从少数几个网页开始，连到数据库上所有到其他网页的链接。理论上，若网页上有适当的超连结，机器人便可以遍历绝大部分网页。 2、整理信息：搜索引擎整理信息的过程称为“建立索引”。搜索引擎不仅要保存搜集起来的信息，还要将它们按照一定的规则进行编排。这样，搜索引擎根本不用重新翻查它所有保存的信息而迅速找到所要的资料。想象一下，如果信息是不按任何规则地随意堆放在搜索引擎的数据库中，那么它每次找资料都得把整个资料库完全翻查一遍，如此一来再快的计算机系统也没有用。 3、接受查询：用户向搜索引擎发出查询，搜索引擎接受查询并向用户返回资料。搜索引擎每时每刻都要接到来自大量用户的几乎是同时发出的查询，它按照每个用户的要求检查自己的索引，在极短时间内找到用户需要的资料，并返回给用户。目前，搜索引擎返回主要是以网页链接的形式提供的，这些通过这些链接，用户便能到达含有自己所需资料的网页。通常搜索引擎会在这些链接下提供一小段来自这些网页的摘要信息以帮助用户判断此网页是否含有自己需要的内容。 以上是在百度搜索的结果。 下面谈一下我个人对FTP搜索的见解。 首先是第一步，搜集信息。每隔一段时间，派出“蜘蛛”程序。（我想这里的蜘蛛程序跟网页搜索引擎的“蜘蛛”程序是有所区别的。网页搜索引擎的“蜘蛛”程序是指自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，不断重复这过程，并把爬过的所有网页收集回来的程序。而这里的“蜘蛛”程序，我猜是在某一个时刻，利用文件系统方面的类方法，自动历遍所有的已知的校内FTP站点的文件夹，然后把每一个文件的名字、大小、类型、地址、路径等相关信息收集回来的程序。） 第二步，整理信息。“蜘蛛”程序搜集回来的信息，输入数据库，这样的话，用户要查询的文件可以很快地得出，并且用户可以不必按照文件的名字来查询，以类型、大小等查询也是可以的，同时在给出查询结果的时候，可以按照大小、日期等来排序。 第三步，接受查询。用户登陆一个门户网站，就像北大天网那样，在搜索框里填入关键词，查询的类型，是否模糊查找等，这个页面就可以会把表单的内容传到服务器上、查询数据库，然后返回查询结果。还有支持用链接的方式，点击分类，然后可以浏览这个方面的信息，如下载排行、推荐下载等。 关于疑问方面，就是那个PNG图的构架不是很清楚，sniffer跟spider是什么关系呢？ 还有一个就是ipv6的问题，人大内不是有个ipv6的ftp吗？查询结果要标注是ipv6吗？
搜索引擎三段式工作流程总结 搜索引擎要处理的问题就是，在一个可以接受的时间内返回一个和该用户查询匹配的网页信息列表，这个列表包括三部分：标题，URL，描述或摘要。 现代的大规模搜索引擎一般采用三段式的工作流程，即：网页搜集、预处理、查询服务。 现在我对这三点简单的阐述下： 一、网页搜集 搜索引擎是通过爬虫去搜集互联网中的网页，放入数据库，但是这不可能是用户提交查询的时候才去抓取，而是预先就搜集好一批网页，可以把WEB上的网页集合看成是一个有向图，搜集过程从给定起始URL集合S开始，沿着这些网页中的链接，按照先深或先宽某种策略遍历，不停的从S中移除URL，下载相应的网页，解析出网页中的超链接URL，看是否已经访问过，或者有未访问过的那些URL加入集合S。我们这里可以是定期搜集，增量搜集，或者是用户自主提交的方式进行爬取。并且对这批网页进行维护。这种维护，是为了能及时发现网页的新特征，搜集新的网页，改变过的网页，或者已经不存在的网页。 二、预处理 预处理主要包括四个方面：关键词的提取、镜像网页或转载网页的消除、链接分析和网页重要程度的计算 1.关键词的提取 作为预处理阶段的一个基本任务，就是要提取出网页源文件的内容部分包括的关键词。对于中文来说，就是根据一个词典，用一个所谓的“切词软件”，从网页文字中切除词典所包含的词语来，在那之后，一篇网页主要是由一组词来代表，p={a,b,c,……d}.一般来讲，我们会得到很多词，同一个词可能在一篇网页中出现多次。然后我们要去掉”停用词“，例如”的，在，是”这一类的词语。再加以对这些词的词频(TF)和文档频率(DF)之类的计算统计，从而指示出词语在一篇文档中的相对重要性和某种内容的相关性。 2.镜像或者转载网页的消除 在WEB上，存在着大量的重复信息，这种信息对于搜索引擎来说可能是负面的，因为需要消耗机器时间和带宽资源，并且无意义的消耗了计算机显示屏资源，也可以带来用户的抱怨，这么多重复，给我一个就够了。所以搜索引擎对于消除这些重复信息也是预处理中一个很重要的任务。 3.链接分析 搜索引擎除了对内容进行分析外，并且最重要的还需要对链接进行分析，链接信息不仅给出了网页之间的关系，而且还对判断网页的内容起到很重要的作用。网页中的内部链接和外部链接对网站的排序起到了很大的影响。 4.网页重要程度的计算 搜索引擎返回给用户是一个和查询相关的结果列表，列表中的条目顺序是很重要的问
SEO实战密码：搜索引擎工作原理三个阶段简介 搜索引擎工作过程非常复杂，接下来的几节我们简单介绍搜索引擎是怎样实现网页排名的。这里介绍的内容相对于真正的搜索引擎技术来说只是皮毛，不过对SEO人员已经足够用了。 搜索引擎的工作过程大体上可以分成三个阶段。 （1）爬行和抓取：搜索引擎蜘蛛通过跟踪链接访问网页，获得页面HTML代码存入数据库。 （2）预处理：索引程序对抓取来的页面数据进行文字提取、中文分词、索引等处理，以备排名程序调用。 （3）排名：用户输入关键词后，排名程序调用索引库数据，计算相关性，然后按一定格式生成搜索结果页面。 爬行和抓取 爬行和抓取是搜索引擎工作的第一步，完成数据收集的任务。 1．蜘蛛 搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。 搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。 蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址。 和浏览器一样，搜索引擎蜘蛛也有标明自己身份的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辨识搜索引擎蜘蛛。下面列出常见的搜索引擎蜘蛛名称：· Baiduspider+（+https://www.doczj.com/doc/a213903398.html,/search/spider.htm）百度蜘蛛 · Mozilla/5.0 （compatible; Yahoo！ Slurp China; https://www.doczj.com/doc/a213903398.html,/help.html）雅虎中国蜘蛛 · Mozilla/5.0 （compatible; Yahoo！ Slurp/3.0; https://www.doczj.com/doc/a213903398.html,/help/us/ysearch/slurp）英文雅虎蜘蛛 · Mozilla/5.0 （compatible; Googlebot/2.1; +https://www.doczj.com/doc/a213903398.html,/bot.html）Google蜘蛛 · msnbot/1.1 （+https://www.doczj.com/doc/a213903398.html,/msnbot.htm）微软 Bing蜘蛛 · Sogou+web+robot+（+https://www.doczj.com/doc/a213903398.html,/docs/help/webmasters.htm#07）搜狗蜘蛛 · Sosospider+（+https://www.doczj.com/doc/a213903398.html,/webspider.htm）搜搜蜘蛛 · Mozilla/5.0 （compatible; YodaoBot/1.0;
搜索引擎如何对搜索结果进行排序 目前，不同的搜索引擎使用了不同的相关度排序方法。比较流行的有两类：超链接分析法，即一个网页被链接的次数越多而且链接的站点越权威就说明此网页的质量越高；词频统计法，即网页文档中出现查询词的频率越高，其排序就越靠前。此外，还有点击率法，即网页被点击的次数越多，相关度越高；付费jingjia 法，以网站付费的多少来决定排序前后。 任何一个搜索引擎的目的就是更快速地响应用户搜索，把满足用户需求的搜索结果反馈给搜索用户。能否把与用户检索需求最相关的高质量文档纳入结果排序的前面是衡量搜索引擎性能的关键技术之一。Google最成功的地方在于利用PageRank对Google排名结果排序，让好的结果排在前面，从而提高了检索质量。 1．链接分析法 面对网络这个新的环境，必须使用新的排序技术才能达到较好的检索效果。由此，基于超链分析的各种排序算法被搜索引擎界提出。绝大部分超链分析算法都有共同的出发点：更多地被其他页面链接的页面是质量更好的页面，并且从更重要的页面出发的链接有更大的权重。最着名的链接分析法是Brin．s和Page．L于1 998年提出并应用到Google搜索引擎中的PageRank，以及IBM用于CLEVER搜索引擎的HITS(Hypertext InducedTopic Selection)。 2．词频统计法 词频统计法也就是向量空间模型采用的相似度计算方法。许多搜索引擎都以索引项的词频和位置作为相关度的判定标准，采用前述的词频加权方法来计算相关度。一个词在网页文档中出现的频率越高，它代表该文档主题的程度就越大，其作为索引项的准确性也就越高，权重就越大。在与查询词匹配时，它所代表的文档与查询请求的相关度就越高。除词频外，一个词在文档中的位置也对索引器选词和计算词的权值产生影响。 例如在网页title标签、链点标签、Meta keyword标签、Meta descrip tion标签中选关键词并按词频计算权值时，或索引项出现在网页标题、文章前几段、段首等位置时，其权值会加大。虽然大多数搜索引擎都以词频和词的位置