认识网站中的robots与网站地图

robots文件全名叫做robots.txt是网站和搜索引擎之间的协议，并不是每个网站都有robots文件、所以就需要我们做seo来给我们网站添加robots文件、并且优化robots文件。

robots文件添加的位置
robots文件必须放在网站根目录，而且文件名称必须要是小写（robots.txt）文件
User-agent: * 跟的是蜘蛛的名称
*是一个通配符，代表是所有的蜘蛛的名称
googlebot: 谷歌baiduspider: 百度
Disallow: 跟的是不允许被抓取的文件路径
Allow: 跟的是允许被抓取的文件路径
我们一般使用robots.txt屏蔽对于排名没有价值的文件，或者网站安全隐私的文件或者是网站的死链接文件。

Disallow: /hang （后台登陆路径）
Disallow: /data （数据库文件）
Disallow: /member （会员注册文件）
m（文件夹织梦自适应的移动站点的文件夹）
什么叫站点地图
网站栏目和内容的集合、可把网站栏目和内容汇聚到一个页面，那么这个页面就包含了所有的内容和栏目链接，做站点地图的目的就是为了提高蜘蛛的抓取效率，提高网站收率。

站点地图如何制作
站点地图常见的格式有三种
sitemap.html （常见）
sitemap.xml （常见）
sitemap.txt （最少见）
百度更喜欢html格式的地图
谷歌更喜欢xml格式的地图。

robots协议的概念
Robots协议是一种用来指导网络爬虫（也称为机器人）在网
站上抓取页面的协议。

它通过告诉爬虫哪些页面可以被抓取，哪些页面不应该被抓取来控制爬虫的行为。

Robots协议是在
网站的根目录下的robots.txt文件中定义的。

通过Robots协议，网站管理员可以指定：
1. User-Agent：指定爬虫的名称或类型。

2. Disallow：指定不允许被抓取的页面或目录。

3. Allow：指定允许被抓取的页面或目录，当与Disallow同时
存在时，Allow优先级更高。

4. Crawl-delay：指定爬虫每次抓取的延迟时间。

5. Sitemap：指定网站的XML Sitemap文件的位置。

使用Robots协议可以有效控制爬虫对网站的抓取，保护重要
信息或避免过度抓取造成的服务器负载增加。

但是Robots协
议仅仅是一种建议，不能保证所有爬虫都会遵守协议中的规则。

一些恶意的爬虫可能会忽略Robots协议而进行非法的抓取操作。

对robots协议的理解Robots协议是一种用于指导搜索引擎爬虫在网站上进行抓取的协议。

它通过网站的robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些页面不应该被抓取。

这个协议的存在是为了帮助网站所有者控制搜索引擎爬虫对其网站内容的访问，以保护隐私、节省带宽和优化搜索引擎抓取的效率。

从技术角度来看，robots.txt文件是一个文本文件，位于网站的根目录下，它包含一系列指令，告诉搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。

这些指令包括User-agent字段，用于指定哪个爬虫执行后面的指令；Disallow字段，用于指定不允许抓取的页面或目录；Allow字段，用于指定允许抓取的页面或目录；还有一些其他的可选字段，用于提供额外的指令。

从搜索引擎优化的角度来看，robots协议对于网站的排名和可见性也有一定的影响。

通过合理地设置robots.txt文件，网站所有者可以控制搜索引擎爬虫抓取的内容，从而更好地指导搜索引擎对网站的收录和排名。

合理地利用robots.txt文件可以避免搜索引擎抓取到一些无关紧要的页面，提高网站核心内容的曝光度，从而对网站的SEO产生积极的影响。

然而，需要注意的是，robots协议并不是强制性的，它只是一种建议性的协议。

一些不怀好意的爬虫可能会无视robots.txt文件的指令，抓取网站内容，因此网站所有者还需要采取其他手段来保护网站内容的安全。

同时，robots.txt文件只能控制搜索引擎爬虫的行为，对于其他类型的爬虫并没有作用。

总的来说，robots协议是一种非常重要的协议，它帮助网站所有者控制搜索引擎爬虫对网站内容的访问，对于网站的隐私保护、搜索引擎优化和内容安全都具有重要意义。

因此，网站所有者应该充分了解并合理地利用robots.txt文件，以更好地管理和保护自己的网站。

SEO中Robots文件的使用介绍搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots.txt的文本文件，robots.txt用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容，如百度的robots文件位于：（/robots.txt）只有在需要禁止抓取某些内容时，写robots.txt才有意义。

Robots文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。

有的服务器设置有问题。

Robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能使搜索引擎错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件，放在你的网站的根目录下。

Robots文件由记录组成，记录记录之间以空行分开，记录格式为：<域名>：<可选空格><域值><可选空格>最简单的robots文件：User-agent:*Disallow:/以上这个robots文件的意思是禁止所有搜索引擎抓取任何文章内容。

User-agent:指定下面的贵州适用于那个蜘蛛。

通配符“*”代表所有搜索引擎，只适用于百度蜘蛛则用：User-agent:Baiduspider只适用于谷歌蜘蛛则用：User-agent:GooglebotDisallow:是告诉蜘蛛不要抓取某些文件或目录。

Disallow:禁止的目录或者文件必须分开写，每一个行，不能写成: Disallow: /cgi-bin/ /tmp/ /aa/index.html下面的指令相当于允许所有搜索引擎抓取任何内容：User-agent:*Disallow:Allow:告诉蜘蛛应该抓取某些文件，由于不指定就是允许抓取，Allow:单独写没有意义，Allow和Disallow配合使用可以告诉蜘蛛某个目录下大部分不允许抓取，知允许抓取一部分。

$通配符：匹配URL结尾字符。

Robots文件有些朋友可能会很陌生，robots文件是大多数主流搜索引擎都支持的一个协议文件，robots是一个纯文本的txt文档放在网站的根目录下。

它主要告诉搜索引擎那些内容是可以被抓取得，那些内容是不能被抓取的。

只有在需要禁止抓取某些内容的时候，robots.txt文件才有意义的。

Robots.txt文件如果不存在或者内容为空的话，那么默认搜索引擎全部都可以抓取。

有时由于服务器设置的问题当搜索引擎没有发现robots.txt文件时会返回一些错误，这样可能会使得搜索引擎错误的解读robots.txt文件，导致内容抓取失败。

所以即使您想网站内容全部被抓取，也要建立一个空的robots.txt文件，放到网站的根目录下面。

最简单的robots.txt文件：User-agent：*Disallow：/这个robots.txt给搜索引擎的信息是禁止抓取网站的所有信息。

User-agent：后面跟的是蜘蛛名称。

通配符*指的是所有的蜘蛛，如User-agent：baiduspider 这个规则就只适合百度蜘蛛，对谷歌的和雅虎的蜘蛛没有作用。

Disallow：告诉搜索引擎蜘蛛不要抓取哪些内容文件或目录，例如：User-agent：*Disallow: /bin/Disallow：/admin/这段代码告诉所有的搜索引擎不能抓取/bin和/admin目录下的所有文件和内容。

注意禁止的文件不能写在同一行上，必须分开写！通配符$的使用如下：User-agent：*Disallow：.asp$Allow: .htm$这段代码将允许所有蜘蛛抓取所有的htm页面内容，不抓取asp页面内容。

Sitemap：这个指令告诉搜索引擎网站地图在哪里如下：User-agent：*Disallow：Sitemap：/sitemap_index.xml这段代码告诉搜索引擎sitemap站点地图在这个位置。

更多内容尽在：。

巧用robots文件提升页面抓取率一、认识robots文件我们知道，robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的，什么是不可以被查看的，蜘蛛知道了这些以后，就可以将所有的精力放在被我们允许访问的页面上面，从而将有限的权重集中起来。

同时，我们还不能互略最重要的一点就是，robots.txt是搜索引擎访问网站要查看的第一个文件。

明白了这一点，我们就有必要，也可能针对这一条做一些文章。

二、将sitemap.xml写入robots文件前面提到了，robots.txt文件是搜索引擎中访问网站要查看的第一个文件，那么，如果我们将sitemap.xml（网站地图）文件地址写入robots.txt文件里面，自然而然会被搜索引擎蜘蛛在第一时间发现，也增大了网站页面被快速抓取和收录的可能性。

此种做法，对于新站作用明显，对于大站更具有积极和现实的作用。

具体写法示例如下：所以，无论是新站还是老站，为了使得更多的页面被搜索引擎抓取，有必要将sitemap.xml写入robots.txt文件中。

三、Sitemap.xml文件的获取前面讲了那么多，可能很多人还不是很明白，sitemap.xml文件究竟如何攻取呢？给大家提供一个工具，也是谷歌官方推荐的sitemap.xml在线生成工具，/，大家可以根据里面的选项选择适合自己网站的sitemap.xml生成样式。

生成sitemap.xml后，一般需要将该文件放置在根目录下面即可。

综上，把sitemap.xml地址写入robots.txt文件，从而提升页面抓取率的方式是可行的，也是具有可操作性的。

希望可以与更多的朋友就网站推广和优化进行探讨。

本文原创台州人才网。

欢迎转载，请保留出处。

在做网站优化的时候，我们不仅要进行网站内容，外链，内链的优化，还需要从sitemap.xml 和robots.txt这些细节之处着手。

sitemap和robots.txt是一个网站针对搜索引擎设置的两个极其重要的文件。

一般的站长都知道，建好网站后需要建立网站的sitemap.xml，还有特殊情况的话需要进行robots.txt文件的设置。

下面说说Sitemap和Robots.txt SEO优化技巧。

第一部分：网站sitemap优化的技巧1. 网站必须要设立sitemap文件。

不管你的网站是不是已经被收录，设置sitemap文件就像相当于给搜索引擎提供了你网站的目录，让搜索引擎更有效率的在你的网站上爬行抓取。

2. 根目录下必须要有sitemap.xml文件。

这是针对第一点来说的，许多网站系统可以自动生成sitemap文件。

但是存储的名称和位置可是多种多样：比如ecshop默认生成的sitemap文件命名为sitemaps.xml；dedecms系统生成的sitemap文件就位于data/rss/目录之下，名称也是已数字命名的。

这些都不是规范的。

搜索引擎默认的格式是你根目录下的sitemap.xml文件。

也就是说，搜索引擎来到你网站的时候会自动寻找你的sitemap.xml文件，而不是其他目录或其他名称的文件。

3. 建立sitemap的索引文件。

关于sitemap的索引文件，了解的人并不多，主要是大家都没有考虑到第2个问题，以为只要自己设立了sitemap文件就可以了。

俗话说酒香还怕巷子深，你把sitemap文件放到那么深的文件目录，你觉得搜索能找到吗。

有人说，我提交到搜索引擎的管理员工具中，但并不是每个搜索引擎都有管理员工具的。

如果你在网站根目录下设立了默认的sitemap索引文件，则可以便捷的向来到你网站的任何一个搜索引擎展示你的网站目录。

并不是每个网站都需要一个sitemap索引文件。

这是因为索引文件的作用是指引搜索引擎爬行你真正的sitemap文件的。

网站优化关于robot的基本使用当搜索引擎访问一个网站的时候，第一步就是检查网站的robots.txt文件，显然这是我们seo 必做的内容。

在了解robots.txt文件写法之前，我们就先要知道robot是什么？robot英文翻译过来：机器人。

robots.txt文件也很好理解：搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。

robots.txt这个文件用于指定spider（蜘蛛）在您网站上的抓取范围。

关于robots.txt需要注意以下几点：1,robots.txt文件应该放置在网站根目录下。

比如，当spider访问http://www. 时，首先会检查该网站中是否存在/robots.txt这个文件，如果Spider 找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

2,每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误文件（无法找到文件）。

每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误文件，所以不管你是否需要屏蔽蜘蛛抓取，都应该在网站中添加一个robots.txt。

3,一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

这些内容目录可以通过robots.txt 屏蔽。

4,robots.txt里主要有两个函数：User-agent和Disallow。

5,robots.txt文件里还可以直接包括在sitemap文件的链接。

就像这样：Sitemap: http://www. /sitemap.xml6,举例个robots.txt,不懂的朋友可以根据自己的网站情况，作为参考。

User-agent: *Disallow: /admin/ 后台管理文件Disallow: /require/ 程序文件Disallow: /attachment/ 附件Disallow: /images/ 图片Disallow: /data/ 数据库文件Disallow: /template/ 模板文件Disallow: /css/ 样式表文件Disallow: /lang/ 编码文件Disallow: /script/ 脚本文件7,文件里面至少要有一个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。

什么是robots？如何设置robots？robots是位于网站根目录的一个TXT文本文件，主要的作用是告诉搜索引擎那些页面可以抓取，那些页面不可以抓取。

一、robots定义：robots是网站和搜索引擎爬虫之间的协议，当搜索引擎爬虫爬取一个网站之前，第一先访问该网站有没有robots协议，如果有按照设置的robots协议进行对网站的抓取，如果没有默认网站所有页面都可以被抓取。

搜索引擎通过一个程序（搜索引擎蜘蛛），自动获取互联网上数亿的网页，经过分析和对比，筛选出质量优质的网页，进行收录和索引，最后得到网页的排名，用户查询关键词就可以访问到被收录的网页。

所以在网站的根目录创建一个robots协议用来告诉搜索引擎，网站这个页面可以被抓取，那个网页不让抓取。

可以说robots协议是对搜索引擎蜘蛛的行为设定了要求。

二、robots注意事项网站所有的内容都可以让搜索引擎抓取，我就不设置robots文件这是不对的，每次搜索引擎蜘蛛来到网站访问robots 文件都会生成一个404页面，网页不存在，对网站有不好的影响。

这种的可以在网站根目录放一个空的robots文件，什么都不写就可以了。

设置所有网页都让搜索引擎抓取，可以增加收目率这个想法也是错误的，搜索引擎对html文件情有独钟，对JS、框架等文件很是排斥。

网站的脚本文件、样式表等可以选择屏蔽，浪费服务器资源还得不到好处。

蜘蛛抓取浪费服务器资源，在robots协议中屏蔽所有搜索引擎这样就把搜索引擎蜘蛛屏蔽了，搜索引擎蜘蛛不会抓取网站内的内容，也不会有收录robots文件需要放置到网站的根目录，url格式域名+robots.txtrobots文件可以放置网站地图的链接，搜索引擎蜘蛛每次到网站首先访问的就是robots文件，所以放上网站的网站地图，有利于搜索引擎蜘蛛发现更多的链接。

robots文件必须是小写命名三、robots协议的设置robots文件的设置有两种参数，一个允许，一个拒绝。

解说搜索引擎中robots的命令使用。

一个网站有多少人知道robots.txt 的作用了，特别新站长更要学习了。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt文件应该放置在网站根目录下。

举例来说，当蜘蛛访问一个网站时，首先会检查该网站中是否存在robots.txt这个文件，如果蜘蛛找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

robot’txt的常用写法：User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录Disallow: /cgi-bin禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）User-agent: *Disallow: /01/Disallow: /02/Disallow: /03/禁止百度搜索引擎的访问（Googlebot谷歌蜘蛛百度的蜘蛛：baiduspider ）User-agent: baiduspiderDisallow: /只允许百度个搜索引擎的访问（下例中的百度的蜘蛛：baiduspider）User-agent: baiduspiderDisallow:User-agent: *Disallow: /百度对robots.txt是有反应的，但比较慢，在减少禁止目录抓取的同时也减少了正常目录的抓取。

原因应该是入口减少了，正常目录收录需要后面再慢慢增加。

Google对robots.txt反应很到位，禁止目录马上消失了，部分正常目录收录马上上升了。