robots.txt文件语法写法总结(南昌新媒体公司古怪科技)

Robots.txt文件告诉搜索引擎哪些页面是可以被收录的哪些是不可以被收录的。

如果您不想让搜索引擎收录某些页面，请用robots.txt文件制定搜索引擎在你网站的抓取范围。

所以Robots的写置是优化网站所必须的。

Robots.Txt文件的设置：了解robots先从百度开始：下面是百度的robots：/robots.txtUser-agent: Baiduspider (蜘蛛类型：Baiduspider为百度蜘蛛只对百度蜘蛛有效)Disallow: /baidu (限定蜘蛛不能爬取的目录，也可以是页面)User-agent: * (这里就是代表所有蜘蛛的一个限定)Disallow: /shifen/Disallow: /homepage/Disallow: /cpro从以上的百度robots简单了解到，robots.txt能够屏蔽蜘蛛访问特定的目录，方法就是Disallow: /目录名。

改方法是屏蔽此目录包含子目录的所有文件，当然如果子目录不屏蔽，我们可以使用Disallow: /目录名/,我们发现robots.txt一个简单的/ 所起到的作用却截然不同，所以在我们书写robots.txt 的时候一定不能大意，写完后要反复检查或者交站长工具检测。

下面介绍几种特殊写法，用于不同情况：①屏蔽动态页面：Disallow: /*?* Robots检测解释：禁止所有引擎抓取网站所有动态页面这个应该很容易理解，/*?* 表示网站任何带?的url链接，我们知道这种链接一般就是动态页面，鉴于网站静态化处理过的网站完全可以通过屏蔽动态页面来避免出现重复页面，当然如果是数据库驱动的网站，而没有做静态或伪静态处理的网站，就不必要做此特殊处理了。

②屏蔽特殊后缀的文件例如：Disallow: /*.php$ Robots检测解释：禁止所有引擎抓取网站后缀为并且包含。

php的文件$代表以什么后缀结束，介绍符号。

我们可以通过此方法来屏蔽css文件甚至js文件，当然目前我们不是很清楚蜘蛛对于js爬取情况，有朋友做过类似测试的或者查看过日志文件朋友可以分享下。

robots.txt的语法和写法详解robots.txt是⼀个纯⽂本⽂件，是搜索引擎蜘蛛爬⾏⽹站的时候要访问的第⼀个⽂件，当蜘蛛访问⼀个站点时，它会⾸先检查该站点根⽬录下是否存在robots.txt，如果存在，搜索机器⼈就会按照该⽂件中的内容来确定访问的范围，相当于⽹站与搜索引蜘蛛遵循协议，如果该⽂件不存在，所有的搜索蜘蛛将能够访问⽹站上所有没有被屏蔽的⽹页，作为站长，我们就可以通过robots.txt⽂件屏蔽掉错误的页⾯和⼀些不想让蜘蛛爬取和收录的页⾯，那么robots.txt该怎么样写呢? robots的语法： 1、User-agent 定义搜索引擎。

⼀般情况下，⽹站⾥⾯都是：User-agent: *，这⾥*的意思是所有，表⽰定义所有的搜索引擎。

⽐如，我想定义百度，那么就是User-agent: Baiduspider;定义google，User-agent: Googlebot。

2、Disallow 禁⽌爬取。

如，我想禁⽌爬取我的admin⽂件夹，那就是Disallow: /admin/。

禁⽌爬取admin⽂件夹下的login.html， Disallow: /admin/login.html。

3、Allow 允许。

我们都知道，在默认情况下，都是允许的。

那为什么还要允许这个语法呢?举个例⼦：我想禁⽌admin⽂件夹下的所有⽂件，除了.html的⽹页，那怎么写呢?我们知道可以⽤Disallow⼀个⼀个禁⽌，但那样太费时间很精⼒了。

这时候运⽤Allow就解决了复杂的问题，就这样写： Allow: /admin/.html$ Disallow: /admin/。

4、$ 结束符。

例：Disallow: .php$ 这句话的意思是，屏蔽所有的以.php结尾的⽂件，不管前⾯有多长的URL，如abc/aa/bb//index.php 也是屏蔽的。

5、* 通配符符号0或多个任意字符。

例：Disallow: *?* 这⾥的意思是屏蔽所有带“?”⽂件，也是屏蔽所有的动态URL。

robots.txt 规则Robots.txt规则是指一种文本文件，用于告诉网络爬虫哪些网页可以被抓取和哪些不能被抓取。

这种文本文件一般位于网站的根目录下，并且被称为robots.txt。

在此文档中，我们将深入探讨Robots.txt规则的作用、常见用法以及一些常见问题和解决方法。

我们希望这份文档能够帮助所有网站管理员了解如何正确地使用Robots.txt规则。

一、Robots.txt规则的作用网站管理员可以使用Robots.txt规则来控制搜索引擎爬虫在网站中爬取哪些页面。

通过使用Robots.txt规则，网站管理员可以：1.控制搜索引擎爬虫的访问：通过告诉搜索引擎爬虫哪些页面可以被访问，哪些页面不能被访问，网站管理员可以控制搜索引擎爬虫的抓取范围，从而减少网站流量和服务器资源消耗。

2.保护网站的机密信息：如果网站包含一些敏感信息，例如用户帐号，Robots.txt规则可以用来防止搜索引擎爬虫抓取这些页面。

3.提高网站的安全性：Robots.txt规则还可以用来防止黑客针对网站进行攻击。

4.提高网站在搜索引擎中的排名：通过设置Robots.txt规则，网站管理员可以指示搜索引擎爬虫访问网站的重要页面，从而提高网站在搜索引擎中的排名。

二、Robots.txt规则的常见用法Robots.txt规则由一组指令组成，每个指令对应一种行为。

下面列出了Robots.txt最常用的指令。

er-agent:该指令告诉搜索引擎爬虫哪些User-agent可以访问网站。

例如，要允许Googlebot访问网站，可以使用以下指令：User-agent: Googlebot这样，所有以Googlebot作为user-agent的搜索引擎爬虫都可以访问网站。

2.Disallow:该指令告诉搜索引擎爬虫哪些页面不能被访问。

例如，要禁止搜索引擎爬虫访问/admin目录下的所有页面，可以使用以下指令：User-agent: * Disallow: /admin/这样，所有搜索引擎爬虫都不能访问/admin目录下的任何页面。

网站robots的写法站长的工作是设计精美的网站，为大众展现网站丰富多彩的内容。

当然，我们也希望精心设计的网站获得理想的排名，这就要求我们去研究搜索引擎排名规律，最大程度的获得机会展现给客户。

然而，搜索引擎种类很多，有时候，我们对某一种搜索引擎的排名很好，却在另外的搜索引擎上面获得不到一样的排名，原因是各个搜索引擎规则不一样。

为此，有人复制出相同的内容以应付不同搜索引擎的排名规则，制造出大量的重复页面。

搜索引擎一旦发现就会给予惩处。

为此，robots的出现了。

一、r obots的基本概念和功能robots.txt文件是网站的一个文件，它是给搜索引擎蜘蛛看的。

搜索引擎蜘蛛爬行道我们的网站首先就是抓取这个文件，根据里面的内容来决定对网站文件访问的范围。

robots.txt 也可用在某一目录中。

对这一目录下的文件进行搜索范围设定。

几点注意：1）网站必须要有一个robots.txt文件。

2）文件名是小写字母。

3）当需要完全屏蔽文件时，需要配合meta的robots属性。

robots具有两个主要功能：一个功能是屏蔽重复页面另一个功能是屏蔽如让抓取的页面比如隐私。

对于不同的搜索引擎展现不同的搜索路径，在robots中有哪些搜索引擎和其对应的User-agent呢？下面，我列出了一些，以供参考。

搜索引擎User-AgentAltaVista Scooterbaidu BaiduspiderInfoseek InfoseekHotbot SlurpAOL Search SlurpExcite ArchitextSpiderGoogle GooglebotGoto SlurpLycos LycosMSN SlurpNetscape GooglebotNorthernLight GulliverWebCrawler ArchitextSpiderIwon SlurpFast FastDirectHit GrabberYahoo Web Pages GooglebotLooksmart Web Pages Slurp二、robots.txt的语法内容项的基本格式：域: 值对。

robots使用和写法：1、什么是robots.txt?robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

2、robots.txt的语法"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。

在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。

该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下:User-agent:该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。

Disallow :该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow 开头的URL均不会被robot访问到。

robots.txt和Robot.txt准确代码的写法说明国内很多网民都不知道 robots.txt 是干什么的，没有大重视、今天希望看到本文章学习到 robots.txt 的准确解释和使用方法！robots.txt基本介绍robots.txt 是一个纯文本的txt文本文档文件，这种重命名的文本文档是用在网站目录下存储！只有百度，搜搜，搜狗搜索，360搜索等搜索引擎网站上调用的声明！搜索引擎也可以叫《蜘蛛》（例如：站长只想让百度里能搜到本站，就可以用robots.txt上写段代码就能实现！）robots.txt 使用方法：robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

robots.txt写作语法首先，我们来看一个 robots.txt 的写法案例：访问以上具体地址，我们可以看到robots.txt的具体内容如下：# Robots.txt file from# All robots will spider the domainUser-agent: *Disallow:以上文本表达的意思是允许所有的搜索机器人访问站点下的所有文件。

代码第一行：#解释：只要有“#”开头的一行全被隐藏的！（一般不需要写）写法：“#”后面不管填写任何文字都不会有影响！（只是起到隐藏作用）我们一般填写声明就可以了！代码第二行：User-agent:解释：这是控制蜘蛛访问的代码（用来设置蜘蛛的白黑名单）写法：“User-agent:”后面就可以填写百度蜘蛛名称或者搜狗蜘蛛名称！例如：只允许百度蜘蛛：User-agent: BadBot所有蜘蛛可访问：User-agent: *代码第三行：Disallow:解释：这是控制蜘蛛动态的黑名单写法：“Disallow:” 后面可填写以下禁止访问本站所有内容：/禁止访问本站指定目录：/01/允许访问本站指定目录：/01禁止访问目录下的格式：/01*.html允许访问目录下的格式：/01/index.html代码第四行：Allow:解释：访问一组URL或者关键字母的文件名和目录名写法：“Allow:”后面可以填写关键字母例如：Allow:/index演示：即可访问：/index.html/index.asp/index/index.html/index/indextop.html/indexlogo/indexnamo.html====================================== =模拟蜘蛛写法案例说明1. 允许所有的robot访问User-agent: *Allow:或者User-agent: *Disallow:2. 禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /3. 仅禁止Baiduspider访问您的网站User-agent: BaiduspiderDisallow: /4. 仅允许Baiduspider访问您的网站User-agent: BaiduspiderDisallow:5. 禁止spider访问特定目录User-agent: *Disallow: /cofig/Disallow: /totm/Disallow: /~jot/6. 允许访问特定目录中的部分urlUser-agent: *Allow: /acgi-lbin/sseeAllow: /tml/itmAllow: /~jotw/bookDisallow: /cdgi-bins/Disallow: /ddw/Disallow: /~jseoe/7. 使用”*”限制访问url禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

robots.txt文件的作用和语法介绍1、什么是robots.txt文件搜索引擎有自己的搜索习惯，当它对一个网站进行搜索时，哪些目录和文件要看，哪些不用看，它有自己的算法。

我们也可以自己建立一个robots.txt文件，告诉搜索引擎的机器人哪些可以被收录，哪些不需要收录。

这样可以节约自己网站的资源，提高被搜索引擎收录的效率。

２、robots.txt放置位置robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

３、robots相关语法1)User-agent: 适用下列规则的漫游器(搜索引擎)该项的值用于描述搜索引擎robot的名字。

在robots.txt文件中，如果有多条User-agent 记录，就说明有多个robot会受到robots.txt的限制，对该文件来说，至少要有一条User-agent 记录。

如果该项的值设为*，则对任何robot均有效。

●Google爬虫名称: Googlebot●百度（Baidu）爬虫名称：Baiduspider●雅虎（Yahoo）爬虫名称：Yahoo Slurp●有道（Yodao）蜘蛛名称：YodaoBot●搜狗（sogou）蜘蛛名称：sogou spider●MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个)：Msnbot２）Disallow: 拒绝访问的目录或文件该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。

例如：Disallow:/seo.html 表示禁止robot访问文件/seo.html３）Allow:允许访问的目录或文件该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。

例如：Allow:/hibaidu/ 表示允许robot访问目录/hibaidu/4)使用通配符"*"和"$"：$ 匹配行结束符。

什么是robot.txt及其作用1、什么是robots.txt文件？robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

语法：最简单的robots.txt文件使用两条规则：?User-Agent:适用下列规则的漫游器?Disallow:要拦截的网页2、robots.txt文件重要属性认识?“<field>:<optionalspace><value><optionalspace>”。

“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。

该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：A、User-agent:该项的值用于描述搜索引擎robot的名字，在”robots.txt”文件中，如果有多条User- agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

如果该项的值设为*，则该协议对任何机器人均有效，在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。

B、Disallow:该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。

robots写法大全，教你巧妙运用robots文件robots.txt文件的运用，在SEO技术里面是比较不易懂的知识，但是SEOER的我们又必须要去了解，因为它牵扯到一些代码、URL在内，也许稍微偏差一字，对网站的影响就和本身的效果远远不同了。

robots.txt的功能分很多，我们如果合理运用好，对网站的帮助是起很大作用的。

接下来我们来介绍一些比较常用的功能。

一、利用robots.txt来限制网页快照很多搜索引擎都提供一个网页快照的功能。

但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。

因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。

解决这样问题的办法很简单，只需要在你的网页元标记中（<head>和</head>之间）放置如下的一段代码。

<meta name=”robots”content=”noarchive”>以上的一段代码限制了所有的搜索引擎建立你的网页快照。

如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写<meta name=”Baiduspider”content=”noarchive”>需要注意的是，这样的标记仅仅是禁止搜索引擎为你的网站建立快照，如果你要禁止搜索引擎索引你的这个页面的话，请参照后面的办法。

二、禁止搜索引擎抓取网页页面在SEO中，禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。

因为网页有一些是我们不需要用来参加关键词排名的，所以可以屏蔽掉。

为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：<META NAME=”ROBOTS”CONTENT=”NOINDEX,FOLLO W”><meta content=’***************’ name=deｓｃｒｉｐｔion>在这里，META NAME=”ROBOTS”是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如META NAME=”Googlebot”、META NAME=”Baiduspide”、META NAME=”www.********.com” 等。