网站优化必看 蜘蛛陷阱 不利于蜘蛛爬取的网页

警惕SEO的十大黑帽方法在我们做SEO的时候，大多数的人都是在用正常的手法去优化网站，有个别的人想快点做出效果，所以就用一些在搜索引擎中违规的手段，并且迅速的把排名做上去，但是这样的排名不会很稳定，当搜索引擎发现你用了非法的手法，接下来搜索引擎就毫不手软的把你的网站在搜索引擎中K掉，这种方法大家通常叫做黑帽，而且现在做SEO的市场上大多说人都知道，优化的手段有三种，一种是白帽就是用正常的优化手法去做优化，虽然优化时间比较长，但是当排名做上去以后，只要定期维护，就很难下来了，第二种就是红帽，也是最近才出现的一个手法，就是说走一些搜索引擎的黑帽判别漏洞去做优化，上去的效果也是很快，而且做上去效果以后也未必会被搜索引擎K掉，但是被K的网站还是会有，所以红帽也不是很安全，最后就是刚才我所说的搜索引擎判断非法手段的方法，这样的方法大家都知道叫做黑帽，而且现在有很多SEO新手，不知道黑帽方法都包括哪些，可能一个不小心自己的网站就会在搜索引擎中消失，所以本章我给大家介绍一些黑帽方法有哪些，提醒熟手不要使用，提醒新手不要触犯，好了说了这么多，下面给大家介绍一下黑帽方法包括哪些，他们的特征是什么?一、隐藏链接首先介绍的第一种黑帽方法叫做隐藏链接，就是把你的连接隐藏在代码中，而不显示在网页前台当中，这样的方法有很多自作聪明的新手朋友们都会去触犯，如果说你的网站以后做了隐藏链接，建议你干劲把隐藏链接去掉，以免搜索引擎发现K掉你的网站。

二、关键词伪装有的朋友会问何为关键词伪装?大概就是你选择某关键词做上去后，而你的这个页面内容所提取的关键词却和这个已经做上去的关键词风马牛不相及。

意思也就是搜索引擎看到的和用户看到的是不同的东西，所以大家一定要去避免。

三、桥页、门页桥页和门页这个是以前经常出现的黑帽方法之一，当做优化的时候，桥页都会专门做一个页面，全部嵌入关键词，并且关键词全部加粗加超链接到首页，就是为了可以提高关键词出现率，并且快速的剪刀效果，这个方法比较快，但是搜索引擎也会对这样的网站进行查封。

影响SEO的7个蜘蛛陷阱在SEO工作中，网页被收录是基础工作，但对于搜索引擎来讲，极少情况会100%收录你网站的所有网页，搜索引擎的爬虫程序设计的再精巧，也难以逾越所谓的蜘蛛陷阱（蜘蛛陷进）。

蜘蛛陷阱是组织蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序赞成障碍，如果消除这些蜘蛛陷阱，可以是蜘蛛程序收录更多的网页。

很对蜘蛛陷阱都是先进的技术方法，开发成本相对也较大，但是这些的确会影响搜索引擎对你网站的了解，甚至还可能被整个网站都不被搜索引擎收录，那么，当务之急，是消除这些蜘蛛陷阱，让搜索引擎收录你的更多网页，这才将有利于你的SEM营销计划的开展。

一、注意robots文件正确书写robots.txt文件看似一个简单的文本文件，放在网站的根目录下面，但它可以告诉搜索引擎的蜘蛛程序在服务器上的那些文件是可以被查看的，那些文件是私人文件将不被查看。

1、User agent（用户代理）：User agent定义了下面的禁止命令使用于那个蜘蛛程序，如果对User agent定义为星号（*），则表示针对所有的蜘蛛程序。

User-agent:Baiduspider（百度蜘蛛）Disallow:/User-agent:*（所有蜘蛛）Disallow:/2、Disallow（禁止）：禁止指明了具体那个文件蜘蛛程序不能查看，可以指定精确的文件名或者任意文件，甚至是目录名的一部分，比如：User-agent:*（所有蜘蛛）Disallow:/（所有文件被禁止查看）User-agent:Baiduspider（百度蜘蛛）Disallow:/admin（根目录下任何以admin开头的目录和文件）User-agent:*（所有蜘蛛）Disallow:/admin/（admin目录和该目录下的任何文件）意外的失误对网站带来的影响很普遍，在网站上线之前可能会对整个网站暂时屏蔽，但上线以后往往忙于其他事情而忘记该文件的更正，导致网站不能正常被搜索引擎收录。

要想在搜索引擎获得比较好的排名，与蜘蛛打好关系是非常重要的，什么是蜘蛛陷阱呢？蜘蛛陷阱是阻止蜘蛛程序抓取网站内容的程序代码，对搜索引擎不友好，不利于蜘蛛爬行和抓取。

那么我们如何避免呢？
一、网站首页不要采用Flash结构
蜘蛛是很难理解Flash上面的内容的，抓取比较困难。

二、尽量不要采用JavaScript代码
为了提高网站对搜索引擎的友好访问，建议网站不要采用JavaScript代码，一些JS达到的效果Css是同样可以达到的。

虽然蜘蛛能够理解JS里面的链接，但是要花费一段周期，时间成本很宝贵的。

三、尽量不要采用框架结构
ifrmae框架结构部不利于搜索引擎收录。

四、避免过多的URL动态参数
在url中加入过多的动态参数，不利于搜索引擎蜘蛛抓取，虽然搜索引擎对已经不是问题，但是从友好度讲，静态网页要好的多，还能方便用户记忆。

五、不要采用SessionId页面
蜘蛛每次访问都作为一个新用户，都会在Url中生成新的SessionId页面，这样一来就会生成很多重复页面，造成页面相识度过高。

六、页面跳转
页面跳转的方式一般有：301跳转，302跳转，Meta Refresh，JS等代码，给蜘蛛的抓取带来不便，蜘蛛是很反感页面跳转的，尽量不要采用。

七、网页层级不要太深
层级太深，蜘蛛抓取很困难，一般网站首页权重最高，内容到首页的距离太远，被分到的权重就会减少。

如果内容不是太多，尽量采用一个层级，这样缩短内容到达首页的距离，越容易得到首页权重传递。

SEO网站优化8大禁忌1、纯采集。

搜索引擎是喜新厌旧的，优化得再完美，也无济于事，而关注度很高的关键词，就算排在第二页，也会带来很大的流量。

4.标题更改频繁。

一个不稳定的网站，百度是不会喜欢的，在建站之初，就应该把网站的各个细节都考虑好，一旦建立，便不要轻易更改。

5.代码过长而杂乱。

蛛蛛是从网页代码读取网页内容的，如果代码过长，蜘蛛将很难知道哪为重点甚至会截断蜘蛛的爬行。

6.主题与内容不符。

网站内容和主题相背离，搜索自然不会喜欢，不过有一个常用方法，在内容页的title里加上网站的名称，这对网站主页的排名有一定作用7.垃圾链接。

使用群--发软件群--发垃圾链接，认为链接越多总是更好的，其实搜索引擎要的是链接的质量。

8.太急躁。

欲速则不达，心急吃不了热豆腐，网站优化必须要有一个好心态，尤其百度对新站收录极慢，一个针对百度优化的新站，必须做好打持久战的准备。

搜索引擎为何会受到欢迎，就是因为用户能在上面找到需要的东西，搜索引擎对网站的要求也同样如此，做网站优化也应该多站在用户的角度考虑，目的就是用户体验，搜索引擎的算法是经常改进的，***的网站，就算能一时得逞，但终有一天，会被k掉，因为搜索越来越成熟。

网站优化关键词怎么选最好1、将关键词进行分类将关键词做好分类是我们在初期必须要做的选择，因为我们我们在对于旅游这个行业来说最重要的一点就是资源，也就是旅游的资源，那么这个之间重要的就是将我们要做的景点全部进行细分，比如说将九寨沟我们可以将这个单独进行分一个类，然后将所有九寨沟相关的资料全部放在里面，然后使用站点的布局，将九寨沟做成一个二级的栏目，这样子更加容易方便管理和优化，而且更加能够与行业竞争对手做竞争，当然要看是否具备一些初期要素，在做关键词布局的时候，我们可以尽可能的将该栏目进行细化，我们可以将在该页面上进行全方位的细化，而且只用建立好一个模板，然后基本上后期的所有景点都可以按照该景点进行调用，然后再将每一个相关的页面中进行连接，这样子能够增加他们之间的内链与相关程度，比如说九寨沟周边宾馆，那么我们可以与乐山大佛周边宾馆之间做好连接以及其他页面做好连接，这样子能够更加方便我们与用户之间进行对接，更加能够分析用户在景点之间的选择分析。

网站优化排名的十大禁忌1、给搜索引擎蜘蛛制造陷阱当然排名第一的也就是对搜索引擎危害最大的黑帽方法，也就是江湖中闻风丧胆的蜘蛛陷阱，可能我这么形容大家有点感觉慎的慌，但是这么形容蜘蛛陷阱是不为过的，因为蜘蛛陷阱是一种无线循环的程序，就像一家黑店，在门口看来是花灯酒绿的，但是其实店内就是一个让蜘蛛有去无回的陷阱等着蜘蛛爬行，当然蜘蛛陷阱相对来说是很厉害，但是搜索引擎也不是傻瓜，当搜索引擎在蜘蛛传达的数据中发现你的网站收录情况一下子好多的时候，搜索引擎就会去检查蜘蛛，当发现蜘蛛掉进无线循环的蜘蛛陷阱中去的时候，搜索引擎会给蜘蛛像“回城卷”似地命令，命令蜘蛛直接跳出网站回到搜索引擎，并且把给蜘蛛下陷阱的网站直接K掉，并且拉入黑名单永世不得翻身，说起来这样的话站长就不值得了，因为自己辛苦经营的网站，就因为用一个蜘蛛陷阱被K而且是永世不得翻身的那种，说起来真的是叫人心疼。

2、不要做被搜索引擎认为非法的网站由于现在的网站越来越多，有的时候搜索引擎也会对一些非法网站进行收录，当然收录后会过很长时间搜索引擎才会发现，但是一旦搜索引擎发现非法网站被蜘蛛收录了，那么搜索引擎会直接K掉网站，并且非法网站也会像蜘蛛陷阱一样的处罚拉入黑名单，当然发现的时候也就是搜索引擎大更新的时候，所以说非法网站也是在搜索引擎中站不住脚的。

3、不要用虚假信息欺骗搜索引擎欺骗搜索引擎也就是用虚假信息欺骗搜索引擎收录，这就是属于搜索引擎欺骗了，当然现在有的站长收录情况不好，不用这个办法收录信息的效率会很低，虽然收录的快，但是一旦被发现，搜索引擎可能对你的网站进行处罚，把你收录的文章归0，当然不会K掉网站，但是归0的概念就是一切的工作全部作废，如果说这样的话，站长们就太不合适了。

4、网站页面不要添加隐藏链接隐藏链接也就是说在网站中直接不显示在页面当中，而是选择隐藏链接，一来可以保持网站的美观，二来可以让蜘蛛来收录爬行，虽然这样的办法可以帮助做SEO，但是这个办法也是属于黑帽方法，所以搜索引擎对隐藏链接也会给予收录文章归0的处罚，当然也有可能被K，但是一般情况下是不会被K掉网站的。

网站结构优化：切勿捡了芝麻丢了西瓜！百度搜索引擎给站长的建议，设计网页时主要考虑的是用户，而非搜索引擎，永远将用户体验放在首位，这一建议让很多seoer铭记于心做任何事以用户为主，讨好用户的喜爱，越来越重视内容的价值性，做好“内容为王”，这是一件喜大普奔的事，却会让新手seoer忽略网站优化的另一面，结构优化，忽略内容是建立在良好网站结构的基础上，没有良好的结构，再好的干货也只能石沉大海，不被蜘蛛所爬取，所以做好网站结构优化是网站正常发展的前提，切勿捡了芝麻丢了西瓜，一心只为内容，做好网站结构优化同样可以提高用户体验，更能使网站茁壮成长。

网站结构优化的几个目标：1、用户体验用户体验，用直白的话来说，就是用户访问一个网站时能够不假思索的找到自己想要的信息，用网页搜索引擎质量白皮书来说就是网站的可访问性和浏览体验，可访问性：百度搜索引擎会从正常打开、权限限制、有效性三方面判断网页的可访问性,浏览体验：用户希望看到干净、易阅读的网页，排版混乱、广告过多会影响用户对网页主体内容的获取，良好的用户体验能一笑倾人城。

2、增加收录网站页面的收录很大程度上依靠良好的网站结构，seoer经常说的一句话，网站的页面在首页三到四次点击就要全部链接到网站首页，这才是好的网站导航，面包屑导航清晰的导航条，都是为了增加蜘蛛的爬取从而增加网站的收录，许多网站栏目页没收录或许就是因为没入口权重太低，导致蜘蛛爬取不到。

3.权重合理Nofollow是站长们使用最多的，而使用nofollow就是为了避免不必要的权重被分散，而网站结构优化也是为了更好的权重分配合理，让转化率高的重要页面得到更多的权重，从而获得更好的排名，获得更多的流量，而非必需或可有可无的页面在一边呆着看热闹，所以seoer从事者要有意识的规划好网站所有的页面重要程度，做到物尽其用。

网站结构优化要做好哪些？1、对搜索引擎友好(避免蜘蛛陷阱)对搜索引擎友好是个老生常谈的话题，搜索引擎是以发现页面，抓取页面、索引页面为一条线，所以不要在这中间插入对蜘蛛不友好的元素，主要指Javascript链接、Flash中的链接和Iframe框架的使用，蜘蛛没办法读取这些元素，只会对网站留下不良的印象，相信很多站长都深知其中要害。

优化干货：网页设计中那些急需避开的蜘蛛陷阱不论是新站，还是老站，从优化的角度而言，网站的页面一定要对搜索引擎友好，有利于蜘蛛爬行和抓取的页面是每一位SEO从业者不断努力地目标。

虽然说百度算法不断改革，将所谓的用户体验放在了首位，但SEOer们都清楚的一点是：网站不能为了更好的用户体验，将蜘蛛爬行和抓取的有力因素忽略，这样的网站也不能在搜索引擎中获得良好排名，又怎么能获得高流量呢?为了自身站点能够在良好用户体验的基础上，利于蜘蛛爬行和抓取，各位站长应该将那些不利因素尽可能的避开。

对于SEO从业者而言，将那些不利于蜘蛛爬行的网站设计技术称之为蜘蛛陷阱。

如果你想要拥有高质量的站点，那些蜘蛛陷阱应该尽量避免出现。

1、Flash不得不承认的是，Flash绝对会给用户带来很好的体验度，可它的存在对于搜索引擎而言是很不友好的，当然蜘蛛根本没有办法抓取Flash中的信息，所以大神总是会建议大家不要在站点里加入Flash。

如果仅仅是在网页的某个小部分中使用Flash，来增强用户的视觉效果还是可行的，如用Flash做成的广告、图标等。

因为这类小Flash仅仅是页面设计的很小部分，页面上存在更多的是其他以文字为主的内容，这样对搜索引擎和收录造成的影响也不会太大。

如果你想要让网站首页仅仅显示一个Flash文件，这就是所谓的蜘蛛陷阱，当然这样的设计是不被站长们接受的，因此Flash文件是优化站点时不被建议添加的内容。

2、Session ID可能很多人都不清楚Session ID到底是什么，其实它就是会话ID，有些站点会用它跟踪用户访问，每个用户访问网站时都会生成一个独特唯一的Session ID，加在URL上。

因此搜索引擎猪猪的每一次访问也会被当成一个新的用户，URL中会加上不同的Session ID，因此蜘蛛每次访问时的URL都会有所不同，但其网页内容并没有发生变化。

这样就形成了蜘蛛陷阱，对站点的优化是非常不利的，所以小编建议SEOer们不要使用这样的方式设计站点。

常见的蜘蛛陷阱
蜘蛛陷阱：对搜索引擎来说很不友好并且不利于蜘蛛爬行和抓取的因素。

1、Flash 误区：为了使页面更加美观动感，页面大面积的使用Flash甚至整页都用Flash。

2、Session ID 每个用户访问网站时都会生成独特唯一的Session ID，这样蜘蛛访问的时候同一的页面，不同的URL,建议：跟踪用户可以使用cookies。

3、各种跳转搜索引擎会对各种形式的跳转都比较敏感。

如果确实需要进行跳转，301跳转是搜索引擎推荐的，其它跳转都对网站不利。

4、框架结构不要使用框架结构（frame），因为蜘蛛不认识。

5、动态URL 动态URL指的是数据库驱动的网站所生成的、带有问号的、等号及参数的网址。

影响蜘蛛抓取。

6、javascript链接用javascript可以创造出很多吸引人视觉的效果，很多人喜欢用javascript脚本生成很炫的导航系统。

这往往是蜘蛛不喜欢的。

所以不要使用。

7、要求登陆有些网站内容放在需要用户登陆之后才能看到的会员区域，这部分内容搜索引擎蜘蛛看不到，因为蜘蛛不会填写及注册。

网站优化一定要避免的蜘蛛陷阱网站优化一定要避免的蜘蛛陷阱很多站长都说，企业网站不好做，那是因为很多企业网站会在设计上对搜索引擎来说很不友好，不利于蜘蛛爬行和抓取，这些技术被称为蜘蛛陷阱。

所以作为企业站一定要尽量避免蜘蛛陷阱。

第一、FLASH 有的网站整个首页就是一个很大的flash，这就构成了蜘蛛陷阱。

搜索引擎住宅区的html代码只有一个链向flash文件的链接，没有其他文字内容。

还有网站在首页的banner就使用一个flash，并且添加活动链接，虽然对用户来说能够直观的看到活动内容，但是对于蜘蛛来说，就无法识别，而且抓取不到flash的链向地址。

第二、Session ID 有些网站使用sission ID(会话ID)跟踪用户访问，每个用户访问都会生成一个独特唯一的session ID，加在URL中。

搜索引擎蜘蛛的每一次访问也会被当成一个新的用户，URL中会加上一个不同的session ID，这样搜索引擎每次来访问时所得到的同一个页面的URL将不一样，后面带着一个不一样的session ID。

这也是最常见的蜘蛛陷阱之一。

第三、各种跳转除了301跳转以外，搜索引擎蜘蛛对其他形式的跳转都比较敏感，如302跳转，javascript跳转、meta refresh 跳转。

如果必须转向，301转向是搜索引擎推荐的、用于网站更改的转向，可以吧页面权重从旧网址转移到新网址。

其他的转向方式都对蜘蛛爬行不利。

所以除非万不得已，尽量不要使用301转向以外的跳转。

第四、框架结构使用框架结构设计页面，在网站诞生初期曾经听流行，但是现在网站已经很少使用框架了，不利于搜索引擎抓取是框架越来越不流行的重要原因之一，对于搜索引擎来说，访问一个使用框架的网址所抓取的html只包含调用其他html文件的代码，并不包含任何文字信息。

搜索引擎无法判断这个网址的内容是什么。

总之，如果你的网站还在使用框架，或者你的老板要使用框架结构，唯一要记住的是，忘记使用框架这回事。