搜索引擎禁止的方式优化网站(怎样通过伪静态来屏蔽蜘蛛的内容？伪分享 )

　　搜索引擎禁止的方式优化网站(怎样通过伪静态来屏蔽蜘蛛的内容？伪分享

)

　　做SEO的朋友应该都知道搜索引擎蜘蛛。蜘蛛是搜索引擎的自动程序。它们被网站管理员称为“蜘蛛”或“机器人”。它的功能是访问和采集互联网上的网页、图片和视频。等内容，然后按类别建立索引库，让用户可以在搜索引擎中搜索到自己想要的网页、图片、视频等内容。

　　对于大部分站长来说，他们希望蜘蛛能来抓他们，恨不得一直在自己的网站里，生怕蜘蛛不会收录拥有网站 ，很多人会故意引诱蜘蛛等等……但有时，由于站长的疏忽或网站程序的问题，不相关和不需要的内容是收录。这个时候我该怎么办？可能有人会说可以加到robots.txt文件中。确实，通过robots文件是一个不错的方法，但是效果往往很慢，而且不可能在短时间内快速删除搜索引擎收录的内容。下面说说如何通过伪静态Pick来阻止蜘蛛爬行。

　　我最近在工作中遇到了一个问题。该公司以前的网站发生了一些变化。整个网站不想成为收录，但是之前出现过很多收录，品牌词也很好。前面通过robots文件禁止搜索引擎爬取，但是没有任何效果，搜索品牌词依然是第一和第二。这时候想到了一个方案，能不能通过代码告诉蜘蛛，这个网站的服务器宕机了，网页已经不在了，降低排名或者直接去掉收录 ，毕竟 网站 不能关闭网站是的，因为竞价端还在使用，需要用户能够正常访问。通过一个下午的研究和实践，

　　下面总结几个伪静态规则，希望对大家有所帮助（返回404或503需要设置错误的文件路径）

　　阿帕奇服务器

　　Apache服务器直接新建一个.htaccess文件（现有文件可以加到最后），放到站点根目录下；

　　1、返回410代码（页面永久无效）

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|robozilla|msnbot) [NC]

RewriteRule .* - [G]

　　2、 返回 404 代码（未找到文件）

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|robozilla|msnbot) [NC]

RewriteRule .* /404.php

　　3、返回 503 代码（服务器故障）

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|robozilla|msnbot) [NC]

RewriteRule .* /503.php

　　Nginx 服务器

　　Nginx服务器可以直接在站点配置文件中写入规则；

　　1、 返回 404 代码（未找到文件）

location / {

if ($http_user_agent ~* baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|robozilla|msnbot)

{

rewrite /.* /404.php;

}

}

　　2、返回 503 代码（服务器故障）

location / {

if ($http_user_agent ~* baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|robozilla|msnbot)

{

rewrite /.* /503.php;

}

}