搜索引擎禁止的方式优化网站(robots搜索蜘蛛访问一个站点.txt规则怎么写新建一个文本)

　　搜索引擎禁止的方式优化网站(robots搜索蜘蛛访问一个站点.txt规则怎么写新建一个文本)

　　robots.txt 是搜索引擎中的一种协议。当你的 网站 有一些你不想被蜘蛛抓取的内容时，你可以使用 robots.txt 告诉蜘蛛不要抓取这些页面。当然不去爬这些页面 没有了收录。

　　robots.txt 是搜索引擎在访问 网站 时查看的第一个文件。当搜索蜘蛛访问一个站点时，它会首先检查站点根目录中是否存在 robots.txt。如果存在，搜索机器人会根据文件内容判断访问范围；如果文件不存在， all 的搜索蜘蛛将能够访问 网站 上没有密码保护的所有页面。

　　如何编写 robots.txt 规则

　　创建一个新的 txt 文本并将其命名为 robots.txt。比如你不想让蜘蛛爬取你的网站后台文件夹，就这样写，文件会放在网站根目录下

　　用户代理： *

　　禁止：/admin/

　　解释：

　　用户代理：* 适用于所有搜索引擎

　　Disallow: /admin/ 禁止爬取admin文件夹

　　Disallow:/代表所有根目录

　　allow: / 表示权限的例子：比如你禁止webdesgn文件夹，但是你想写在webdesign下的收录wangzhanjianshe里 Allow: /webdesign/wangzhanjianshe/*.html 收录 wangzhanjianshe下的在网页设计下所有的html

　　如果只想对百度有效，就这样写吧。User-agent：Baiduspider 只对百度有效，其他搜索引擎不限制。

　　搜索引擎蜘蛛名称：Baiduspider百度蜘蛛、Googlebot谷歌蜘蛛、Bingbot必应蜘蛛、360Spider 360蜘蛛、Sogospider搜狗蜘蛛