搜索引擎禁止的方式优化网站(,fireworks美工技巧,dedecms使用问题(0/851))

　　搜索引擎禁止的方式优化网站(,fireworks美工技巧,dedecms使用问题(0/851))

　　2019-06-19Robots.txt 禁止搜索引擎收录协议

　　首页>技术文章，烟花艺术技巧，dedecms使用问题，网站seo优化>robots.txt禁止搜索引擎收录协议编写百科[0/851]

　　1. 什么是robots.txt？

　　robots.txt 是网站 与搜索引擎之间协议的纯文本文件。当搜索引擎蜘蛛访问一个站点时，它首先会爬行检查站点根目录中是否存在robots.txt。

　　如果存在，则根据文件内容确定访问范围。如果没有，蜘蛛将沿着链接爬行。Robots.txt 放在项目的根目录下。

　　2. robots.txt 语法

　　1) 允许所有搜索引擎访问网站的所有部分

　　Robots.txt 的写法如下：

　　用户代理： *

　　不允许：

　　或者

　　用户代理： *

　　允许： /

　　注意：1.第一个英文必须大写。当冒号是英文时，冒号后面有一个空格。这几点不能错。

　　2)禁止所有搜索引擎访问网站的所有部分

　　Robots.txt 的写法如下：

　　用户代理： *

　　不允许： /

　　3) 只需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引

　　Robots.txt 的写法如下：

　　用户代理： *

　　禁止：/css/

　　禁止：/管理员/

　　禁止：/图像/

　　注意：路径后有斜线和不带斜线的区别：例如Disallow:/images/带斜线是禁止抓取整个文件夹的图片，Disallow:/images不带斜线表示有/images中的k4将被阻塞

　　4） 阻止文件夹 /templets，但可以抓取其中一个文件：/templets/main

　　Robots.txt 的写法如下：

　　用户代理： *

　　禁止：/templets

　　允许：/main

　　5) 禁止访问/html/目录（包括子目录）中所有后缀为“.php”的URL

　　Robots.txt 的写法如下：

　　用户代理： *

　　禁止：/html/*.php

　　6) 只允许访问某个目录下有某个后缀的文件，使用“$”

　　Robots.txt 的写法如下：

　　用户代理： *

　　允许：.html$

　　不允许： /

　　7）禁止索引网站中的所有动态页面

　　例如，带有“？”的域名 这里被限制了，比如 index.php?id=1

　　Robots.txt 的写法如下：

　　用户代理： *

　　不允许： /*？*

　　8)禁止搜索引擎抓取我们网站上的所有图片（如果您的网站使用其他后缀图片名称，您也可以在这里直接添加）

　　有时，为了节省服务器资源，我们需要禁止各种搜索引擎在网站上索引我们的图片。这里的方法除了使用“Disallow:/images/”直接屏蔽文件夹之外。也可以直接屏蔽图片后缀名。

　　Robots.txt 的写法如下：

　　用户代理： *

　　禁止：.jpg$

　　禁止：.jpeg$

　　禁止：.gif$

　　禁止：.png$

　　禁止：.bmp$

　　编写robots.txt的注意事项

　　1. 第一个英文要大写。当冒号是英文时，冒号后面有一个空格。这几点不能错。

　　2. 斜线：/ 代表整个 网站

　　3.如果“/”后面有多余的空格，整个网站都会被阻塞

　　4.不要禁止正常内容

　　5. 生效时间是几天到两个月

　　上一篇：68岁大叔健身53年，依旧壮硕帅气，值得学习

　　下一篇：步行被誉为21世纪最好的运动方式之一，好处多多

　　相关文章

　　还没有消息，所以抢沙发！