搜索指定网站内容(禁止所有搜索引擎访问网站的User文件用法举例举例)

　　搜索指定网站内容(禁止所有搜索引擎访问网站的User文件用法举例举例)

　　*截至2022年3月31日17:14，共有11663人阅读本文。

　　robots.txt文件常用写法示例（完整版）

　　robots.txt 文件使用示例：

　　1. 允许所有机器人访问

　　用户代理：* 允许：/ 或用户代理：* 禁止：

　　2. 阻止所有搜索引擎访问 网站 的任何部分

　　用户代理： *

　　不允许： /

　　3. 只禁止百度蜘蛛访问你的网站

　　用户代理：百度蜘蛛

　　不允许： /

　　4. 只允许百度蜘蛛访问你的网站

　　用户代理：百度蜘蛛

　　不允许：

　　5. 禁止蜘蛛访问特定目录

　　用户代理： *

　　禁止：/cgi-bin/

　　禁止：/tmp/

　　禁止：/~joe/

　　6. 允许访问特定目录中的某些 url

　　用户代理： *

　　允许：/cgi-bin/see

　　允许：/tmp/hi

　　允许：/~joe/look

　　禁止：/cgi-bin/

　　禁止：/tmp/

　　禁止：/~joe/

　　7. 使用“*”限制对url的访问

　　禁止访问/cgi-bin/目录下所有以“.htm”为后缀的URL（包括子目录）。

　　用户代理： *

　　禁止：/cgi-bin/*.htm

　　8. 使用“$”限制对url的访问

　　只允许使用后缀为“.htm”的 URL。

　　用户代理： *

　　允许：.htm$

　　不允许： /

　　示例 9. 禁用对 网站 中所有动态页面的访问

　　用户代理： *

　　不允许： /*？*

　　10. 禁止百度蜘蛛抓取网站上的所有图片

　　只允许网页，不允许图像。

　　用户代理：百度蜘蛛

　　禁止：.jpg$

　　禁止：.jpeg$

　　禁止：.gif$

　　禁止：.png$

　　禁止：.bmp$

　　11. 只允许百度蜘蛛抓取网页和.gif图片

　　允许抓取网页和gif格式的图片，不允许抓取其他格式的图片

　　用户代理：百度蜘蛛

　　允许：.gif$

　　禁止：.jpg$

　　禁止：.jpeg$

　　禁止：.png$

　　禁止：.bmp$

　　12.只禁止百度蜘蛛抓取.jpg图片

　　用户代理：百度蜘蛛

　　禁止：.jpg$

　　0430分享的robots.txt文件编写知识：

　　搜索引擎利用蜘蛛程序自动访问互联网上的网页，获取网页信息。当蜘蛛访问一个网站时，它会首先检查网站的根域下是否有一个名为robots.txt的纯文本文件。您可以在 网站 中创建纯文本文件 robots.txt，在文件中声明您不希望机器人访问的 网站 部分，或指定搜索引擎仅 < @收录 特定部分。

<p>请注意，仅当您的 网站 收录您不想被搜索引擎