重庆SEO徐三：robots协议里的符号介绍与介绍

　　重庆SEO徐三：robots协议里的符号介绍与介绍

　　机器人协议怎么写？其实很简单，但是在学习如何写robots协议之前，重庆SEO许三给大家讲一下robots协议的符号理解！只有这样才能有效使用robots协议！

　　一、robots 协议是什么

　　robots 协议是根据所写的robots 协议指定搜索引擎蜘蛛爬取，与所写命令的执行有关。

　　二、robots 协议中符号的介绍和书写

　　1.User-agent：为不同的蜘蛛定义相应的规则

　　2.Disallow：不需要访问的路径

　　3.Allow：允许爬取某条路径

　　插图;

　　用户代理：*? （以下内容适用于所有搜索引擎）

　　Disallow: /（搜索引擎禁止抓取网站中的任何内容）

　　Disallow: /*?*（禁止搜索引擎抓取动态页面）

　　Disallow: /admin/（禁止搜索引擎抓取管理员的内容）

　　允许：/page/（允许搜索引擎抓取的链接）

　　站点地图：（网站地图希望百度能抢到）

　　站点地图：（网站我想让谷歌抓取的地图）

　　链接：当网站中有死链接时，我们可以使用robots.txt来屏蔽它们，告诉搜索引擎不要抓取这些链接。

　　Map：当我们希望搜索引擎能够抓取网站map时，我们可以将网站map放入robots.txt文件中。

　　总结：机器人协议的写法有很多种。没看懂就别改了，不然你的网站会有不一样的效果（哈哈）。写的时候请仔细看。否则，没有理由被封锁！所以提醒大家注意写机器人协议！