搜索引擎优化seo知识完全手册(robots文件,robots.txt怎么写?重庆SEO)

　　搜索引擎优化seo知识完全手册(robots文件,robots.txt怎么写?重庆SEO)

　　robots.txt文件怎么写，robots.txt怎么写？前段时间重庆SEO徐三看到很多企业网站没有robots.txt文件。我应该如何编写一个普通的 robots.txt 文件？今天就给大家说说robots.txt的写法和robots文件的常规写法。

　　如图，是我之前在一个企业站点上看到的dede系统。dede 系统附带一个 robots.txt 文件。那些页面应该写机器人协议。常规写法如下；

　　1、禁止所有搜索引擎访问User-agent: * Disallow: /

　　2、允许所有搜索引擎访问用户代理： * 允许：

　　3、网站地图：站点地图：

　　我怎么知道哪些页面需要被屏蔽？很多新手SEO站长不知道robots.txt文件怎么写，robots.txt怎么写！不懂也没关系！下面的例子说明了；

　　1.比如注册页面、联系我们、关于我们等页面都可以被robots禁止，因为这样的页面在所有搜索引擎中都是没有意义的，没有人会搜索注册来找你。网站。因此，您可以禁止蜘蛛在此类不必要的页面上爬行。当然，如果你想要这些页面收录，又不想分权重，可以使用nofollow标签。

　　2.后台登录可以说对搜索引擎爬虫完全没用。你想让蜘蛛做无用的爬行吗？当然不是！所以如果我们不被搜索引擎收录搜索到，我们就会使用robots.txt文件来屏蔽后台登录页面。

　　3.很多时候，大家的网站都会是静态页面或者伪静态页面。如果有动态页面，我们通常会使用robots.txt文件来阻止蜘蛛爬行！

　　总结：对于robots.txt文件，还是要自己写的。不管什么原因，蜘蛛首先根据你写的robots.txt文件进行爬取。其次，我刚才说的可以把网站地图提交robots.txt文件，这样可以帮助蜘蛛爬行和改进收录