Robots文件屏蔽的内容-地址

　　Robots文件屏蔽的内容-地址

　　机器人文件阻止的内容：1)，图片目录图片是构成网站的主要元素。由于现在构建站点越来越方便，因此构建了许多cms个站点。有很多未使用的图片。建议您将它们阻止在robots.txt文件中。通常的网站图片目录是：imags。或img; 2)，网站模板目录（如上图目录中所述），cms强大而灵活，并且网站的模板目录与网站的内容主题不匹配，这不利于网站相对论的浓度。模板目录的文件目录为：templates 3)，CSS，JS目录屏蔽。我们经常看到一些css文件和js 网站已经是收录，而想要成为收录的文章还没有收录。 k19]，对于seo 收录这是一个无用的文件，它确实是不必要的，并且不利于关注网站的相关性。 4)。阻止双重页面的内容。每个人都知道DEDE cms可以使用静态和动态URL来访问相同的内容。如果生成静态站点，则必须阻止具有动态地址的URL链接。这里有两个优点：1、搜索引擎比动态URL更友好，更易于使用静态URL 收录； 2、防止静态和动态URL能够访问同一文章文章，并被搜索引擎判断为重复内容。 5)。许多模板缓存目录cms程序都有缓存目录。我认为不是每个人都知道此缓存目录的好处。它可以有效提高网站的访问速度并减少网站的带宽。 ，用户体验也很好。

　　但是，这样的缓存目录也具有某些缺点，即它将允许搜索引擎重复爬网。 网站中的内容重复也是一个很大的牺牲，这对网站有害并且是无用的。许多人使用cms]创建该网站的朋友没有注意到它，我们必须注意它。 6)删除目录中的死链接太多，这对搜索引擎优化是致命的。不禁引起网站管理员的高度关注。在网站的开发过程中，目录的删除和调整是不可避免的。如果您的网站当前目录不存在，则该目录必须被机械手阻止。最后，我需要说明的是，许多网站站长朋友喜欢将站点地图地址放入robots.txt文件中。当然，这并不是要阻止搜索引擎，而是要允许搜索引擎传递第一个索引网站。站点地图会迅速获取网站的内容。在这里您需要注意：1、网站地图的生成必须标准化； 2、 网站必须具有高质量的内容；您可以参考以下robots.txt文件：用户代理：*禁止：/ admin /后台管理文件禁止：/ require /程序文件禁止：/ attachment /附件禁止：/ images /图片禁止：/ data /数据库文件禁止：/ template /模板文件禁止：/ css /样式表文件禁止：/ lang /编码文件禁止：/ script /脚本文件

　　用户代理：* Disallow：/ *？* Disallow：/ template / Disallow：/ api / Disallow：/ config / Disallow：/ fgcl /