让蜘蛛肆无忌惮的去爬行真的有益于网站优化吗？

　　让蜘蛛肆无忌惮的去爬行真的有益于网站优化吗？

　　网站优化是为了使搜索引擎能够快速为页面编制索引，从而增加重量和访问量。因此，网站站长喜欢蜘蛛爬行网站并彻底进食。但是让蜘蛛无节制地爬行真的对网站优化有用吗？除Robotts.txt文本中的ADMIN和DATA目录外，许多网站管理员可能还限制了爬虫的爬网，而其他目录则由爬虫索引。作者想说，对于网站优化，除了某些安全目录外，还应适当屏蔽某些目录。禁止对搜索引擎进行索引是有益且无害的。

　　1：阻止图像目录

　　图片是组成网站的主要元素。但是，主题模板中的类似图片在搜索引擎中不胜枚举。搜索引擎会继续不断为收录编制索引吗？即使使用收录，效果也很小。一个好网站，各种蜘蛛每天加起来访问数千次，这无疑是在浪费大量带宽。通常，我们经常阻止的目录是“图像，图像”。

　　二：阻塞缓存目录

　　许多程序都有缓存目录。以程序z-blog为例。它的缓存目录是“ CACHE”，并且有许多缓存文件已经生成了HTML。如果蜘蛛继续索引，无疑会导致重复内容的索引，这对网站有害而无益。我已经看到很多使用Z-blog的朋友没有设置它，也许它没有引起足够的重视。当然，其他程序也具有不同的缓存目录，并且最有针对性的屏蔽是最合适的。

　　三：阻止模板目录

　　对于该程序的模板，大多数网站管理员选择直接申请而不是独立模板。模板的高度重复性也已成为搜索引擎中信息的冗余，因此使用Robots.txt屏蔽模板是有益且无害的。而且模板文件通常与生成的文件高度相似，并且很容易引起相同内容的出现。

　　四：CSS目录的筛选

　　CSS目录，搜索引擎爬网是没有用的，因此我们将其屏蔽在设置Robots.txt文件中，以提高搜索引擎的索引质量。通过为搜索引擎提供简洁明了的索引编制环境，可以更轻松地提高网站的友好性。

　　5：某些程序的RSS页面

　　本文仅适用于具有RSS页面的程序，在一般博客中更为常见。该页面可以说是高度重复的页面。绝对有必要对其进行阻止，以增强网站在搜索引擎中的友好性。

　　六：阻止双页内容

　　可以生成静态页面的网站。一般来说，动态页面也是可访问的。例如：“和”，如果二者被搜索引擎完全索引，则它们无疑将访问完全相同的内容，这对搜索引擎友好性有害无益。我们经常阻止后者，因为前一页是静态的，并且更容易被搜索引擎索引收录。

　　七：涉及程序安全性页面

　　在一开始，我们解释了ADMIN和DATA目录被阻止以防止安全目录和数据库泄漏。另外，数据库目录，网站日志目录和备份目录都需要屏蔽，可以有效减少“泄露”的发生。

　　八：屏蔽文件格式

　　某些网站管理员总是喜欢将网站备份到网站，却忘记在下载后将其删除，或者根本不下载并将其直接保存在服务器上。但是每个人都知道网站的发展必定会被某些人所窥视，网站在数据库，备份文件和排名不高的网站中会一次又一次地受到尝试。使用robots.txt阻止类似文件，例如“ rar，zip”等。实际上，这种屏蔽方法更有利于“第七点”，但仍然只是局部的。