搜索引擎禁止的方式优化网站(一个高度重复的页面屏蔽是什么意思？怎么处理？)

　　搜索引擎禁止的方式优化网站(一个高度重复的页面屏蔽是什么意思？怎么处理？)

　　一：图像目录的阻塞

　　图片是构成网站的主要元素。然而，主题模板中的类似图片在搜索引擎中是铺天盖地的。搜索引擎会继续一次又一次地索引它们吗？收录？即使 收录 消失了，效果也是微乎其微的。一个好的网站，每天各种蜘蛛加起来上千次访问，无疑是浪费了很多带宽。一般我们经常屏蔽的目录是“images,images”。

　　二：缓存目录的屏蔽

　　许多程序都有缓存目录。以程序z-blog为例。它的缓存目录是“CACHE”，里面有很多已经生成HTML的缓存文件。如果蜘蛛继续索引，无疑会造成重复内容的索引，对网站有害无益。看到很多用Z-blog的朋友都没有设置，可能是没有引起足够的重视。当然，其他程序也有不同的缓存目录，有针对性的屏蔽是最合适的。

　　三：模板目录的屏蔽

　　关于程序的模板，大部分站长选择了直接申请，而不是独立的模板。模板的高重复性也成为搜索引擎中信息的冗余，因此使用Robots.txt屏蔽模板是有益无害的。并且模板文件往往与生成的文件高度相似，也容易导致出现内容相同的情况。

　　四：CSS目录的屏蔽

　　CSS目录，搜索引擎抓取没用，所以我们在设置Robots.txt文件中屏蔽它，以提高搜索引擎的索引质量。为搜索引擎提供简洁明了的索引环境，更容易提高网站的友好度。

　　五：部分程序的RSS页面

　　本文仅针对带有RSS页面的程序，在一般博客中比较常见。这个页面可以说是一个高度重复的页面。为了增强网站在搜索引擎中的友好度，绝对有必要屏蔽它。

　　六：屏蔽双页内容

　　一个可以生成静态页面的网站。一般来说，动态页面也是可以访问的。例如：“andtutorial?id=1”，如果两者都被搜索引擎完全收录，无疑会访问完全相同的内容，这对搜索引擎友好性是有害且无益的。而我们经常屏蔽后者，因为前者页面是静态的，更容易被搜索引擎索引收录。

　　七：涉及程序安全页面

　　在开始的位置，我们讲解了ADMIN和DATA目录的阻塞，防止安全目录和数据库教程的泄露。另外，数据库目录、网站日志目录、备份目录都需要屏蔽，可以有效减少“泄露”的发生。

　　八：屏蔽文件形式

　　有的站长总喜欢把网站备份到网站下载后忘记删除，或者根本不下载，直接保存在服务器上。但谁都知道，网站的发展势必会被一些人窥视。网站在数据库、备份文件中反复尝试，排名稍差的网站也会受到类似的攻击。. 使用 robots.txt 阻止类似的文件，如“rar、zip”等。事实上，这样的屏蔽方式对“第七点”更有利，但仍只是局部。