搜索引擎禁止的方式优化网站(优先屏蔽网站的动态页面一般而言的文件是怎样的？)

　　搜索引擎禁止的方式优化网站(优先屏蔽网站的动态页面一般而言的文件是怎样的？)

　　一：如果有双页，则优先阻塞动态页

　　一般来说网站的静态页面很容易被搜索引擎抓取到收录，通常蜘蛛爬取和收录是两个不同的东西，网站除了静态页面，大部分网站还有动态页面，比如“这两个指的是同一个页面，如果不被屏蔽，必然会导致两个页面同时被蜘蛛爬取，但是当搜索引擎算法判断，因为发现了两个相同的页面，会认为你网站有作弊嫌疑，所以增加对你网站的检查，从而影响网站的排名，所以正确的做法是先屏蔽网站的动态页面！

　　2：应屏蔽涉及网站安全和隐私的内容

　　本文开头提到ADMIN和DATA目录其实和网站安全和隐私有关。将它们暴露给蜘蛛没有任何好处，甚至可能还有一个额外的攻击通道，因此它涉及与安全相关的内容。需要屏蔽数据库目录、网站日志目录、备份目录等目录。另外，有些站长在网站备份后下载，但不注意下载后备份文件的删除。这也容易造成蜘蛛重复爬取，容易被黑客攻击，所以用ROBOTS.TXT文件屏蔽类似“RAR和ZIP”文件也是很有必要的！至少增强网站的安全性！

　　3：可以屏蔽图片和模板目录

　　因为目前很多站长都在网上找同款图片，套用现成的模板。这些模板和图片已经在互联网上泛滥成灾。这时候你还让你的网站再被蜘蛛爬这些老生常谈的东西，自然会让蜘蛛很反感，这样你的网站就会被贴上模仿作弊的标签，那就是比较难得到搜索引擎的青睐，所以通常可以屏蔽IMAGES目录！

　　四：可以屏蔽缓存目录，防止重复索引

　　蜘蛛很贪吃，只要你喂他，不管是真的还是假的，它都会接受。比如网站的缓存目录中的内容会被蜘蛛索引，必然和网站一样。网站中的内容是重复的。如果重复次数过多，百度的算法机制会认为你的网站作弊，甚至增加你的网站的权重，给网站@网站带来很大的影响. 通常，每个网站构建器的缓存目录是不同的。需要根据不同的建站者来屏蔽相应的缓存目录！

　　五：CSS目录和部分RSS页面需要屏蔽

　　CSS 目录对蜘蛛完全没用。爬取后会影响搜索引擎算法的判断，所以可以通过ROBOTS.TXT文件进行屏蔽。另外，很多建站程序的RSS页面也是一种内容的重复，爬取之后，也会造成搜索引擎的误判，需要屏蔽这两个方面的内容！这种屏蔽看似是对蜘蛛的不敬，实则就像一味苦药，对疾病有益！言行信实有好处！