搜索引擎蜘蛛程序不太喜欢爬行太过于臃肿的网页

　　搜索引擎蜘蛛程序不太喜欢爬行太过于臃肿的网页

　　搜索引擎蜘蛛程序在抓取网页时，为了节省服务器资源，保证高效的运行效率，可能会忽略网页中的某些内容。比如JS文件、flash文件、框架、搜索引擎都不是收录，所以站长要尽量避免蜘蛛程序忽略网页的重要内容。为了更好地优化SEO工作，沉军建议您查看网页进行一些必要的改进。

　　一、简化优化的网页

　　Spider 程序不喜欢抓取过于臃肿的网页。为了保持高效运行，蜘蛛程序可能会在相同的时间内抓取更精简的网页。每个蜘蛛程序都有自己的限制。过大的网页可能会导致无法完全抓取，甚至根本无法抓取这些页面。

　　当然，目前使用的布局很少。一般情况下，较大的页面大小是由于 JS 代码过多造成的。解决这个问题，应该把网页的JS代码转移到一个外部的JS文件中，这样蜘蛛程序就不会抓取它，也不会对网页界面造成任何影响，从而达到精简网页。

　　二、验证HTML的正确性

　　当用户浏览我们的网页时，他们可能很少看到错误信息，因此网页的 HTML 似乎没有问题，但当前的浏览器，尤其是 Internet Explorer，旨在显示高质量的网页，请尝试防止用户发现网页上的问题。因此，浏览器可以容忍 HTML 编码错误。但是，作为一个针对SEO优化的网页，面对的不仅是用户，还有蜘蛛程序。蜘蛛程序不需要浏览器。任何错误的编码都可能为蜘蛛程序提供错误的信息。

　　由于目前很多个人站长使用cms程序建站，所以在编辑模板文件和购买模板时，一定要注意HTML代码的正确性。大部分的错误都发生在标签的书写上，比如最近一个客户的网页统计代码没有密封。在网站上线前或发现问题时，您可以使用检测工具检查网页代码是否正确。避免这些小错误将有助于蜘蛛程序更好地读取数据网页数据。 .

　　三、FLASH 避免收录重要链接信息

　　FLASH网站确实比普通的HTML更能吸引用户，用户体验自然也好很多。但是，搜索引擎无法像用户一样浏览FLASH，也无法确定FLASH中收录的内容。 FLASH中的重要链接信息（如导航）自然不会被蜘蛛程序捕获（谷歌似乎可以读取FLASH）。这并不是说网页就不能使用FLASH，因为我们确信FLASH对提升用户体验的作用。那么，我们只需要尽量保证FLASH中的内容不收录重要的链接信息即可。

　　四、避免使用 FRAMES 框架

　　由于蜘蛛程序会话需要大量时间来解释基于框架的网页，因此搜索引擎现在正在考虑放弃抓取框架内容的蜘蛛程序。这在百度搜索引擎优化指南中有明确说明。对于使用frame的网页，可以借助noframes标签，提取frame中的重要内容，帮助爬虫程序了解frame结构中的重要内容。