牛人采用程序，使首页每次刷新都会出现新的内容

　　牛人采用程序，使首页每次刷新都会出现新的内容

　　以前，我看到人们使用程序在每次刷新主页时都会出现新内容。这招非常迎合蜘蛛的口味。每次蜘蛛来了，他们发现页面是新的，所以他们不会停下来。很难把握快照是否是新的。但一般来说，大多数网站显然做不到这一点。一些网站homepages 使用调用论坛或博客的形式来保持主页最新。但不幸的是，因为有些人不太清楚这样做的目的，他们使用js或iframe调用的形式。这样一来，不仅蜘蛛可以认为你的网页更新了，而且js和iframe调用的内容也大不相同。不利于爬行。基本上做无用功。请记住，无论您使用什么程序，都必须确保浏览器执行特定的内容和链接。

　　了解监控区域的概念后，我们可以想象：如果首页有很多列列表，如果我们长时间只更新一个列，这样的结果会让蜘蛛认为其他部分列表不会改变。 ，这是非监控区域。这样，有一天当你不更新这个栏目，而是更新其他栏目时，可能会出现滞后，让蜘蛛在短时间内不认为你的网页发生了变化，直到经过完整的检查。这可能会导致快照停止。请仔细理解这段话。

　　基于此，我们在更新内容的时候，尽量让整个网页的各个区域都处于均衡的变化中，即首页上出现的每一栏都进行适当的更新。好处是只要有一点点更新，就可以及时发现蜘蛛。也就是说，我们需要让网页上尽可能多的区域成为蜘蛛的监视区域。所以只要我们的网页有一点点变化，蜘蛛都会在最快的时间内找到并更新。这样一般就解决了最新快照的问题。

　　2、列列表页面

　　其实栏目列表页面的快照很慢，让很多人束手无策。如果栏目列表页面只是逐渐刷新列表，真的很难及时获取快照。它的想法是尽可能扩大面积。除了普通的内容列表，右侧还放置了大量的最新内容列表、热门点击列表、随机内容列表等。有些人认为这些部分是为观众尽可能多的。点击内容有利于用户体验，同时有利于增加内部链接。其实不仅如此，它还有助于扩大蜘蛛的监控范围，让页面保持最大更新，让蜘蛛返回更多200个状态码。

　　3.内容页面

　　相对来说，内容页面的监控区域比较稳定，就是内容展示部分。基本上，可以立即监控更新的内容。所以网站中的内容页面最容易判断是否更新，有的页面是新页面，蜘蛛在索引库中没有记录。这样的页面几乎不用判断就可以判断为新页面，会返回200状态码。 .