网站首页采用调用论坛或者博客的形式是怎样的?
优采云 发布时间: 2021-06-26 05:08网站首页采用调用论坛或者博客的形式是怎样的?
以前,我看到人们使用程序在每次刷新主页时都会出现新内容。这招非常迎合蜘蛛的口味。每次蜘蛛来了,他们发现页面是新的,所以他们不会停下来。很难把握快照是否是新的。但一般来说,大多数网站显然做不到这一点。一些网站homepages 使用调用论坛或博客的形式来保持主页最新。但不幸的是,因为有些人不太了解这样做的目的,所以他们使用 JS 或 iframe 调用。这样一来,不仅蜘蛛不会认为你的网页更新了,而且 JS 和 iframe 调用的内容也大不相同。不利于爬行。基本上做无用功。请记住,无论您使用什么程序,都必须确保浏览器执行特定的内容和链接。
了解监控区域的概念后,我们可以想象:如果首页有很多列列表,如果我们长时间只更新一个列,这样的结果会让蜘蛛认为其他部分列表不会改变。 ,这是非监控区域。这样,有一天当你不更新这个栏目,而是更新其他栏目时,可能会出现滞后,让蜘蛛在短时间内不认为你的网页发生了变化,直到经过完整的检查。这可能会导致快照停止。请仔细理解这段话。
基于此,我们在更新内容的时候,尽量让整个网页的各个区域都处于均衡的变化中,即首页上出现的每一栏都进行适当的更新。好处是只要有一点点更新,就能及时发现蜘蛛。也就是说,我们需要让网页上尽可能多的区域成为蜘蛛的监控区域。所以只要我们的网页有一点点变化,蜘蛛都会在最快的时间内找到并更新。这样一般就解决了最新快照的问题。
列列表页面
其实栏目列表页面的快照很慢,让很多人束手无策。如果栏目列表页面只是逐渐刷新列表,真的很难及时获取快照。它的想法是尽可能扩大面积。除了普通的内容列表,右侧还放置了大量的最新内容列表、热门点击列表、随机内容列表等。有些人认为这些部分是为观众尽可能多的。点击内容有利于用户体验,同时有利于增加内部链接。其实不仅如此,还有助于扩大蜘蛛的监控范围,让页面保持最大更新,让蜘蛛返回更多200个状态码。
内容页面
相对来说,内容页面的监控区域比较稳定,就是内容展示部分。基本上,可以立即监控更新的内容。所以网站中的内容页面最容易判断是否更新,有的页面是新页面,蜘蛛在索引库中没有记录。这样的页面几乎不用判断就可以判断为新页面,会返回200状态码。 .
了解这些后,您可以测试您的网站monitoring 区域在哪里。比如以网站homepage为实验对象,一点一点的做改动,每个区域都一一更新。更新一条后,暂停,等待蜘蛛访问,然后查看日志的状态码。这样,你终于可以找出你的网站的哪一部分是蜘蛛的监控区域,这样你就可以更有针对性地更新内容。其实日志中可以研究的内容还有很多,我们以后会一一讲解。 304和200状态码的应用暂时到此为止。希望大家的日志满200。