网站内容更新机制(前段时间seowhy开启未登陆用户禁止访问论坛的权限,让我想到的是)

优采云 发布时间: 2022-04-14 09:17

  网站内容更新机制(前段时间seowhy开启未登陆用户禁止访问论坛的权限,让我想到的是)

  前段时间,Seowhy开放了未登录用户的权限,禁止访问论坛。我的想法是,如果用户没有登录并且无法查看帖子,百度蜘蛛可以索引内容吗?简单理解就是百度蜘蛛爬的过程中网站中的锚文本链接爬取,然后形成一个大网,但是如果论坛禁止未登录的用户,那么蜘蛛爬取的链接就死了链接,内容无法爬取,发帖无效。其实我的想法是错误的,百度蜘蛛特有的爬取机制并不是我们想象的那么简单。

  前天(10月22日)修改了公司网站的数据库,然后测试发布了一条标题和内容为“啊”的信息,但是前台没有生成页面,也就是说这个文章只存在于数据库中,前台没有任何关于它的信息(因为我有数据库清洁的习惯,为了防止文章ID被迷糊了,以为不用删了,第二天更新文章,反正页面没有生成),第二天(10月23日),我修改了这个测试文章,我无法发布新的 文章,等待 收录 像这样查看快照。

  

  修改后的文章文章是22号的截图,新出的正常,22号是“啊”的内容,但是我点百度截图发现是新内容,让我又想到了,难道百度收录文章的截图跟文章的更新时间有关?于是,今天(10月24日)又更新了两篇文章的文章,然后进数据库把一篇文章的发布时间改成了昨天,等待收录。

  同时发布的两个文章就变成了上面的收录呈现形式。可以看出22号发布的文章其实是当天发布的收录,但是蜘蛛可能知道内容不是用户想要发布的,所以一直没有发布。23日内容修改后,前台更新,蜘蛛顺着链接爬到这个网站知道内容是真实内容,22日更换了收录我不能说,但快照没有被修改。至于今天发布的双面文章,只是暂时的。如果你明天检查它,它将成为 24 日的快照。没有区别,今天就查一个。显示详细的 收录 次,一个显示当前日期。

  从上面的分析可以看出,百度蜘蛛爬行有时并不遵循我们的常规思维。它将通过各种方法进入你的数据库并爬取内容,而不是网站前台的各种限制。屏蔽,除非你用robots文件来限制,虽然Seowhy屏蔽了未登录用户的访问,但是百度蜘蛛实际上可以抓取内容,因为它与我们用户的访问方式不同。至于文章的发布时间,会在一定程度上影响文章收录的快照,但不是绝对的。

  原文链接:郑州seo

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线