搜索引擎优化原理(搜索引擎优化原理是每一个SEO必不可少的一课,只有理解了 )

优采云 发布时间: 2021-12-05 20:16

  搜索引擎优化原理(搜索引擎优化原理是每一个SEO必不可少的一课,只有理解了

)

  搜索引擎优化的原理是每个SEO必不可少的一课。只有了解了搜索引擎优化的工作原理,才能进行一系列的搜索引擎优化任务,迎合搜索引擎的喜好,让搜索引擎排名靠前。

  搜索引擎的工作原理:

  一。蜘蛛

  1. 蜘蛛爬取过程

  搜索引擎用来抓取和访问页面的程序称为蜘蛛程序或机器人程序。

  搜索引擎蜘蛛访问网站页面时,与普通用户使用的浏览器类似。蜘蛛程序发出页面访问请求后,服务器返回HTML代码,蜘蛛程序将接收到的代码存储在原创页面数据库中。搜索引擎为了提高爬取和爬取速度,使用多个蜘蛛并发分布爬取。

  当蜘蛛访问任何网站时,它首先会访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录,蜘蛛将遵守协议,不会抓取被禁止的网址。

  与浏览器一样,搜索引擎蜘蛛也有自己的代理名称来标识自己。网站管理员可以在日志文件中查看搜索引擎的具体代理名称来识别搜索引擎蜘蛛。常见搜索引擎蜘蛛名称如下: ·百度蜘蛛+(+)百度蜘蛛

  · Mozilla/5.0(兼容;Yahoo! Slurp China;)雅虎中国蜘蛛

  · Mozilla/5.0(兼容;Yahoo! Slurp/3.0;)英文雅虎蜘蛛

  · Mozilla/5.0(兼容;Googlebot/2.1;+)谷歌蜘蛛 · msnbot/1.1 (+) 微软必应蜘蛛

  · 搜狗+网络+机器人+(+#07) Sosospider+(+) Sosospider+(+)

  · Mozilla/5.0 (兼容; YodaoBot/1.0;;) 有道蜘蛛

  2.蜘蛛爬取策略

  最简单的爬行遍历策略分为两种,一种是深度优先,一种是广度优先。

  深度优先是指蜘蛛沿着找到的链接向前爬,直到前面没有更多的链接,然后回到第一页,沿着另一个链接向前爬。

  广度优先是指当蜘蛛在一个页面上发现多个链接时,它不会一路跟随一个链接,而是爬取页面上所有的一级链接,然后按照二级页面上找到的链接爬行到第三级页面。

  深度优先遍历策略 广度优先遍历策略

  

  

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线