搜索引擎优化教程(了解爬行器或爬行蜘蛛的速度取得这些信息？)

　　搜索引擎优化教程(了解爬行器或爬行蜘蛛的速度取得这些信息？)

　　一、了解爬虫或爬行蜘蛛

　　我们知道，之所以能在百度和谷歌中快速找到我们需要的信息，是因为百度、谷歌等搜索引擎已经提前为我们提供了大量信息收录。无论信息，无论是很久以前的还是最近更新的，都可以在搜索引擎中找到。

　　那么，既然搜索引擎需要提前收录这些海量信息，就必须到这个浩瀚的互联网世界去抓取这些信息。据报道，全球网民数量已达10亿。那么，在这数十亿网民中，可想而知，每天能产生多少信息？搜索引擎怎么会在他们的数据库里有这么多信息收录？怎样才能尽快获得这些信息？

　　首先，了解什么是爬虫或蜘蛛。有很多标题，但它们都指的是同一个东西。它们都描述了搜索引擎发送的蜘蛛机器人来检测互联网上的新信息。每个搜索引擎的爬虫都有不同的名称：百度的叫百度蜘蛛； Google 的称为 Googlebot，MSN 的称为 MSNbot，而 Yahoo 的称为 Slurp。这些爬虫实际上是用计算机语言编译的程序，用来日夜访问网络上的各种网站，以最快的速度将访问的每个网页的信息带回他们的大本营。

　　二、搜索引擎每次能带回多少信息

　　对于这些爬虫每次带回的信息量最大，单靠爬虫在互联网上连续爬取网页肯定是不够的。因此，搜索引擎会通过安装在浏览器上的搜索工具栏，或者网站main从网站提交的搜索引擎提交页面发出大量的爬行蜘蛛为入口开始爬行，爬取到各个网页，然后通过每个网页的超链接进入下一页，这样就可以继续了……

　　搜索引擎不会检索整个网页的所有信息。一些网页收录大量信息。搜索引擎只会获取每个网页最有价值的信息，比如：标题、描述、关键词等等。因此，通过pass只能获取一个页面的页眉信息，只会跟随少量的链接。百度一次大概最多可以抓取120KB的信息，谷歌大概可以抓取100KB左右的信息。所以，如果你想让你的大部分网站网页信息被搜索引擎带走，那就不要对网页进行过多的设计。太长了，内容太多。这样，对于搜索引擎来说，不仅可以快速读取，还可以带走所有信息。

　　三、蜘蛛是如何爬行的？

　　所有蜘蛛的工作原理都是先从网上抓取各种信息，放到数据仓库中。为什么叫数据仓库？因为此时的数据是杂乱无章的，或者是随机堆在一起的。因此，此时的信息不会出现在搜索结果中，这就是为什么有些网页被蜘蛛访问过，但在网页中找不到结果。

　　搜索引擎会检索互联网上的所有信息，然后按照关键字描述和其他相关信息进行排序。压缩后会归类到索引中，分析后检索部分信息，发现无效。将被丢弃。只有在索引下编辑过的信息才能出现在搜索结果中。最后，搜索引擎对用户输入的关键词进行分析，为用户找到最接近的结果，并按照相关程度由近到远排列，呈现给最终用户。

　　大致流程如下：

　　四、 专注于 Google 搜索引擎

　　Google 搜索引擎使用两种抓取工具来抓取网页内容：Freshbot 和 Deepbot。深度爬虫（Deepbot）每月执行一次，它采访的内容在谷歌的主索引中，而刷新爬虫（Freshbot）则是昼夜不停地发现互联网上的新信息和资源，然后频繁到访问和更新。因为，一般来说，Google 首次发现或相对较新的 网站 会出现在 Freshbot 的列表中。

　　Freshbot 的结果存储在单独的数据库中。由于Freshbot 不断地工作和刷新访问内容，因此它发现或更新的网页将在执行过程中恢复。写。并且这些内容与搜索结果一起与谷歌的主索引器一起提供。一些网站之前是谷歌收入，但没过几天，这些信息就从谷歌的搜索结果中消失了，直到一两个月后，这些结果才重新出现在谷歌的主索引中。这是因为Freshbot在不断的更新和刷新内容，而Deepbot一个月才来一次，所以Freshbot中的这些结果还没来得及更新到主索引，就被新的内容替换了。直到 Deepbot 重新访问这个页面，收录 才真正进入了谷歌的主索引数据库！

　　[相关链接]

　　搜索引擎优化教程（一)：了解搜索引擎优化

　　本文章出自《单字》个人博客：转载请注明出处。