搜索引擎优化实战培训(搜索引擎如何对网站进行爬行和抓取的问题的简要解释)

　　搜索引擎优化实战培训(搜索引擎如何对网站进行爬行和抓取的问题的简要解释)

　　作者之前已经给大家介绍过搜索引擎的工作原理。可能有的朋友没看过，或者看过但不太了解。由于有朋友询问搜索引擎如何爬取和爬取网站，笔者在此给大家做一个简单的解释。

　　首先要知道，搜索引擎是通过被称为蜘蛛的爬虫来爬取和爬取网页，并将数据返回给数据库。

　　在搜索引擎的数据库中，有很多*敏*感*词* URL，蜘蛛最初会通过这些*敏*感*词* URL 开始爬网。从理论上讲，只要网页上存在链接关系，蜘蛛就可以全部抓取到。

　　那么搜索引擎蜘蛛是如何爬取爬取我们的网站的呢？我们网站不是搜索引擎*敏*感*词* URL。其实不用担心这个问题。目前，搜索引擎发现新页面的方式有很多种。比如可以通过其他类似外部链接的情况发现，比如我们主动提交，通过统计功能发现。

　　目前做网站优化的朋友基本都比较活跃，大家都会主动提交网址，也会适当做一些外链。所以，页面网站被蜘蛛找到是没有问题的，问题出在页面收录上。

　　前面提到蜘蛛是找页面链接的，那么接下来怎么爬爬爬呢？分为以下几个步骤：

　　1、提取页面内容。这包括提取页面中的链接，进行去重处理，然后将提取的链接返回到要爬取的链接库；另一种是提取页面的主要内容。这个搜索引擎会根据页面类型有相应的提取策略。

　　2、分析页面内容。爬取爬取后，蜘蛛会对页面的主要内容进行初步审核。不符合收录要求的页面将被丢弃，符合收录要求的页面将被放入数据库。网站权重的高低是相关的，也是搜索引擎的综合判断。

　　3、再次爬行。蜘蛛返回提取出来的链接后，可能会继续爬，也可能要隔一段时间再爬，这取决于搜索引擎的爬取策略，不同的网站会被区别对待。

　　以上内容是搜索引擎爬取和爬取页面的基本情况。简而言之，搜索引擎对页面的爬取和爬取是很简单的，但是互联网上的页面太多了，搜索引擎不得不优化和调整自己的爬取策略。但无论策略如何变化，其爬取和爬取过程基本相同。值得注意的是，网站的权重和网站的更新频率将直接影响搜索引擎对网站的爬取和爬取！