搜索引擎如何抓取网页(上的网页主要分为四类)

　　搜索引擎如何抓取网页(上的网页主要分为四类)

　　从搜索引擎的角度来看，互联网上的网页主要分为四类，即已抓取页面、已抓取内容、可抓取页面和暗网。

　　四种类型的网页，熟悉网页分类

　　顾名思义，爬取的网页就是蜘蛛已经爬取过的网页内容。待抓取网页尚未抓取，但已进入等待列表。爬网是尚未发现但已存在的网页。暗网是一个网页，搜索引擎通过自爬无法找到链接，需要手动提交。

　　通常我们分析的页面爬取主要是非黑网的页面爬取。每个搜索引擎都有自己独特的算法来在暗网上爬行。我们不做太多分析。

　　搜索引擎收录有两种主要策略，即广度优先策略和深度优先策略。

　　大多数网页除了自己的链接外，还会有很多链接，比如相关新闻、相关案例、其他详细信息页面的链接。当搜索引擎访问一个页面时，会将页面上的所有链接按顺序存储排列，然后遍历爬取找到的页面，然后将新发现的URL放入存储中，按照这个逻辑排列等待爬取. 爬行是一种广度优先策略。让我们用图片和文字来了解自己。

　　从搜索引擎的角度分析网络蜘蛛抓取内容的类别和过程

　　根据页面上的一个链接，我们可以一层一层的抓取它，直到到达链接的末尾，然后回到初始位置，以同样的方式抓取其余的链接。这是一个深度优先的策略。

　　无论是广度优先还是深度优先，搜索引擎只要有足够的时间都可以抓取所有页面，但优先考虑的是搜索引擎的抓取能量，这并不能保证抓取页面的全面性。由于搜索引擎受自身资源的限制，无法忽视获取页面优先级的问题。还有另外两种抢夺策略。

　　搜索引擎判断网页的重要性，主要从自身的质量和权重来判断。另一个重要因素是传入链接的数量。比如首页的导入链接必须从页数开始，所以首页的优先级比较高。

　　很明显，big 网站 的优先级是一群搜索者对 big 网站 有偏好，并且自己的权重比较高。这里不仅是PR，还有信任。并不是说人的力量大，权重高，搜索引擎很喜欢。很多B2B网站内容量很大，但搜索引擎不擅长抓取页面内容。相对来说，一些更好的网站可以有很好的主动性，所以新闻可以增加主动性，而且还可以实现发送到大站首页的二次接收。

　　总之，搜索引擎的资源是有限的。在搜索引擎资源有限的情况下，尽量依靠外部链接来引导蜘蛛，增加网站的权重。这是seo搜索引擎优化长期运行中非常重要的事情。