蜘蛛是如何爬取内容的蜘蛛先去抓取百度白名单

　　蜘蛛是如何爬取内容的蜘蛛先去抓取百度白名单

　　蜘蛛爬取策略一般面临这三点。庞大的数据量、快速的更新频率和动态页面的生成，这三个网络特性都会让爬虫的抓取策略变得困难。我们一直强调每天更新的次数不要太多。定期更新最好使用伪静态页面。在这里再次提醒站长在做网站时要注意这些。我们提到今天蜘蛛抓取网页，我们想更深入地挖掘，为站长提供这些内容的分享。

　　蜘蛛如何抓取内容

　　蜘蛛首先抓取网站百度白名单或者一些高度信任的站点和页面（例如：一些高权重的网站和网站主页。这里不包括新站点。蜘蛛是新站点有一个评估期），并且在抓取这些网页的内容时发现了一些指向其他页面的链接。蜘蛛会将这些链接保存在自己的数据库中，然后按照抓取顺序对这些网页进行一一抓取。

　　1、Spider 爬取规则：

　　对于蜘蛛来说，据说网页权重越高，可信度越高，被抓取的频率就越高，比如网站的首页和内页。蜘蛛首先爬取网站的首页，因为首页权重较高，大部分链接都指向首页。然后通过首页爬取网站的内页，并不是所有的内页蜘蛛都会爬进去。我是千琴/微信：3241507

　　搜索引擎认为对于一般的中小型网站，三层足以承载所有内容，所以蜘蛛经常爬取的内容是前三层，超过三层的内容蜘蛛认为内容并不重要，所以他们不会经常爬网。

　　2、如何看蜘蛛爬行？

　　通过iis日志可以看到蜘蛛爬取了什么内容。 iis日志包括百度蜘蛛、谷歌蜘蛛等，从iis日志分析中分析蜘蛛的类型、抓取时间、抓取的页面、抓取的内容大小、返回的页面代码。 200代表抓取成功，404代表页面不存在。

　　蜘蛛爬行方法：

　　1)Depth-first 策略：基本方法是按照深度从低到高的顺序，依次访问下一层的网页链接，直到不能再深入为止。在完成一个爬行分支后，爬虫返回上一个链接节点，进一步搜索其他链接。当所有的链接都遍历完后，爬取任务结束。这种策略更适合垂直搜索或站内搜索，但在抓取页面内容更深层次的网站时会造成资源的巨大浪费。

　　2)Breadth 优先策略：该策略根据网页内容目录的深度抓取页面。首先抓取较浅目录级别的页面。当同一级别的页面被爬取时，爬虫会进入下一层继续爬取。该策略可以有效控制页面的爬取深度，避免遇到无限深分支爬取无法结束的问题，实现方便，无需存储大量中间节点。缺点是爬到更深的目录层次需要很长时间。页。我是千琴/微信：3241507

　　3)Optimal 优先搜索：该策略根据一定的网页分析算法预测候选网址与目标页面的相似度，或与主题的相关性，并选择一个或几个评价最好的网址进行抓取它只访问被网络分析算法预测为“有用”的网页。一个问题是爬虫爬取路径上的很多相关网页可能会被忽略，因为最好的优先级策略是局部最优搜索算法。因此，有必要将最佳优先级与具体应用结合起来进行改进，以跳出局部最佳点。