抓取网页音频(SEO优化工作的6个策略之前)

　　抓取网页音频(SEO优化工作的6个策略之前)

　　【搜索引擎爬虫的五种爬取策略【seo免费教程】】搜索引擎爬虫爬取我们的网页是实现SEO优化的第一步。如果不被爬取，网站不会被搜索引擎收录列出，也不会排名。所以对于每一个SEO从业者来说，爬取是第一步！

　　事实上，大多数 SEO 从业者所知道的唯一搜索引擎爬取算法是深度优先和广度优先爬取。但在现实中，网页抓取有6种策略。在分享这6种策略之前，一定要了解一下搜索引擎爬虫的工作流程，否则你可能看不懂下面的内容。

　　爬虫的广度优先爬取策略

　　广度优先爬取策略，一种历史悠久、一直备受关注的爬取策略，从搜索引擎爬虫诞生之初就开始使用，甚至很多新策略都以此为基准。

　　广度优先爬取策略是根据待爬取的URL列表进行爬取，如果发现新的链接，则判断为没有被爬取的直接存放在待爬取URL列表的末尾，等待被抓取。

　　文章图片

　　如上图所示，我们假设爬虫的待爬取URL列表中只有A。爬虫从A网页开始爬取，从A中提取B、C、D三个网页，然后将B、C、D放入爬取队列。，然后依次获取E、F、G、H、I网页并插入到待爬取的URL列表中，如此循环往复。

　　爬虫的深度优先爬取策略

　　深度优先爬取的策略是爬虫会从待爬列表中爬取第一个URL，然后沿着这个URL继续爬取页面的其他URL，直到处理完该行，再从待爬列表中爬取，抓住第二个，依此类推。下面给出一个说明。

　　文章图片

　　A是列表中第一个要爬取的URL，爬虫开始爬取，然后爬到B、C、D、E、F，但是B、C、D没有后续链接（这个也会去掉这里）。已经爬过的页面），从 E 中找到 H，跟随 H，找到 I，仅此而已。G在F中找到，对该链接的爬取结束。从待取列表中，获取下一个链接继续上述操作。

　　爬虫不完整的PageRank爬取策略

　　相信很多人都知道PageRank算法。我们对SEO的通俗理解是链接传输权重的算法。而如果应用于爬虫爬取，逻辑是什么？首先，爬虫的目的是下载网页。同时，爬虫无法看到所有网页到某个网页的链接。因此，在爬取过程中，爬虫无法计算所有网页的pagerank，从而导致爬取。过程中计算出来的pagerank不是很可靠。

　　非完整pagerank爬取策略是基于爬虫无法看到指向某个网页的所有网页的链接，只能看到一部分情况，同时也进行pagerank的计算结果。

　　它的具体策略是将下载的网页和待爬取的URL列表中的网页形成一个汇总。pagerank 的计算在此摘要中执行。计算完成后，待爬取的url列表中的每一个url都会得到一个pagerank值，然后根据这个值倒序排序。先抢pagerank分数最高的，然后一个一个抢。

　　那么问题来了？在要爬取的URL列表中，如果最后增加了一个新的URL，是否需要重新计算？

　　不是这样。搜索引擎会等到待爬取的URL列表中新增的URL达到一定数量后，再重新爬取。这将大大提高效率。毕竟，爬虫抓取第一个新添加的是需要时间的。

　　爬虫的 OPIC 爬取策略

　　OPIC是onlinepageimportancecomputation的缩写，意思是“在线页面重要性计算”，是pagerank的升级版。

　　其具体策略逻辑如下：爬虫为互联网上的所有 URL 分配一个初始分数，每个 URL 具有相同的分数。每当下载一个网页时，这个网页的分数就会平均分配给这个页面中的所有链接。自然，这个页面的分数会被清零。在要爬取的URL列表中（当然，刚才的网页的分数被清空了，也因为已经被爬取过），根据谁的分数最高，谁的分数最高，谁就先被爬取。

　　与pagerank不同，opic是实时计算的。这里提醒我们，如果我们只考虑opic的抓取策略。这个策略和 pagerank 策略都证实了一个逻辑。我们新生成的网页被链接的次数越多，被抓取的可能性就越大。

　　是否值得考虑您的网页布局？

　　爬虫的大站点优先策略

　　大站优先爬行吗，是不是顾名思义？大的网站会先被抢？但这里有两种解释。我个人认为这两种解释爬虫都在使用中。