搜索引擎如何抓取网页( 本文由金楠蜘蛛爬行和抓取的规则蜘蛛代理名称)

　　搜索引擎如何抓取网页(

本文由金楠蜘蛛爬行和抓取的规则蜘蛛代理名称)

　　搜索引擎蜘蛛如何抓取和抓取网页

　　本文由金楠发表于2016-11-29 17:20 SEO网站优化阅读：2319

　　搜索引擎的基础是大量网页信息的数据库，是决定搜索引擎整体质量的重要指标。如果搜索引擎的网页信息量少，那么可供用户选择的搜索结果就少；海量的网络信息更能满足用户的搜索需求。

　　搜索引擎要获取大量网页信息的数据库，就必须采集网络资源。这项工作是通过搜索引擎的爬虫来抓取和抓取互联网上各种网页的信息。这是一个抓取和采集信息的程序，通常搜索引擎被称为蜘蛛或机器人。

　　每个搜索引擎蜘蛛或机器人都有不同的 IP 和自己的代理名称。通常在网络日志中，您可以看到具有不同 IP 和代理名称的搜索引擎蜘蛛。下面代码中前面的比如220.181.108.89是搜索引擎蜘蛛的IP，其中百度蜘蛛、搜狗+web+蜘蛛、Googlebot、Sosospider 、bingbot分别代表百度蜘蛛、搜狗蜘蛛、谷歌机器人、搜搜蜘蛛、必应机器人。这些是各种搜索引擎蜘蛛的代理名称，是区分搜索引擎的重要标志。

　　220.181.108.89 Mozilla/5.0+（兼容；+百度蜘蛛/2.0；++）

　　220.181.89.182 搜狗+web+spider/4.0(+#07)

　　66.249.73.103 Mozilla/5.0+（兼容；+Googlebot/2.1；++）

　　124.115.0.108Mozilla/5.0(兼容;+Sosospider/2.0;++)

　　65.55.52.97 Mozilla/5.0+(兼容;+bingbot/2.0;++)

　　110.75.172.113 Yahoo!+Slurp+China

　　搜索引擎蜘蛛虽然名称不同，但它们的爬取和爬取规则大致相同：

　　（1）搜索引擎抓取网页时，会同时运行多个蜘蛛程序，根据搜索引擎地址库中的网址，浏览抓取网站中的网址地址库中收录了用户提交的URL、大型导航站的URL、手动收录的URL、蜘蛛爬取的新URL等。

　　（2）搜索引擎蜘蛛爬到网站。首先会检查网站的根目录下是否有Robots.txt文件，如果有Robots文件，搜索引擎不会抓取被禁网页。如果网站被一个搜索引擎整体禁止抓取，那么搜索引擎将不再抓取网站的内容。如果你不小心设置了Robots文件错误，可能导致网站内容不能为收录。

　　（3）输入允许爬取的网站，搜索引擎蜘蛛一般采用深度优先、广度优先、最优优先三种策略进行爬取和遍历，以便爬取到网站更多的内容。

　　深度优先的爬取策略是搜索引擎蜘蛛在一个网页上找到一个链接，跟随链接到下一个网页，然后向下爬这个网页中的链接，直到没有未抓取的链接，然后返回到第一个网页，按照另一个链接继续往下爬。

　　如2.20深度优先爬取策略所示，搜索引擎蜘蛛进入网站首页，沿着网页A1的链接爬行，在A1中找到链接，爬到网页A2，然后按照A2 Crawl中的链接到A3，再爬A4、A5......直到没有满足爬取条件的网页，搜索引擎蜘蛛返回主页。返回首页的蜘蛛以同样的方式继续抓取网页B1和更深的网页，然后返回首页抓取抓取后的下一个链接，最后抓取所有页面。

　　图2.20 深度优先爬取策略

　　广度优先的爬取策略是当搜索引擎蜘蛛来到一个网页时，它们不会沿着某个链接爬行，而是在爬完每一层的链接后爬取下一层的链接。如2.21所示，宽度优先的爬取策略。

　　图2.21 宽度优先的爬取策略

　　如上例，搜索引擎蜘蛛来到网站的首页，在首页找到一级网页A、B、C的链接并抓取，再抓取下一级网页A，B，C依次。1、A2、A3、B1、B2、B3……，抓取二级网页后，抓取三级网页A4、A5、A6……，终于爬取了所有的网页。

　　最好的优先级爬取策略是按照一定的算法划分网页的重要性。网页的重要性主要通过PageRank、网站规模、响应速度等来判断，搜索引擎优先抓取，爬取更高的排名。. 只有当 PageRank 级别达到一定级别时，才能进行抓取和抓取。实际蜘蛛爬取网页时，会将页面的所有链接采集到地址库中，进行分析，过滤掉PR较高的链接进行爬取。网站 规模，通常大的网站可以获得更多搜索引擎的信任，大的网站更新频率快，蜘蛛会先爬。网站的响应速度也是影响蜘蛛爬行的重要因素。在最佳优先级爬取策略中，网站的响应速度可以提高蜘蛛的工作效率，所以蜘蛛也会优先爬行，快速响应。网站。

　　这三种爬取策略各有优缺点。例如，深度优先一般会选择一个合适的深度，避免陷入海量数据中，从而限制了抓取网页的数量；宽度优先，随着抓取的网页增加，搜索引擎必须排除大量不相关的网页链接，抓取效率会变低；最好的优先级会忽略很多小网站网页，影响互联网信息差异化发展，流量几乎进入大网站，小网站难以发展。

　　在搜索引擎蜘蛛的实际抓取中，这三种抓取策略一般是同时使用的。经过一段时间的抓取，搜索引擎蜘蛛可以抓取互联网上的所有网页。但是，由于互联网的巨大资源和搜索引擎的资源有限，他们通常只抓取互联网上的部分网页。

　　（4）蜘蛛抓取网页后，会进行测试，判断网页的值是否符合抓取标准。搜索引擎抓取到网页后，会判断网页中的信息是否符合抓取标准垃圾邮件，比如大量重复文本的内容、乱码、高度重复的内容已经收录等，这些垃圾邮件蜘蛛不会爬，它们只会爬。

　　（5）搜索引擎判断网页的价值后，会收录有价值的网页。这个收录过程就是将抓取到的网页信息存入信息库，并且将网页信息按照一定的特征进行分类，并以URL为单位进行存储。

　　搜索引擎的爬行和爬行是提供搜索服务的基本条件。有了大量的网页数据，搜索引擎可以更好地满足用户的查询需求。

　　本文节选自靳南的《SEO搜索引擎实战详解》一书。更多信息请关注金楠博客或选择购买本书。