百度抓取器会和网站首页进行友好性优化(图)

　　百度抓取器会和网站首页进行友好性优化(图)

　　首先百度的爬虫会和网站的首页进行交互，得到网站首页后，会理解页面，理解收录（类型，值计算），其次，会把@的所有k14@首页的超链接提取出来了。

　　

　　

　　如上图所示，首页上的超链接称为“post-links”。下一轮爬行时，爬虫会继续与这些超链接页面进行交互，并获取页面进行提炼。一层一层的不断抓取，构成了一个抓取循环。

　　一、Grab-Friendly Optimization1、URL 规范

　　任何资源都是通过 URL 获取的。 URL是相对于网站的门牌号，所以URL规划很重要。尤其是在如上图所示的“待抓取网址”环境下，爬虫在首页的时候，不知道网址长什么样子。

　　优秀网址的特点是主流、简单。你可能不想做出一些让人看起来很直观的非主流风格。

　　优秀网址示例：

　　

　　

　　如上图所示，第一个是百度知道的链接。整个链接分为三个部分。第一部分是网站的站点，第二部分是资源类型，第三部分是资源ID。这种网址很简单，爬虫看起来很不错。

　　如上图，第三篇文章比百度多了一段。首先，第一段是网站的站点，第二段是站点的一级目录，第三段是站点的二级目录。最后一段是网站的内容 ID。像这样的网址也是标准的。

　　不友好网址示例：

　　

　　

　　如上图所示，这种链接乍一看很长很复杂。有经验的站长可以看到，这种网址含有字符，而且这个网址中含有文章的标题，导致网址有偏差。与简单的 URL 相比，较长的相对较长的 URL 没有优势。百度站长平台规则明确规定网址不能超过256字节。我个人建议URL长度控制在100字节以内，100个字符足以显示URL的资源。

　　

　　

　　如上图所示，此网址收录统计参数，可能会造成重复抓取，浪费网站权限。因此，可以不使用参数。如果必须使用参数，也可以保留必要的参数。参数字符实际上是可能的。使用常规连接符，例如“？”和“&”，以避免非主流连接器。

　　2、合理发现链接

　　爬虫从首页开始一层一层的爬取，所以需要做好首页和资源页的URL关系。这个爬虫爬行比较省力。

　　

　　如上图所示，从首页到具体内容的超链接路径关系称为发现链接。目前大部分移动站都不太关注发现链接关系，所以爬虫无法抓取到内容页面。

　　

　　

　　如上图所示，这两个站点是手机网站建站的常用方法。从链接发现的角度来看，这两类网站并不友好。

　　Feed 流推荐：

　　大多数进行流式传输的网站在后端都有大量数据。用户不断刷新时会出现新的内容，但无论刷新多少次，可能只能刷新到1%左右的内容。一个爬虫相当于一个用户。爬虫不可能用这种方式爬取网站的所有内容，所以会导致部分页面被爬取。即使您有 100 万个内容，您也可能只能对其进行抓取。到 1-2 百万。

　　仅搜索条目：

　　如上图所示，首页只有一个搜索框。用户需要输入关键词才能找到对应的内容，但是爬虫不能输入关键词再抓取，所以爬虫只能爬到首页后，没有反向链接，自然爬取和收录会不理想。

　　解决方案：

　　索引页下的内容按发布时间倒序排列。这样做的好处是搜索引擎可以通过索引页抓取你的网站最新资源，并且新发布的资源应该实时在索引页中。同步，很多纯静态网页，内容更新了，但是首页（索引页）不出来。这会导致搜索引擎甚至无法通过索引页面抓取最新的资源。第三点是后链（latest文章的URL）需要在源码中直接暴露出来，方便搜索引擎抓取。最后，索引页不要越多越好。几个高质量的索引页就足够了，比如长城。基本上，只有主页用于索引页面。

　　最后给大家一个更高效的解决方案，就是直接通过百度站长资源平台主动提交资源，让搜索引擎绕过索引页，直接抓取最新的资源。这里有两点需要注意。 .

　　问：提交的资源越多越好吗？

　　A：收录 效果的核心始终是内容的质量。如果提交大量低质量、泛滥的资源，将导致惩罚性打击。

　　问：为什么我提交了普通的收录却没有抓到？

　　A：资源提交只能加速资源发现，不能保证短期抓取。当然，百度表示会不断优化算法，让优质内容更快被抓取。

　　3、访问友好

　　抓取器必须与网站进行交互，并且必须保证网站的稳定性，这样抓取器才能正常抓取。那么访问友好性主要包括以下几个方面。

　　访问速度优化：

　　加载时间建议控制在2S以内，所以无论是用户还是爬虫，打开速度更快的网站会更受青睐，其次是避免不必要的跳转。这种情况虽然是一小部分，但是网站里面还是有很多层次的跳转，所以对于爬虫来说，很可能会在多层次跳转的同时断开。一般是把不带www的域名重定向到带WWW的域名，然后带WWW的域名需要重定向到https，最后更换新站。在这种情况下，将有三个或四个级别的重定向。如果有类似网站的修改，建议直接跳转到新域名。