httpunit 抓取网页(反之,“网页没有被收录”问题就复杂一些)

　　httpunit 抓取网页(反之,“网页没有被收录”问题就复杂一些)

　　收录 表示网页被搜索引擎抓取，然后放入搜索引擎的库中。人们在搜索相关词条时，可以在搜索结果页面的显示列表和页面信息中看到已经收录的页面。当我们说“pages are 收录”时，我们可以在搜索结果页面中看到相关的页面。相反，“网页没有被收录”的问题比较复杂，因为在搜索结果页面上没有看到对应的页面，并不代表该网页不在库中搜索引擎，或者不是收录收录，有可能是当前搜索词的网页排名不好，超过了760条记录。

　　所以没有展示收录它涉及到网页被搜索引擎蜘蛛爬取，然后编译到搜索引擎的索引库，被前端用户搜索到的一系列过程。对于想要优化自己网站的SEO人员或者非专业的SE○人员来说，了解页面是如何被搜索引擎收录的，了解搜索引擎的原理收录是非常有益的，可以帮助你在执行网站sEO时尽可能遵循收录的规则，增加网站为收录的比例。

　　1、搜索引擎蜘蛛的工作原理

　　收录 的第一步是爬取。爬取的过程是搜索引擎应用爬取网站的网页。负责搜索引擎抓取网页功能的程序俗称蜘蛛。蜘蛛是一个图像，因为互联网是一个巨大的蜘蛛网，搜索引擎的程序，通过网络不断地爬行和探索。每个互联网公司都有自己的爬虫，比如百度蜘蛛、谷歌蜘蛛、搜狗蜘蛛等。

　　蜘蛛通过网站提交的Sitemap（网络地图）或网上其他地方留下的页面URL信息爬取到网站对应的页面，然后跟随网站上的其他链接逐层向下爬行以发现更多页面。蜘蛛抓取网页是收录页面工作的上游。通过蜘蛛对网页的爬取，发现更多的页面，同时更新了哪些页面，从而实现对互联网页面的爬取和持续更新。

　　蜘蛛爬取系统的工作原理可以参考百度蜘蛛爬取的说明。简单来说，蜘蛛爬取系统包括链接存储系统、链接选择系统、DNs解析服务系统、爬取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。百度蜘蛛通过本系统的配合完成对互联网页面的爬取。

　　2、对付蜘蛛的基本策略

　　在蜘蛛实际抓取网页的过程中，由于网页内容（文字、Fash、视频等）的复杂性和技术实现的多样性（纯静态、动态加载等），为了利用蜘蛛资源更有效率的是，搜索引擎公司将不同的爬取策略放在首位。作为SEO人，可以参考搜索引擎公司对爬取策略的描述，采用最大SEO的方法。

　　作为中国最大的搜索引擎公司，百度在其官方文档中对其爬取策略进行了如下描述。互联网资源是数量级的，这就要求爬虫系统在有限的硬件和带宽资源下，尽可能高效地利用带宽，尽可能多地抓取有价值的资源。这产生了另一个问题。如果消耗爬取的网站的带宽造成的访问压力过大，将直接影响爬取的网站的正常用户访问行为。

　　因此，在爬取过程中，应控制一定的爬取压力，以达到不影响网站的正常用户访问，同时尽可能多地抓取有价值资源的目的。通常采用的最基本的方法是基于|P的压力控制。这是因为如果是基于域名的话，可能会出现一个域名对应多个iP（很多大网站）或者多个域名对应同一个P（小网站共享）的问题ip)。在实际工作中，往往会根据IP和域名的各种情况进行压力控制。同时，站长平台也推出了压力反馈工具。站长可以自己手动调节抓取压力网站。此时，

　　对同一个站点的爬取速度控制一般分为两类：一类是一段时间内的爬取频率；另一种是一段时间内的爬行流量。同一个站点在不同时间的爬取速度会有所不同。例如，在深夜爬行可能会更快。也要看具体的网站类型，主要思路是错开正常用户访问高峰，不断调整。对于不同的站点，也需要不同的爬取率。

　　上面的描述很简洁，但是从这个描述中我们可以得到灵感，蜘蛛抓取页面是压力控制的，对于一个特别大的网站，不可能指望蜘蛛爬到一个网站@ > 之后会一次性爬取所有的网站。所以，作为SEO人员，有利于网站的网页到收录，尽量减少蜘蛛的压力。一般来说，有两种方法可以减轻蜘蛛压力。方法-：使用№follow（针对垃圾邮件链接的标签）的策略将蜘蛛引导到最有价值的页面。nofollow 标签用来告诉蜘蛛，如果它遇到一个带有这个的页面，他会更有用。

　　方法二：在Sitemap中定义不同页面的权重和更新频率，也就是在网站的Sitemap文件中，定义每个链接的权重和更新频率，这样当蜘蛛爬取到这些链接和页面时，它会识别出哪些页面更重要，可以重点抓取，哪些页面更新更频繁，需要爬虫更多的关注。