httpunit 抓取网页(百恒网络SEO专员对网页的抓取)

　　httpunit 抓取网页(百恒网络SEO专员对网页的抓取)

　　搜索引擎对网页的抓取，其实就是互联网上的数据采集，这是搜索引擎最基本的工作。搜索引擎数据采集的能力直接决定了搜索引擎能够提供的信息量和互联网覆盖范围，进而影响搜索引擎查询结果的质量。因此，搜索引擎一直在努力提升自己的数据采集能力。搜索引擎使用数据采集程序抓取互联网上的数据。我们称这些数据采集 程序为蜘蛛程序或机器人程序。

　　本文首先介绍了搜索引擎抓取页面的过程和方法，然后介绍了搜索引擎抓取页面的存储和维护方法。

　　1. 页面爬取过程

　　在互联网中，URL是每个页面的入口地址，搜索引擎蜘蛛通过URL爬取到该页面。搜索引擎蜘蛛程序从原创URL列表开始，通过URL抓取并存储原创页面；同时，提取原创页面中的URL资源并添加到URL列表中。这样一个连续的循环，就可以从互联网上获取到足够多的页面，如图。

　　

　　图搜索引擎抓取页面简单流程

　　URL是页面的入口点，域名是网站的入口点。搜索引擎蜘蛛程序通过域名输入网站开始对网站页面的抓取。换句话说，搜索引擎抓取互联网页面的首要任务是建立一个足够大的原创域名列表，然后通过域名输入对应的网站，从而抓取页面网站。

　　对于网站，如果要被搜索到收录，第一个条件是加入搜索引擎域名列表。下面，百恒网SEO专家将介绍两种常用的加入搜索引擎域名列表的方法。

　　首先，使用搜索引擎提供的网站登录入口，将网站的域名提交给搜索引擎。比如谷歌的网站登录地址是。对于提交的域名列表，搜索引擎只会定期更新。所以这种方式比较被动，域名提交给网站是收录需要很长时间。以下是中国主流搜索引擎的网站投稿条目。

　　在实际操作中，我们只需要提交网站的首页地址或网站的域名，搜索引擎会根据首页上的链接抓取其他页面。

　　百度：。

　　360：。

　　搜狗：。

　　谷歌：（需要注册才能启用站长工具提交）。

　　其次，通过与外部网站建立链接关系，搜索引擎可以通过外部网站发现我们的网站，从而实现网站的收录。这种方式的主动权在我们自己手中（只要我们有足够多的优质链接），收录的速度比主动提交给搜索引擎要快很多。根据外部链接的数量、质量和相关性，一般情况下，搜索引擎收录会在2-7天左右搜索到。

　　2. 页面抓取

　　通过上面的介绍，相信读者已经掌握了加快网站被收录搜索到的方法。但是，如何增加网站中收录的页数呢？这要从了解搜索引擎收录页面的工作原理说起。

　　如果把网站页面的集合看作一个有向图，从指定页面开始，沿着页面中的链接，按照特定的策略遍历网站中的页面。始终从URL列表中移除访问过的URL，存储原创页面，提取原创页面中的URL信息；然后将URL分为域名和内部URL两类，判断该URL之前是否被访问过。未访问的 URL 添加到 URL 列表中。递归扫描 URL 列表，直到耗尽所有 URL 资源。这些工作完成后，搜索引擎就可以构建一个庞大的域名列表、页面 URL 列表，并存储足够的原创页面。

　　3. 页面爬取方法

　　通过以上内容，大家已经了解了搜索引擎抓取页面的过程和原理。然而，在互联网上亿万个页面中，搜索引擎如何从中抓取更多相对重要的页面呢？这就涉及到搜索引擎页面抓取方式的问题。

　　页面爬取方法是指搜索引擎在爬取页面时所使用的策略。目的是过滤掉互联网上比较重要的信息。页面爬取方法的制定取决于搜索引擎对网站结构的理解。如果采用相同的爬取策略，搜索引擎可以在同一时间内在某个网站中抓取更多的页面资源，并且会在网站上停留更长时间。自然，更多的页面被抓取。因此，加深对搜索引擎页面抓取方式的理解，有助于为网站建立一个友好的结构，增加抓取页面的数量。

　　常见的搜索引擎爬取方式主要有广度优先、深度优先、大站点优先、高权重优先、暗网爬取和用户提交等，下面将详细介绍这几种页面爬取方式及其优缺点。

　　广度优先

　　如果把整个网站看成一棵树，首页就是根，每一页就是叶子。广度优先是一种横向页面爬取方法。页面从树的较浅层开始爬取，然后爬取同一层的所有页面，再进入下一层。因此，在优化网站时，我们应该将网站中相对重要的信息展示在较浅的页面上（例如，在首页推荐一些热门产品或内容）。因此，通过广度优先的爬取方式，搜索引擎可以先爬取网站中相对重要的页面。

　　下面我们来看看广度优先的爬取过程。首先，搜索引擎从网站的首页开始，抓取首页上所有链接所指向的页面，形成一个页面集（A），解析出该集合中所有页面的链接（A ); 然后按照这些链接抓取下一层的页面形成一个页面集（B）。这样就从浅层页面递归解析出链接，从而爬取到深层页面，直到满足一定的设定条件才停止爬行过程，如图所示。

　　

　　广度优先爬取过程

　　深度优先

　　与广度优先的爬行方法相反，深度优先是一种垂直页面的爬行方法。它首先跟踪浅页中的某个链接，从而逐步爬取深页，直到爬到最深的页面。页面结束后，返回浅页面继续爬到深页面。使用深度优先的爬取方式，搜索引擎可以爬取网站中相对隐蔽和冷门的页面，满足更多用户的需求。

　　我们来看看深度优先的爬取过程。首先，搜索引擎会抓取网站的主页，并提取主页上的链接；然后抓取指向该页面的链接之一并同时提取其中的链接；然后，按照第1-1页的链接，将链接A-1抓取到第2-1页，同时提取其中的链接；然后页面 2-1 中的链接 B-1 继续抓取更深的页面。这个是递归执行的，直到取到网站的最深页面或者满足某个设定条件，然后返回首页继续取，如图。

　　

　　深度优先爬取过程

　　先大停

　　由于大网站比小网站更有可能提供越来越有价值的内容，如果搜索引擎优先抓取大网站的网页，那么你可以为用户提供更多有价值的信息更短的时间。大站优先，顾名思义，就是先抓取互联网上的大网站页面，是搜索引擎中的一种信息抓取策略。

　　如何识别所谓的大网站？一是前期人工整理大站的*敏*感*词*资源，通过大站寻找其他大站；二是对索引后的网站进行系统分析，找出内容丰富、规模大、信息更新频繁的网站。

　　完成对各大网站的识别后，搜索引擎会优先抓取URL资源列表中的各大网站页面。这也是为什么*敏*感*词*网站往往比小规模内容爬取更及时的原因之一。高的

　　重量第一

　　权重，简单的说就是搜索引擎对网页重要性的评价。所谓重要性归根结底是网站或者网页的信息价值。

　　高权重优先是一种优先抓取URL资源列表中权重高的网页的网络爬取策略。网页的权重（例如 Google PageRank 值）通常由许多因素决定，例如网页的外部链接的数量和质量。如果下载了一个URL，则重新计算所有下载的URL资源的权重值。这种效率极低，显然不现实。因此，搜索引擎往往在下载了多个URL资源后，对下载的URL进行权重计算（即权重计算不完全），从而确定这些URL资源对应的页面的权重值，从而给予更高的权重。首先抓取价值页面。

　　由于权重计算是基于部分数据，可能与真实权重有较大差异（即失真）。因此，这种权重高、优先级高的爬取策略也可能会优先爬取二级页面。

　　暗网爬行暗网（又称深网、不可见网、隐藏网）是指存储在网络数据库中，不能通过超链接访问，但需要通过动态网络技术或手动发起查询访问的资源集合. 属于可以被标准搜索引擎索引的信息。

　　本文仅供内部技术人员学习交流使用，不得用于其他商业用途。希望这篇文章对技术人员有所帮助。原创文章 来自：-百恒网 如转载请注明出处！