网页抓取 加密html(搜索引擎蜘蛛访问网站页面时的程序被称为蜘蛛（spider）)

　　网页抓取 加密html(搜索引擎蜘蛛访问网站页面时的程序被称为蜘蛛（spider）)

　　搜索引擎用来抓取和访问页面的程序称为蜘蛛，也称为机器人网站引蜘蛛。当搜索引擎蜘蛛访问网站页面时，它类似于使用浏览器的普通用户。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序将接收到的代码存储在原创页面数据库中。搜索引擎旨在提高爬行和爬行。拿速度来说，都是用多只蜘蛛来分布爬取。

　　蜘蛛访问网站时，首先会访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些网页或内容，或者网站，蜘蛛会遵守协议，不会被抓取。

　　蜘蛛也有自己的代理名称。你可以在站长的日志中看到蜘蛛爬行的痕迹。所以很多站长回答问题的时候，总是说先查看网站日志（作为一个优秀的SEO，你必须具备不用任何软件查看网站日志的能力，而且你必须非常熟悉其代码的含义）。

　　一、搜索引擎蜘蛛的基本原理

　　搜索引擎蜘蛛是Spider，这是一个很形象的名字。它将互联网比作蜘蛛网，然后蜘蛛就是在网上爬行的蜘蛛。

　　网络蜘蛛通过网页的链接地址搜索网页。从某个页面网站（通常是首页）开始，读取网页的内容，找到网页中的其他链接地址，然后通过这些链接地址搜索下一个网页，这样循环下去，直到所有的网站 网页已被抓取。

　　如果把整个互联网看作一个网站，那么网络蜘蛛就可以利用这个原理来抓取互联网上的所有网页。

　　搜索引擎蜘蛛的基本原理和工作流程

　　对于搜索引擎来说，爬取互联网上的所有网页几乎是不可能的。根据目前公布的数据，容量最大的搜索引擎只抓取了整个网页的 4%。大约十个。

　　一方面是因为爬虫技术的瓶颈。 100亿个网页的容量为100×2000G字节。就算能存储，下载还是有问题（按一台机器每秒下载20K计算，需要340个单元，机器不停下载一年才能完成所有网页的下载）。同时，由于数据量大，在提供搜索时也会影响效率。

　　因此，很多搜索引擎网络蜘蛛只抓取那些重要的网页，而评价抓取重要性的主要依据是某个网页的链接深度。

　　由于无法抓取所有网页，部分网络蜘蛛为一些不太重要的网站设置了访问级别数，例如如下图所示：

　　搜索引擎蜘蛛的基本原理和工作流程

　　A为起始网页，属于第0层，B、C、D、E、F属于第1层，G、H属于第2层，I属于第3层。 如接入层数网络蜘蛛设置的是2的情况下，网页我不会被访问，这也让网站之前的一些页面在搜索引擎上搜索到，其他部分搜索不到。

　　对于网站designers，扁平化的网站结构设计有助于搜索引擎抓取更多网页。

　　网络蜘蛛在访问网站网页时，经常会遇到加密数据和网络权限的问题。某些网页需要会员权限才能访问。

　　当然网站的站长可以通过协议防止网络蜘蛛爬行，但是对于一些卖报告的网站来说，他们希望搜索引擎可以搜索到他们的报告，但他们做不到自由。搜索者查看，所以需要向网络蜘蛛提供相应的用户名和密码。

　　网络蜘蛛可以抓取这些具有给定权限的网页提供搜索，当搜索者点击查看网页时，搜索者还需要提供相应的权限验证。

　　二、tracking 链接

　　因为搜索引擎蜘蛛可以在网络上抓取尽可能多的页面，所以它们会跟随网页上的链接从一个页面爬到下一个页面，就像蜘蛛在蜘蛛网上爬行一样。这是搜索引擎蜘蛛。名字的由来。

　　整个互联网网站是由相互链接组成的，也就是说，搜索引擎蜘蛛从任何一个页面开始，最终爬到所有页面。

　　搜索引擎蜘蛛的基本原理和工作流程

　　当然网站和页面链接结构太复杂了，所以蜘蛛只能通过某些方法抓取所有页面。据我了解，最简单的爬取策略有3种：

　　1、最佳优先级

　　最佳优先级搜索策略根据一定的网页分析算法预测候选网址与目标页面的相似度或与主题的相关性，选择一个或几个评价最好的网址进行抓取，只访问被网络分析算法预测为“有用”的网页。

　　一个问题是爬虫的爬取路径中很多相关网页可能会被忽略，因为最佳优先级策略是局部最优搜索算法，所以需要将最佳优先级与具体应用结合起来进行改进。为了跳出局部最优，根据研究结果，这种闭环调整可以将不相关网页的数量减少30%到90%。

　　2、深度优先

　　深度优先是指蜘蛛沿着找到的链接向前爬，直到没有更多的链接在它前面，然后回到第一页，沿着另一个链接向前爬。

　　3、广度优先

　　广度优先是指当蜘蛛在一个页面上发现多个链接时，它不会一直沿着一个链接前进，而是爬取页面上的所有链接，然后沿着第二层进入页面的第二层找到的链接爬到三级页面。

　　理论上，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，它们就可以抓取整个互联网。

　　在实际工作中，蜘蛛的带宽资源和时间不是无限的，也不是可以抓取所有页面。其实最大的搜索引擎只是爬取而收录了互联网的一小部分，当然不是搜索引擎蜘蛛爬的越多越好，这一点

　　因此，为了尽可能多地抓取用户信息，通常将深度优先和广度优先混用，这样可以照顾到尽可能多的网站，以及@的部分内页网站。

　　三、搜索引擎蜘蛛工作中的信息采集

　　信息采集模块包括“蜘蛛控制”和“网络蜘蛛”两部分。 “蜘蛛”这个名字描述了信息采集模块在网络数据形成的“Web”上获取信息的功能。

　　一般情况下，网络蜘蛛从*敏*感*词*网页开始，反复下载网页，寻找文档中从未见过的网址，从而访问其他网页并遍历网络。

　　其工作策略一般可分为累积爬行（cumulative crawling）和增量爬行（incremental crawling）两种。

　　1、累积爬取

　　累积爬取是指从某个时间点开始，以遍历的方式爬取系统允许存储和处理的所有网页。在理想的软硬件环境下，经过足够的运行时间，累积爬取策略可以保证可以爬取相当数量的网页集合。

　　似乎由于网络数据的动态性，采集到的网页的时间不同，页面更新的情况也不同。因此，累积爬取所爬取的网页集合实际上与真实环境中的并不相同。网络数据保持一致。

　　2、增量爬取

　　与累积爬取不同，增量爬取是指对具有一定规模的网页集合，采用更新数据的方式，在现有集合中选择过时的网页进行爬取，从而保证所有抓取到的数据足够接近真实网络数据。

　　增量爬取的前提是系统已经爬取了足够多的网页，并且有这些页面被爬取的时间信息。在面向实际应用环境的网络蜘蛛设计中，通常包括累积爬取和增量爬取两种策略。

　　累积爬取一般用于数据集合的整体建立或*敏*感*词*更新阶段，而增量爬取主要用于数据集合的日常维护和实时更新。

　　在确定爬取策略后，如何充分利用网络带宽，合理确定网页数据更新的时间点，成为网络蜘蛛运行策略的核心问题。

　　总的来说，我们在合理利用软硬件资源实时捕获网络数据方面，已经形成了比较成熟的技术和实用的解决方案。这方面需要解决的主要问题是什么？更好地处理动态网络数据问题（如Web2.0数据量不断增加等），更好地根据网页质量修正抓取策略问题。

　　四、database

　　为了避免重复抓取和抓取网址，搜索引擎会建立一个数据库来记录已发现未抓取的页面和已抓取的页面。那么数据库中的URL是怎么来的呢？

　　1、手动输入*敏*感*词*网站

　　简单来说就是我们新建网站后提交给百度、谷歌或360的网址收录。

　　2、蜘蛛抓取页面

　　如果搜索引擎蜘蛛在爬取过程中发现了新的连接网址，但不在数据库中，则将其存储在数据库中以供访问（网站测期）。

　　蜘蛛根据重要性从要访问的数据库中提取URL，访问并抓取页面，然后从要访问的地址数据库中删除该URL并将其放入已访问地址数据库中，因此建议站长访问网站，观察期间需要定期更新网站。

　　3、站长Submitted网站

　　一般来说，提交网站只是将网站保存到数据库中进行访问。如果网站持久化不更新，蜘蛛不会被光顾。搜索引擎收录的页面都是蜘蛛通过链接获取的。 .

　　所以如果你把它提交给搜索引擎，它不是很有用。稍后您仍然需要考虑您的网站 更新级别。搜索引擎更喜欢沿着链接发现新页面。当然，如果你的SEO技巧足够高深，并且有了这个能力，你也可以试试。可能会有意想不到的结果。不过对于一般站长来说，还是建议让蜘蛛爬行，自然爬到新的网站页面。

　　五、吸引蜘蛛

　　虽然理论上说蜘蛛可以爬取所有页面，但实际上是做不到的。所以想要收录更多页面的SEO人员只能想办法引诱蜘蛛爬行。

　　既然它不能抓取所有页面，那我们就让它抓取重要页面，因为重要页面在索引中起着重要作用，直接影响排名因素。哪些页面更重要？对此，我还专门整理了以下我认为比较重要的页面，具体有这些特点：

　　1、网站 和页面权重

　　高质量和老网站被赋予了很高的权重。这种在网站页面上爬行的蜘蛛爬行深度更高，所以更多的内页会是收录。

　　2、page 更新度

　　蜘蛛每次爬行都会存储页面数据。如果在第二次爬取时发现这个页面的内容和第一个收录完全一样，说明该页面没有更新，蜘蛛不需要频繁爬取和爬取。 .

　　如果页面内容更新频繁，蜘蛛就会频繁的爬取爬行，那么页面上的新链接自然会被蜘蛛更快的跟踪和抓取，这就是为什么每天都要更新文章

　　3、import 链接

　　无论是外部链接还是同一个网站的内部链接，为了被蜘蛛爬取，必须有导入链接才能进入页面，否则蜘蛛不知道存在页。这时候URL链接就发挥了非常重要的作用，内链的重要性就发挥出来了。

　　另外，我个人觉得高质量的导入链接往往会增加页面导出链接的爬取深度。

　　这就是为什么大部分站长或者SEO都需要高质量友情链接的原因，因为蜘蛛经常从对方网站爬到你网站，深度高。