搜索引擎如何抓取网页(搜索引擎对网页的抓取动作是通过网络爬虫(蜘蛛))

　　搜索引擎如何抓取网页(搜索引擎对网页的抓取动作是通过网络爬虫(蜘蛛))

　　搜索引擎对网页的爬取动作是采集，通过网络爬虫（蜘蛛）爬取整个互联网平台的信息，这是搜索引擎最基本的动作。

　　搜索引擎spider/robot采集的强弱直接决定了搜索引擎前端检索器提供的信息覆盖率，同时影响检索到的查询信息反馈给用户的质量。因此，搜索引擎本身也在不断地努力提升自己的数据获取和分析能力。

　　搜索引擎页面抓取过程

　　在整个互联网中，URL是每个页面的入口地址，搜索引擎蜘蛛程序也是通过URL爬取网站页面。

　　URL是页面的入口地址，域名是整个网站的入口。搜索引擎蜘蛛程序会通过域名进入网站，然后爬取网站内的页面。蜘蛛程序会从原来的URL列表开始，通过URL爬取页面，然后从页面中提取出新的URL并存储在原来的URL列表中（这个步骤会不断重复，积累和扩展原来的URL资源库一遍又一遍），最后将原创页面存储在搜索引擎索引存储库中。

　　蜘蛛程序的执行步骤可以按照下面的拆分步骤来理解。

　　第一步：搜索引擎的爬虫（俗称蜘蛛）找到网站，来到网站。换句话说，网站 必须存在并且首先被蜘蛛发现。如果网站要被搜索引擎收录搜索，首先网站必须存在且必须有内容。

　　各大搜索引擎都提供了主动提交网页链接的入口，只需提交网址即可（搜索引擎会判断是否是收录网站，如果不符合搜索引擎的要求，就算提交了也不会是收录）。提交条目可以在搜索引擎中搜索到。通过外链的方式，在早期的优化中有“内容为王，外链为王”的说法。通过各行业网站发布内容加上你的网页链接，可以和其他网站交流，通过交换友好链接，搜索引擎可以通过外部链接发现自己的网站，实现页面< @收录。

　　第二步：蜘蛛开始抓取入口页面，并存储入口的原创页面（包括抓取时间、URL、页面最后修改时间等）。存储原创页面的目的是为了检查该页面是否下次更新。为了保证采集的信息是最新的，它也会重新访问爬取的网页。

　　第 3 步：提取 URL。提取网址包括提取域名网址和提取内部网址。域 URL 是 网站 主页的地址，例如；内部 URL 是 网站 的每个内部页面的地址，例如 蜘蛛提取的 URL 资源会继续添加到 URL 列表中。

　　以上是搜索引擎页面抓取过程，更多请继续关注