魔贝seo培训课程名词解释—seo基础技术的爬虫部分

　　魔贝seo培训课程名词解释—seo基础技术的爬虫部分

　　漠北seo培训课程术语讲解第二阶段——seo基础技术爬虫部分，需要了解爬虫的概念、爬虫工作流程、爬虫的分类。

　　先看爬虫的概念和定义。网络爬虫也称为网络蜘蛛。它是一个自动获取网页内容的程序。它爬取的网页会存储在搜索引擎系统中，进行一定的分析、过滤和索引。打开类），以便用户可以查询此页面。这个获取信息的程序就是一个爬虫，爬虫和搜索引擎的关系就是狗腿和主人的关系。

　　爬虫有很多，你自己写也行，我们后面会有python爬虫教程

　　搜索引擎显示的大部分内容是爬虫采集的主要网站内容。采集这些网站内容的程序称为爬虫，也称为网络爬虫、蜘蛛、网络蜘蛛。

　　爬虫的工作流程是通过漫游（广度优先）进行爬行。抓取页面后，您会看到一个链接，然后按照该链接转到另一个页面。爬虫不断从一页跳到另一页。下载此页面时，它会提取此页面中的链接。页面上的所有链接都放在一个公开的列表中待抓取，而且爬虫有一个特点，就是在访问你网站之前不判断网页本身的质量，抓取内容不判断内容网页的内容，但会有优先级划分，尽量抓取不重复的内容，尽量抓取重要的内容。

　　比如网站的public部分，它尽量不去抓。蜘蛛喜欢稀缺资源，但不代表纯原创内容。

　　诊断爬行模拟蜘蛛爬行，可以经常使用

　　对于网站搜索引擎，会发送多个爬虫同时抓取页面。爬虫抓取的所有网页都会存储在系统中进行一定的分析和过滤，并建立索引以供后续查询和检索。百度站长平台有页面模拟爬取功能。你可以从蜘蛛的角度看到它在爬什么。

　　快照可以解释一些事情，但不是大多数事情

　　网页快照是爬虫抓取并下载网页数据并缓存后生成的图片。 网站的完整性可以从快照中反映出来。爬虫下载完内容后，会同时提取网页中的链接，将这些链接放到待爬取的列表中，多个爬虫同时爬取，爬取的url列表放在一个列表中，等待被抓取的 url 列表放在另一个列表中。在里面，这样的信息会越来越多。

　　根据不同的搜索引擎，爬虫的分类如下：

　　谷歌蜘蛛：googlebot

　　百度蜘蛛：baiduspider

　　雅虎蜘蛛：啜饮

　　alexa 蜘蛛：ia_archiver

　　msn 蜘蛛：msnbot

　　Altavista 蜘蛛：滑板车

　　lycos 蜘蛛：lycos_spider_(t-rex)

　　alltheweb 蜘蛛：fast-webcrawler/

　　inktomi 蜘蛛：啜饮