搜索引擎优化原理(魔贝seo培训课程名词解释—seo基础技术的爬虫部分)

　　搜索引擎优化原理(魔贝seo培训课程名词解释—seo基础技术的爬虫部分)

　　漠北seo培训课第二阶段名词解释——seo基础技术爬虫部分。我们需要了解爬虫的概念，爬虫的工作流程，爬虫的分类。

　　我们先来看看爬虫的概念和定义。网络爬虫也称为网络蜘蛛。它是一个自动获取网页内容的程序。它爬取的网页会被存储在搜索引擎系统中，进行一定的分析、过滤和索引。打开类），以便用户可以查询此页面。这个获取信息的程序就是一个爬虫，爬虫和搜索引擎的关系就是狗腿和主人的关系。

　　爬虫有很多，你自己写也行，后面我们会有python爬虫教程

　　搜索引擎显示的大部分内容是爬虫采集的主要网站内容。采集这些网站内容的程序称为爬虫，又称网络爬虫、蜘蛛、网络蜘蛛。

　　爬虫的工作流是以漫游（广度优先）的形式爬行。抓取页面后，您会看到一个链接，然后按照该链接转到另一个页面。爬虫不断从一页跳到另一页。在下载该页面的同时，它会提取该页面中的链接。页面上的所有链接都放在一个公开的列表中待抓取，而且这个爬虫有一个特点，就是在访问你之前不判断网页本身的质量网站，抓取内容没有判断网页的内容，但是会有一个优先级划分，尽量抓取不重复的内容，尽量抓取重要的内容。

　　比如网站的public部分，尽量不去抓。蜘蛛喜欢稀缺资源，但不代表纯原创内容。

　　诊断爬行模拟蜘蛛爬行，可以经常使用

　　对于网站 搜索引擎，会同时发送多个爬虫进行页面爬取。爬虫抓取到的所有网页都会存储在系统中进行一定的分析和过滤，并建立索引以供后续查询和检索。百度站长平台有页面模拟爬取功能。你可以从蜘蛛的角度看到它在爬什么。

　　快照可以解释一些事情，但不是大多数事情

　　网页快照是爬虫抓取并下载网页数据并缓存数据后生成的图片。从快照中可以看出网站的完整性。爬虫下载完内容后，会同时提取网页中的链接，并将这些链接放入待爬取的列表中。多个爬虫同时爬行。已爬取的 URL 列表放在一个列表中，等待抓取的 URL 放在另一个列表中。在里面，这样的信息会越来越多。

　　根据不同的搜索引擎，爬虫的分类如下：

　　谷歌蜘蛛：googlebot

　　百度蜘蛛：百度蜘蛛

　　雅虎蜘蛛：啜饮

　　alexa 蜘蛛：ia_archiver

　　msn 蜘蛛：msnbot

　　阿尔塔维斯塔蜘蛛：滑板车

　　lycos 蜘蛛：lycos_spider_(t-rex)

　　alltheweb 蜘蛛：快速网络爬虫/

　　inktomi 蜘蛛：啜饮