魔贝seo培训课程名词解释—seo基础技术的爬虫部分
优采云 发布时间: 2021-08-24 05:44魔贝seo培训课程名词解释—seo基础技术的爬虫部分
漠北seo培训课程术语讲解第二阶段——seo基础技术爬虫部分,需要了解爬虫的概念、爬虫工作流程、爬虫的分类。
先看爬虫的概念和定义。网络爬虫也称为网络蜘蛛。它是一个自动获取网页内容的程序。它爬取的网页会存储在搜索引擎系统中,进行一定的分析、过滤和索引。打开类),以便用户可以查询此页面。这个获取信息的程序就是一个爬虫,爬虫和搜索引擎的关系就是狗腿和主人的关系。
爬虫有很多,你自己写也行,我们后面会有python爬虫教程
搜索引擎显示的大部分内容是爬虫采集的主要网站内容。采集这些网站内容的程序称为爬虫,也称为网络爬虫、蜘蛛、网络蜘蛛。
爬虫的工作流程是通过漫游(广度优先)进行爬行。抓取页面后,您会看到一个链接,然后按照该链接转到另一个页面。爬虫不断从一页跳到另一页。下载此页面时,它会提取此页面中的链接。页面上的所有链接都放在一个公开的列表中待抓取,而且爬虫有一个特点,就是在访问你网站之前不判断网页本身的质量,抓取内容不判断内容网页的内容,但会有优先级划分,尽量抓取不重复的内容,尽量抓取重要的内容。
比如网站的public部分,它尽量不去抓。蜘蛛喜欢稀缺资源,但不代表纯原创内容。
诊断爬行模拟蜘蛛爬行,可以经常使用
对于网站搜索引擎,会发送多个爬虫同时抓取页面。爬虫抓取的所有网页都会存储在系统中进行一定的分析和过滤,并建立索引以供后续查询和检索。百度站长平台有页面模拟爬取功能。你可以从蜘蛛的角度看到它在爬什么。
快照可以解释一些事情,但不是大多数事情
网页快照是爬虫抓取并下载网页数据并缓存后生成的图片。 网站的完整性可以从快照中反映出来。爬虫下载完内容后,会同时提取网页中的链接,将这些链接放到待爬取的列表中,多个爬虫同时爬取,爬取的url列表放在一个列表中,等待被抓取的 url 列表放在另一个列表中。在里面,这样的信息会越来越多。
根据不同的搜索引擎,爬虫的分类如下:
谷歌蜘蛛:googlebot
百度蜘蛛:baiduspider
雅虎蜘蛛:啜饮
alexa 蜘蛛:ia_archiver
msn 蜘蛛:msnbot
Altavista 蜘蛛:滑板车
lycos 蜘蛛:lycos_spider_(t-rex)
alltheweb 蜘蛛:fast-webcrawler/
inktomi 蜘蛛:啜饮