什么是搜索引擎爬虫？索引擎蜘蛛的工作原理是什么？

　　什么是搜索引擎爬虫？索引擎蜘蛛的工作原理是什么？

　　Xi'an网站-什么是搜索引擎爬虫？ 2019-08-04来自：浏览次数：3338

　　搜索引擎的工作原理是提高网站及其友好度。因此，在网站优化中，SEO的每一步都不可避免地与搜索引擎机制有关。对于新手来说，首先要深入了解它的原理。我们可以通过逆向推理得到我们需要知道的答案。至少我们要从原则开始，然后我们才知道我们所做的事情的意义是什么。

　　一、什么是搜索引擎爬虫？

　　搜索引擎蜘蛛又叫：页面爬虫，其目的：抓取各类网站优质内容进行展示，那么每个搜索引擎都有自己的爬虫，一起来了解一下吧！

　　1.baiduspider（百度蜘蛛）百度还有其他几个蜘蛛：百度蜘蛛-新闻（新闻）、百度蜘蛛-移动（wap）、百度蜘蛛-图像（图片）、百度蜘蛛-视频（视频）、站长百度蜘蛛和百度蜘蛛-经常看到图像。

　　2.Googlebot（谷歌蜘蛛）也发现了一个Googlebot-Mobile，这个名字应该是用来抓取wap内容的。

　　3.360Spider（360蜘蛛）是一只很勤奋的蜘蛛。

　　4.搜狗新闻蜘蛛（搜狗蜘蛛）

　　二、搜索引擎工作原理

　　SEO 可以将其原则分为三个阶段：

　　1、crawling 和爬行

　　2、预处理（索引）

　　3、输出结果

　　也就是说，当搜索引擎蜘蛛抓取我们网站时，是否显示，需要进行预处理，判断页面是否应该显示。那么影响因素是：

　　(1）文章质量度

　　(2）关键词Layout

　　(3）蜘蛛爬行深度

　　(4）网站质量

　　(5）搜索引擎信任度

　　(6）网站tier 级别

　　（7）URL 是设置标准？

　　这里，我们不是按顺序给大家安排的，但是足以说明收录是否能很好的展示影响页面主要取决于站长自己对网站和网站Basic设置的整体感和其他因素相互关联。

　　三、Spider 爬取及爬取原理

　　我还是要给大家详细讲解一下蜘蛛爬行的重要部分。毕竟这是站长SEO优化的核心部分。毕竟网站需要拥有最多的展示量才能获得* **排名。

　　当搜索引擎通过蜘蛛找到链接时，它会根据网站的质量决定蜘蛛爬行的频率和次数，然后蜘蛛会访问我们的网站获取我们的HTML代码并存储在数据库中。

　　1、那么蜘蛛抓取网页的具体过程是怎样的？

　　答案：找到某个链接→下载这个网页→添加到临时库→从网页中提取链接→下载网页→循环。

　　1）预处理（索引）

　　蜘蛛（***术语：索引程序）需要关键词提取爬取的网页内容，生成倒排索引，计算页面的PageRank值和TrustRank值，处理关键词相关性页。准备排名程序调用，这也是搜索引擎在极短的时间内返回搜索结果的关键。其中，我们最关心的是PR值和相关性。

　　2）输出结果

　　用户输入关键词后，排名程序调用索引库数据，程序自动匹配关键词，然后根据***规则生成搜索结果展示页面。这是因为之前的预处理让搜索引擎能够在短时间内返回输出结果。这里要提醒大家的是，自然搜索排名和竞价推广排名是有区别的。