seo优化搜索引擎工作原理(,解析搜索引擎怎么来到我们网站，怎么抓取网站的内容)

　　seo优化搜索引擎工作原理(,解析搜索引擎怎么来到我们网站，怎么抓取网站的内容)

　　深入解析搜索引擎的工作原理，搜索引擎是如何来找我们网站的，如何爬取我们的网站内容，如何快速排名网站。

　　Spider（爬虫爬取网站页面的程序，每种爬虫都有明确的分工。例如：爬虫只会爬页面，爬取的URL由爬虫提供，爬取的蜘蛛 蜘蛛只抓取 URL 而不是页面。）

　　跟踪链接：爬行型蜘蛛跟随链接。一、深度抓取：抓取 URL 中的每个链接。（一般适用，更好网站） 二、广度爬取：蜘蛛只会选择一个URL进行爬取，当所有的URL都爬完后，蜘蛛就会离开网站。

　　吸引蜘蛛：普通蜘蛛有很好的头条新闻，但没有实质内容。（对蜘蛛非常不友好）。发布外部链接，以便蜘蛛可以更快地发现我们的 网站。

　　网站和页面权重：权重分为0-10，共11级。（权重百度不承认，权重由爱站net提出。）权重根据谷歌的PR值设置。相应地，网站蜘蛛的权重越高，爬行的概率越高，权重越低，爬行的概率越低。

　　页面更新度：更新度为网站的更新频率。一般来说，蜘蛛更喜欢更新度较高的网站。

　　导入链接：导入链接是从外部 网站 到自身网站 的链接。您拥有的入站链接越多，您的页面就越有可能被发现。

　　点击到首页的距离：点击到首页的距离越近，越容易成为收录。

　　地址库：爬虫将找到的网站存储在地址库中，爬虫可以通过地址库中的链接直接到网站抓取内容。地址库中存储URL有两种方式： 一、爬虫存储在地址库中。二、通过 URL 提交并存储在地址数据库中。（网站上线第一件事就是提交网站）

　　文件存储：存储 网站 的 URL。

　　爬取时拷贝检测：在爬取的时候检测是否有相似的数据，如果存在则不爬取，如果不存在则爬取。

　　去重：经过一系列处理后，将过滤后的数据与数据库进行对比。如果数据库中有类似的数据，则不会将这些数据放入数据库（即收录）

　　前向索引：前向索引存储 关键词 文件。

　　倒排索引：倒排索引是存储 关键词 页的位置。

　　链接关系计算：通过链接技术，页面有一个初步的大概排名。

　　特殊文件处理：到目前为止，大多数搜索引擎只识别文本，例如图片，以及一些其他格式的文档，搜索引擎无法识别。

　　提取文本：从抓取的内容中提取重要文本和关键词。关键词：在搜索框中搜索到的单词称为关键词，较长的关键词称为长尾关键词。

　　中文分词：拆分提取的关键词。中文分词基于：统计匹配和字典匹配。统计匹配是基于网络的热门搜索度。字典匹配是根据字典来匹配关键词。百度词条可以新建关键词。

　　移除停用词：移除在句子中不发挥作用的词。常见的是土地、获取和。

　　消除噪音：去除那些与页面无关的因素，例如：广告、归档信息等；

　　搜索词的处理：处理用户输入的关键词，过滤掉最能描述用户意图的关键词。

　　文件匹配：将处理后的key拿到倒排索引库进行匹配。

　　初始子集的选择：选择需要参与排名的页面，百度最多显示76个，即倒排索引中的760个文件。

　　相关性计算：相关性计算比较复杂，通过相关性计算可以得到大概的排名。

　　排名过滤与调整：主要针对作弊网站进行调整。

　　展示排名：经过以上处理，搜索引擎将搜索结果展示给用户。

　　搜索缓存：第一个搜索结果将被缓存在浏览器或其他地方。第二次搜索关键词时，会直接调用缓存返回给用户。（前提是不清除缓存文件）

　　查询点击日志：服务器会记录关键词的搜索点击次数。您可以登录百度统计站长工具，可以看到我们的网站展示率、点击率、跳出率，这些都与我们的网站排名直接相关。百度用这些数据来衡量我们网站的权重，从表面上提升我们的排名。如果你想超越你的竞争对手，你可以从这个方法开始。会给你更多的惊喜。