seo优化搜索引擎工作原理( 大体的工作原理是什么？蜘蛛的爬行策略详解)

　　seo优化搜索引擎工作原理(

大体的工作原理是什么？蜘蛛的爬行策略详解)

　　随着互联网的不断发展，搜索引擎的出现是必然的。就像图书馆的图书一样，如果馆藏的文献和书籍过多，就很难找到，所以要加强管理和统计。事实上，搜索很大程度上源于传统的文档检索技术。

　　作为一个SEOer，你应该知道搜索引擎的工作原理是非常复杂的，它的工作过程大致分为三个阶段：

　　(1）爬取爬取：搜索引擎蜘蛛通过以下链接访问网页，获取页面HTML代码，并存入数据库；

　　(2）预处理：索引程序对抓取到的数据进行文本提取、中文分词、索引等。准备好排序程序调用；

　　(3）排名：用户进入关键词后，排名程序调用数据库，计算其相关性，然后生成一定格式的搜索结果页面。

　　由于爬取和爬取是搜索引擎的第一步，主要完成数据采集的任务；但是，搜索引擎用来抓取和访问页面的程序统称为蜘蛛或机器人；为了爬取网络上的更多页面，蜘蛛程序会跟随页面上的链接，从一个页面爬到下一页或多个页面。就像蜘蛛这个词的意思一样，整个互联网是由许多相互连接的网站和页面组成的；从一个页面开始，您可以按照链接爬取 网站 上的所有页面。其中，蜘蛛常用的爬取策略有两种：深度优化和广度优化，如图1：优化的人都知道，用户体验尤为重要，吸引蜘蛛同样如此；无论是爬取还是抓取页面，它所期待的也是网站的新鲜度、内容的更新频率、网站和页面的权重、传入链接的数量等。搜索引擎的地址库也是我们需要知道的。地址库的来源可以分为三种：手动输入*敏*感*词*网站、蜘蛛自动爬取页面、站长通过搜索引擎页面提交表单要网站排名好，蜘蛛是最好的方式自动抓取页面。

　　图1 Spider的爬取策略

　　想必蜘蛛爬爬爬完之后，下一步就是在后台完成预处理，这是用户在搜索时感受不到的过程。目前，搜索引擎仍以文字内容为主。蜘蛛爬取页面中的 HTML 代码以提取文本。可以看出添加META标签、图片、FLASH文件、链接锚文本时要添加页面。文字来描述，让蜘蛛可以读取相应的文字来抓取图片等。因此，搜索引擎在存储和处理页面时是基于单词的。因此，中文分词的基本方法有两种：一种是基于字典匹配，一种是基于统计。百度搜索很大程度上是基于这两点。比谷歌搜索好多了。搜索引擎在索引页面时会删除一些停用词。停用词包括助词、de、地、感叹词、ah、ha、ah、副词或介词，因此、has、but；从而减少冗余计算量。下一步是消除噪音和重复数据删除。网站 上重复出现的块通常是噪音；同一篇文章文章 在不同的网站 或同一个网站 中重复出现。搜索引擎不喜欢不同 URL 上的重复内容。在不同的 网站 或相同的 网站 中重复出现。搜索引擎不喜欢不同 URL 上的重复内容。在不同的 网站 或相同的 网站 中重复出现。搜索引擎不喜欢不同 URL 上的重复内容。

　　作为排名的最后一步，搜索引擎自动爬取的页面和倒排索引经过索引程序计算后，搜索引擎就可以处理用户的搜索了。很容易理解，其他工作程序与预处理相反；预处理是如何访问文本、分词和索引，排名是如何调用数据库数据计算排名。