搜索引擎优化pdf(蜘蛛（google称之为机器人机器人）来说工作原理与一种的一种)

　　搜索引擎优化pdf(蜘蛛（google称之为机器人机器人）来说工作原理与一种的一种)

　　搜索引擎一.网络采集的工作原理。网页采集其实就是大家常说的蜘蛛爬取网页。所以对于蜘蛛（谷歌称它们为机器人）来说，它们感兴趣的页面分为三类： 1. 蜘蛛从未捕捉到的新页面。2. 蜘蛛抓到了页面，但是页面的内容发生了变化。3. 被蜘蛛爬过但现在已经被删除的页面。那么如何找到这三种类型的页面并有效地抓取它们是蜘蛛编程的初衷和目的。那么这里有一个问题，蜘蛛爬行的起点。只要你的网站没有被每个站长严重降级，你就可以通过网站的后台服务器发现勤劳的蜘蛛光顾你的网站，但是你有没有想过写从程序的角度来看，蜘蛛是从哪里来的？对此，各方各有看法。有一种说法是蜘蛛从*敏*感*词*站（或高权重站）爬行，从高权重到低权重逐层爬行。另一种说法是，网址集合中没有明显的蜘蛛爬行顺序。搜索引擎会根据您网站内容的更新规律，自动计算何时是抓取您网站的最佳时机。，然后爬行。事实上，对于不同的搜索引擎，它们的抓取点肯定会有所不同。对于百度，赵先生更喜欢后者。在百度官方博客发表的文章《一种索引页面链接补全机制的方法》（地址：/?p=2057)）中，它明确指出“蜘蛛会尝试检测网页的发布周期，以做出合理的检查网页。” 由此我们可以推断，在百度的索引库中，对于每一个URL集合，它都会计算爬取时间和一系列适合它的参数，然后爬取对应的站点。

　　在这里，我想说明一下，对于百度来说，站点的价值并不是蜘蛛爬过的你的页面的价值。比如site:，得到的值并不是大家常说的百度收录值。如果要查询具体的百度收录卷，应该在百度提供的站长工具中查询索引号。那么什么是网站呢？以后我会向你解释这一点文章。那么蜘蛛是如何发现新链接的呢？它依赖于超链接。我们可以将所有 Internet 视为定向集合的集合。蜘蛛开始沿着网页中的超链接从初始 URL 集合 A 中发现新页面。在这个过程中，每一个新发现的URL都会与集合A中已有的URL进行比较，如果是新的URL，则将其添加到集合A中，如果已经存在于集合A中，它将被丢弃。蜘蛛对站点的遍历和爬取策略分为两种，一种是深度优先，一种是广度优先。但是如果是百度这样的商业搜索引擎，它的遍历策略可能是更复杂的规则，比如域名本身的权重系数，百度自己的服务器矩阵的分布。二. 预处理。预处理是搜索引擎中最复杂的部分。基本上，大多数排序算法在预处理阶段生效。然后，在预处理步骤中，搜索引擎主要按照以下步骤对数据进行处理：1.Extract关键词。蜘蛛爬取的页面和我们在浏览器中查看的源码是一样的。代码通常很乱，其中许多与页面的主要内容无关。因此，搜索引擎需要做三件事： 代码去噪。删除网页中的所有代码，只留下文本。②去除非文本关键词。比如页面上的导航栏以及其他不同页面共享的公共区域关键词。③去除停用词。停用词是指没有特定含义的词，如“的”、“在”等，当搜索引擎得到这个页面的关键词时，它会使用自己的分词系统对文章进行分词成一个段。@关键词。③去除停用词。停用词是指没有特定含义的词，如“的”、“在”等，当搜索引擎得到这个页面的关键词时，它会使用自己的分词系统对文章进行分词成一个段。@关键词。③去除停用词。停用词是指没有特定含义的词，如“的”、“在”等，当搜索引擎得到这个页面的关键词时，它会使用自己的分词系统对文章进行分词成一个段。