搜索引擎如何抓取网页( 接下来成都SEO小叶：搜索引擎抓取网页的原理是什么？)

　　搜索引擎如何抓取网页(

接下来成都SEO小叶：搜索引擎抓取网页的原理是什么？)

　　解析搜索引擎抓取网页的原理

　　如果我们能够很好地分析搜索引擎抓取我们网页的原理，那么我们就可以做好优化工作。接下来成都SEO小野就来分析一下搜索引擎抓取网页的原理：

　　主要包括四个方面，关键词的提取、“镜像网页”（网页内容完全一致，不做任何修改）或“转载网页”（近复制，主题内容基本一致）但可能有一些额外的编辑信息等，转载网页也称为“近似镜像网页”）消除，链接分析和计算网页的重要性。

　　1. 消除网页的复制或重印，固有的数字化和网络化为网页的复制、重印、修改和重新发布带来了便利。因此，我们在网络上看到了大量的重复信息。这种现象对广大网民具有积极意义，因为有更多的信息获取机会。但对于搜索引擎来说，主要是负面的；它不仅在采集网页时消耗机器时间和网络带宽资源，而且如果出现在查询结果中，会毫无意义地消耗计算机显示资源，而且还会引起用户抱怨，“这么多重复，就给我一个。” 所以，

　　2. 链接分析，大量的HTML标签不仅给网页的预处理带来了一些麻烦，也带来了一些新的机会。从信息检索的角度来看，如果系统只处理内容的文本，我们可以依靠“共享词袋”（shared bag of words），即收录的关键词的集合在内容中，最多加上词频和文档集合中出现的词的文档频率等统计信息。

　　TF、DF等频率信息可以在一定程度上表明单词在文档中的相对重要性或某些内容的相关性，是有意义的。有了 HTML 标签，这种情况可能会得到进一步改善。例如，在同一个文档中，和之间的信息很可能比和之间的信息更重要。尤其是HTML文档中收录的指向其他文档的链接信息是近年来特别关注的对象。他们认为他们不仅给出了网页之间的关系，而且在判断网页内容方面也起着非常重要的作用。

　　3、 在计算网页的重要性时，搜索引擎实际上追求的是统计意义上的满意度。人们认为谷歌优于百度或百度优于谷歌。在大多数情况下，引用依赖于前者返回的内容来满足用户的需求，但并非在所有情况下都是如此。如何对查询结果进行排序有很多因素需要考虑。如何说一个网页比另一个网页更重要？人们参考科技文献重要性的评价方法，核心思想是“被引用最多的就是重要的”。

　　“引用”的概念恰好通过 HTML 超链接在网页之间得到很好的体现。PageRank作为谷歌创造的核心技术，就是这一理念的成功体现。此外，人们还注意到网页和文档的不同特点，即有的网页主要是大量的外部链接，本身基本没有明确的主题内容，而有的网页则是由大量的其他链接。网页。从某种意义上说，这形成了一种双重关系，允许人们在网络上建立另一个重要性指标。这些指标有的可以在网页抓取阶段计算，有的必须在查询阶段计算，但都作为查询服务阶段最终结果排名的一部分参数。

　　4、关键词的提取，取一个网页的源文件（比如通过浏览器的“查看源文件”功能），可以看出情况是乱七八糟的。从知识和实践的角度来看，所收录的关键词就是这个特性的最好代表。因此，作为预处理阶段的一项基本任务，就是提取网页源文件内容部分收录的关键词。对于中文来说，需要使用所谓的“切词软件”，根据字典Σ从网页文本中切出Σ中收录的词。之后，一个网页主要由一组词表示，p = {t1, t2, ..., tn}。一般来说，我们可能会得到很多词，而同一个词可能会在一个网页中出现多次。