总结：要想数据快速被抓紧，吃透搜索引擎的规则必不可少

　　要快速捕获数据，必须了解搜索引擎的规则

　　搜索引擎的基本工作原理包括以下三个过程：第一，在Internet上发现并采集网页信息；第二，在互联网上采集信息。同时提取和整理信息，建立索引数据库。然后，搜索者将为库中的快速签出文档建立索引，评估文档和查询的相关性，对要输出的结果进行排序，然后将查询结果返回给用户。

　　为了尽快获得搜索结果，搜索引擎通常会搜索预先组织的Web索引数据库。搜索引擎并不能真正理解网页上的内容，它们只能机械地匹配网页上的文字。真正意义上的搜索引擎通常是指全文搜索引擎，它可以在Internet上采集数千万至数十亿个网页，并对网页中的每个文本（即关键词）建立索引，以建立索引数据库。当用户搜索某个关键词时，页面内容中收录关键词的所有网页都将被搜索出来作为搜索结果。通过复杂的算法排序后，将根据与搜索的相关程度按顺序排列这些结果关键词。典型的搜索引擎收录三个模块：

　　（[一）Information采集Module

　　Information采集器是一个可以浏览网络的程序，被称为“网络爬虫”。它首先打开一个网页，然后使用该网页的链接作为浏览的起始地址，获取链接的网页，提取出现在网页中的链接，然后使用某种算法确定接下来要访问的链接。同时，信息采集器将已访问的URL存储在其自己的网页列表中，并将其标记为已搜索。自动索引程序检查页面并为其创建索引记录，然后将该记录添加到整个查询表中。然后，信息采集器从网页开始到超链接，并继续重复访问过程直到结束。普通搜索引擎的采集器仅采用链长比（超链接数与文档长度之比）小于某个阈值的页面，并且数据采集位于内容页面，并且不涉及目录页面。与采集文档同时记录每个文档的地址信息，修改时间，文档长度和其他状态信息，用于监视站点资源和更新数据库。在采集的过程中，还可以构造适当的启发式策略来指导采集器的搜索路径和采集的范围，从而减少文档采集的盲目性。

　　（[二）查询表模块

　　查询表单模块是全文索引数据库。它提取通过分析网页显示的所有单词或单词（不包括HTML和其他语言标记符号），并记录每个单词的URL和相应位置（例如出现在页面标题，简介或文本中的单词） ），最后将数据存储在查询表中，该表成为直接供用户搜索的数据库。

　　（[三）搜索模块

　　检索模块是实现检索功能的程序。其功能是将用户输入的检索表达式分为具有检索意义的单词或单词，然后访问查询表，并通过某种匹配算法获得相应的检索结果。返回的结果通常基于单词频率和Web链接中反映的信息建立统计模型，并按照相关性从高到低的顺序输出。

　　搜索引擎的工作机制是使用高效的蜘蛛程序，从指定的URL开始并遵循网页上的超链接，使用深度优先算法或广度优先算法遍历整个Internet，并将网页信息获取到本地数据库。然后使用索引器索引数据库中的重要信息单元，例如标题，关键字和摘要或用于查询导航的全文本。最后，搜索者使用某种搜索技术将用户通过浏览器提交的查询请求与索引数据库中的信息进行匹配，然后根据某种排序方法将搜索结果返回给用户。