搜索引擎如何抓取网页(百度搜索引擎（SearchEngine）用户接口的作用及注意事项)

　　搜索引擎如何抓取网页(百度搜索引擎（SearchEngine）用户接口的作用及注意事项)

　　百度搜索引擎（Search Engine）是指按照一定的策略，使用特定的计算机程序，从互联网上采集信息。信息经过整理和处理后，为用户提供搜索服务，并向用户展示与用户搜索相关的相关信息。系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合搜索引擎、门户搜索引擎和免费链接列表等。

　　定义

　　搜索引擎由四部分组成：搜索器、索引器、搜索器和用户界面。搜索者的功能是在互联网上漫游、查找和采集信息。索引器的作用是理解搜索器搜索到的信息，从中提取索引项，并用它来表示文档并生成文档库的索引表。检索器的作用是根据用户的查询快速查询索引数据库中的文档，评估文档与查询的相关性，对输出结果进行排序，并实现一定的用户相关性反馈机制。用户界面的作用是输入用户查询，显示查询结果，提供用户相关性反馈机制。

　　全文索引

　　搜索引擎分类部分提到了全文搜索引擎从网站中提取信息构建网页数据库的概念。搜索引擎的自动信息采集功能有两种类型。一种是定期搜索，也就是定期搜索（比如google一般是28天），

　　蜘蛛搜索引擎

　　搜索引擎主动发出“蜘蛛”程序在一定IP地址范围内搜索互联网网站。一旦发现新的网站，它会自动提取网站的信息和URL，并添加到自己的数据库中。另一种是提交对网站的搜索，即网站的拥有者主动向搜索引擎提交网址，在一定时间内会定向到你的网站时间（从2天到几个月不等） 发出“蜘蛛”程序，扫描您的网站并将相关信息保存在数据库中，供用户查询。随着搜索引擎索引规则的巨大变化，主动提交网址并不能保证您的网站可以进入搜索引擎数据库。

　　当用户搜索带有关键词的信息时，搜索引擎会在数据库中进行搜索。如果找到符合用户要求的网站，它会使用特殊的算法——通常根据网页上的关键词匹配度、出现位置、出现频率、链接质量——计算相关性和每个网页的排名级别，然后根据相关性将这些网页链接依次返回给用户。该引擎的特点是搜索率相对较高。

　　目录索引

　　目录索引也称为：分类搜索。是互联网上最早提供WWW资源查询的服务。它主要是对互联网资源进行采集和整理，并根据搜索到的网页内容，将其网址分配到不同层次的相关分类主题目录中。目前，类似图书馆目录的分类树结构索引形成。无需为目录索引输入任何文本。根据网站提供的主题分类目录点击进入，即可找到所需的网络信息资源。

　　虽然它有搜索功能，但不能称其为严格意义上的真正搜索引擎。它只是一个按目录分类的 网站 链接列表。用户可以根据分类目录找到自己需要的信息，不依赖关键词（关键词）查询。

　　与全文搜索引擎相比，目录索引有很多不同之处。

　　首先，搜索引擎是自动网站搜索，而目录索引则完全是手动的。用户提交网站后，目录编辑会亲自浏览您的网站，然后根据一套自行确定的标准甚至主观印象来决定是否接受您的网站编辑。其次，当搜索引擎收录网站时，只要网站本身不违反相关规则，一般都可以登录成功；目录索引对 网站 的要求要高很多，有时即使多次登录也可能不成功。尤其是像雅虎这样的超级索引，登录更是难上加难。

　　另外，登录搜索引擎时，一般不考虑网站的分类，登录目录索引时，必须将网站放在最合适的目录（Directory）中。

　　最后，搜索引擎中每个网站的相关信息都是自动从用户的网页中提取出来的，所以从用户的角度来说，我们有更多的自主权；而目录索引要求必须手动填写额外的网站Information，并且有各种限制。另外，如果工作人员认为你提交的网站目录和网站信息不合适，他可以随时调整，当然不会提前和你商量。

　　搜索引擎和目录索引有相互融合和渗透的趋势。一些纯全文搜索引擎也提供目录搜索。例如，Google 借用 Open Directory 目录来提供分类查询。和雅虎一样！这些老牌目录索引通过与谷歌等搜索引擎的合作，扩大了搜索范围（注）。默认搜索模式下，部分目录搜索引擎首先返回自己目录下匹配的网站，如中国的搜狐、新浪、网易等；而其他人则默认为网络搜索，例如雅虎。该引擎的特点是查找准确率比较高。

　　元搜索

　　元搜索引擎（METASearch Engine）收到用户的查询请求后，同时在多个搜索引擎上进行搜索，并将结果返回给用户。知名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，最具代表性的中文元搜索引擎是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，比如Dogpile；一些根据自定义规则重新排列和组合结果，例如 Vivisimo。

　　垂直搜索

　　垂直搜索引擎是2006年后逐渐兴起的一类搜索引擎。 与一般的网络搜索引擎不同，垂直搜索侧重于特定的搜索领域和搜索需求（例如：机票搜索、旅游搜索、生活搜索、小说搜索、视频搜索、购物搜索等）。更好的用户体验。与一般搜索中的数千台搜索服务器相比，垂直搜索需要较低的硬件成本、特定的用户需求以及多种查询方式。

　　集体搜索

　　集体搜索引擎：这个搜索引擎类似于元搜索引擎。不同的是它没有调用多个搜索引擎同时进行搜索，而是用户从提供的几个搜索引擎中进行选择，比如HotBot在2002年底推出的搜索引擎。

　　门户搜索

　　门户搜索引擎：AOLSearch、MSNSearch等虽然提供搜索服务，但既没有目录也没有网页数据库，搜索结果完全来自其他搜索引擎。

　　免费链接

　　Free For All Links（简称FFA）：一般只是简单的滚动链接条目，少数有简单的目录，但规模比雅虎大！等待目录索引变得更小。

　　工作准则

　　第 1 步：爬网

　　搜索引擎通过特定模式的软件跟踪到网页的链接，从一个链接爬到另一个链接，就像蜘蛛在蜘蛛网上爬行一样，因此被称为“蜘蛛”或“机器人”。搜索引擎蜘蛛的爬行是有一定的规则进入的，需要遵循一些命令或者文件的内容。

　　第 2 步：获取存储空间

　　搜索引擎通过蜘蛛跟踪链接抓取网页，并将抓取到的数据存储在原创页面数据库中。页面数据与用户浏览器获取的 HTML 完全相同。搜索引擎蜘蛛在抓取页面时也会做一定量的重复内容检测。一旦遇到大量抄袭、采集或网站上权重极低的复制内容，他们很可能会停止爬行。

　　第三步：预处理

　　搜索引擎将在各个步骤中对蜘蛛检索到的页面进行预处理。

　　⒈提取文本

　　⒉中文分词

　　⒊ 停词

　　⒋消除噪音（搜索引擎需要识别并消除这些噪音，如版权声明文字、导航栏、广告等...）

　　5.远期指数

　　6.倒排索引

　　7.链接关系计算

　　8.特殊文件处理

　　除了 HTML 文件，搜索引擎通常可以抓取并索引多种基于文本的文件类型，例如 PDF、Word、WPS、XLS、PPT、TXT 文件等，我们在搜索结果中也经常看到这些文件类型。但是，搜索引擎无法处理图像、视频和 Flash 等非文本内容，也无法执行脚本和程序。

　　第 4 步：排名

　　用户在搜索框中输入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程直接与用户交互。但是由于搜索引擎的数据量巨大，虽然可以做到每天小幅更新，但一般来说，搜索引擎的排名规则是按照每日、每周、每月不同级别的更新。

　　想了解更多百度推广开户，欢迎随时联系原生网络技术、专业客服在线人员对接，*敏*感*词*解答您的推广问题。原生网络助力突破和增加客源订单量渠道（vx同号）！更多渠道助您盈利。