搜索引擎如何抓取网页(1.什么是搜刮引擎(SearchEngines)是指一些可以自动搜刮信息)

　　搜索引擎如何抓取网页(1.什么是搜刮引擎(SearchEngines)是指一些可以自动搜刮信息)

　　1.什么是搜索引擎

　　搜索引擎（Search Engines）是指一些能够自动搜索信息（网页上的搜索词和特定简短内容描述）并自动索引的Web网站，它们的索引内容存储在可用年份中以供检索. 夜间型数据库，并建立索引和目录服务。搜索引擎是提供信息检索服务的网站。它利用一定的程序对互联网上的所有信息进行分类，帮助人们在浩瀚的互联网中找到必要的信息。

　　搜索引擎是用来支持网民查询信息的搜索对象，现在搜索引擎已经成为必不可少的上网对象。如果你想买一个产品，但不知道该买哪个网店，那就去搜索引擎，搜索引擎能满足你的需求。

　　互联网的飞速发展也导致了互联网上大量“垃圾”信息的出现，而搜索引擎的作用之一就是排名比较好的网站和比较优质的网站 在搜索引擎结果的最前面，这样可以帮助用户找到他们正在寻找的设备，这就是引擎的作用。

　　下面介绍常见的搜索引擎。

　　google：全球最大的搜索引擎，1998年9月7日以民营股份制公司的形式成立，目的是设计和管理一个互联网搜索引擎。总部位于美国加利福尼亚州山景城，在全球设有销售和工程办事处。2010年，谷歌退出中国市场。

　　百度：全球最大的中文搜索引擎，由李彦宏和徐勇于2000年1月在北京中关村创立，致力于提供“简单、可靠”的信息获取方式。“百度”一词源于宋代诗人辛弃疾的《清雨案元玺》中的诗句“众生为千百度”，象征着百度对中文信息检索技术的执着追求。

　　雅虎：美国著名的互联网门户网站，20世纪末互联网行业的发明者之一，其服务包括搜索引擎、电子邮件独立用户消息等，其业务广受24家多元化网络服务的欢迎。

　　Bing：微软推出的用于替代实时搜索的搜索引擎。Bing简体中文版于2009年6月1日正式开放，其他语言版本于200年6月3日正式在全球范围内公布。据微软称，这款搜索引擎将以全新的姿态推出，将带来新的革命。它的内部测试代号是“Kumo”，后来被命名为“Bing”

　　搜搜：腾讯搜索网站是腾讯的重要业务部门之一，于2006年3月正式宣布并开始运营。搜搜已成为中国网民首选的三大搜索引擎之一。主要提供便捷便捷的搜索服务，同时承接腾讯整体搜索业务。它是腾讯整体在线职业战略的重要组成部分。

　　2.搜索引擎的工作原理

　　如果一个搜索引擎想“知道”互联网上的新事物，它必须派“人”出去采集它。每天都有新的网站，每天都有新的内容，而且这些新内容是爆炸性的，采集任务是无法手动完成的，所以搜索引擎的创造者设计了一个计算机程序来完成这个任务，而这计算机程序称为“检测器”。

　　探测器有很多名称，如Crawler（爬虫）、Spider（蜘蛛）、Robot（机器人）。这些名称形象地描述了搜索引擎发送的蜘蛛机器人在互联网上爬行以检测新信息的情况。谷歌的检测器叫Googlebot，百度的检测器叫Baiduspider，雅虎的检测器叫Slurp。不管叫什么名字，它们都是人们制作的计算机程序。他们日夜访问每个网站，检索网站的内容、标签、图片等，然后根据搜索引擎的算法自定义索引。

　　一个搜索引擎的工作过程可以简单地分为以下三个阶段。

　　(1)爬取：搜索引擎的蜘蛛程序通过链接爬取到网站，获取网站页面的HML代码并存入数据库。

　　(2)索引处理：蜘蛛程序对爬取的页面数据中的文字、图片等信息进行索引，为排名做准备

　　(3)排名：用户输入关键词后，搜索引擎的排名算法利用索引库中的信息对数据进行计算处理，然后根据相应的模式生成结果页面。

　　3.爬行

　　搜索引擎蜘蛛程序通过网页的链接地址找到网页，从网站的某个页面（通常是首页）开始，读取网页的内容，找到网页中的其他链接地址，然后通过这些链接地址搜索下一个网页，循环往复，直到这个网站的所有网页都被爬取完毕。如果网站的内容质量不高或者重复信息很多，蜘蛛程序就不会“耐心”去抓取网站中的所有信息。如果把整个互联网看成一个网站，那么蜘蛛程序就可以利用这个原理爬取互联网上的所有网页。然而，在实际工作中，搜索引擎蜘蛛程序并不能抓取所有的互联网信息。毕竟，蜘蛛程序的带宽资源和时间不是无限的，它不能“爬”到所有页面。受这些因素的限制，搜索引擎只能抓取和收录一小部分互联网信息。

　　4.索引处置

　　抓取网页后，通过分析索引系统对采集到的网页进行分析，提取相关信息（包括网页位置的URL、编码类型、页面内容中收录的所有关键词、关键词的位置、生成时间、年龄、与其他网页的链接关系等），根据一定的连贯性算法进行大量复杂的计算，得到每个网页对于页面文本和每个网页的连贯性（或重要性）超链接中的关键词，然后利用这些信息建立网页索引数据库。

　　任何搜索引擎在内容索引时都是基于文本的。搜索引擎在抓取页面时，不仅访问用户可以看到的文本信息，还包括大量的HTML代码、CSS代码、Javascript代码等对排名没有影响的内容。爬取页面后，搜索引擎需要对信息进行处理，将标签和代码从HIML代码中分离出来，提取出有利于网站排名处理的页面文本内容。

　　5.排名

　　网页索引库建立后，当用户输入关键词进行搜索时，搜索系统程序会从网页索引库中查找与该关键词匹配的所有相关网页。因为已经计算了关键词所有相关网页的连贯度，所以只需要按照连贯度值进行排序即可。一致性越高，排名越高。

　　影响连贯性的因素包括：

　　(1）症结词状态：页面上的症结词状态会被搜索引擎抓取并记录在索引库中。会影响搜索引擎排名的症结词包括title标签，标签等。

　　(2）关键词出现频率：一般来说，页面中关键词出现的频率和密度越高，说明页面与搜索词的相关性越高，页面的排名就越好但是，如果故意造成页面上关键词的堆积，页面不仅会有更好的排名，还会被搜索引擎“惩罚”，所以在优化页面内容的时候要注意关键词的密度和频率。太大。

　　（3）页面的链接也会影响关键词的相关性，如果页面中作为锚文本链接的搜索词比较多，说明页面的相关性比较强，会影响计算搜索引擎的相关性。影响。

　　连贯度计算完成，网站在设计过程中，搜索引擎可能还会有一些过滤算法来调整排名。虽然这些过滤算法包括对疑似作弊页面的分析，相关性较高的页面应该排在搜索结果的前面，但是搜索引擎的过滤算法可以在最终排名中将网站的排名调整到后面. 走。经过连贯算法和过滤算法后，对网站设计的所有关键词进行排名，排名程序挪用原创页面的信息，并在搜索结果中显示该信息。