c爬虫抓取网页数据(搜索引擎中输入关键词，点击搜索或查询时，得到结果)

　　c爬虫抓取网页数据(搜索引擎中输入关键词，点击搜索或查询时，得到结果)

　　当我们在输入框中输入关键词，点击搜索或者查询，就可以得到结果。挖掘它背后的故事，搜索引擎做了很多事情。

　　一是在互联网上发现和采集网页信息；同时对信息进行提取整理，建立索引数据库；然后检索器根据用户输入的查询关键词快速检测索引数据库中的文档，并评估文档与查询的相关性，

　　对要输出的结果进行排序，并将查询结果返回给用户。

　　在百度等搜索引擎网站中，后台有一个非常大的数据库，里面存储着大量的关键词，每个关键词对应着很多个URL。这些网址是从浩瀚的互联网上一点一点下载的百度程序，这些程序被称为“搜索引擎蜘蛛”或“网络爬虫”。

　　这些勤劳的“蜘蛛”每天都在网上爬行，从一个链接到另一个链接，下载内容，分析提炼，找到里面的关键词，如果“蜘蛛”认为关键词是在数据库中如果在数据库中不可用并且对用户有用，则将其存储在数据库中。相反，如果“蜘蛛”认为是垃圾邮件或重复信息，它会丢弃它，继续爬取，找到最新有用的信息并保存起来供用户搜索。当用户搜索时，他们可以检索与关键字相关的 URL 并将其显示给访问者。

　　一个 关键词 对使用了多个 URL，因此存在排序问题，匹配最多 关键词 的对应 URL 会排在第一位。在“蜘蛛”爬取网页内容和提炼关键词的过程中，存在一个问题：“蜘蛛”能否理解。如果 网站 的内容是 flash 和 js，那么即使关键字更合适，也难以理解，会混淆。对应的，如果网站的内容是它的语言，那么它可以理解，它的语言就是SEO。

　　搜索引擎的基本工作原理包括以下三个过程：