1.搜索引擎工作原理

　　1.搜索引擎工作原理

　　搜索引擎是利用爬虫程序对网站页面进行爬取、收录、排序等一系列步骤，来完成整个搜索引擎的工作流程。

　　不同的搜索引擎的爬虫都有不同的名称，涉及到使用协议禁止爬虫爬取Robots.txt：Google：Googlebot，Baidu：baiduspider，Bing：bingbot。

　　第一步：爬取页面

　　Crawling：爬取，表示爬虫发现了你的网站并对其进行爬取，但不代表会收录网站，爬虫不会对每个页面进行爬取，而且爬虫对每个页面都有爬取预算，用完就会离开该页面。

　　第二步：收录页面

　　indexing：收录，代表着爬虫认可你的网站并将其纳入到索引库里。网页一旦被收录，就具备了参与排名的机会，收录：仅仅代表可以搜索到你的页面，但不代表你的网页就有排名。检查网页有没有收录，只要把对应页面的链接放进Google进行搜索即可，如果有搜索结果，那就证明你的URL是被收录的。也可以查看整站的收录情况，site：。放入域名的时候不要带上www，出现的是二级域名。

　　第三步：页面排序

　　results：网页排名。收录只是让你有参与排名的机会，但不代表用户搜索具体关键词的时候会出现你的页面。这里涉及到Google算法的排序，Google会把符合搜索者请求的页面以及综合外链等指标来决定一个页面的排序情况。