php 抓取网页内容(搜索引擎把网页抓取到本地（就是搜索引擎的服务器上）)

　　php 抓取网页内容(搜索引擎把网页抓取到本地（就是搜索引擎的服务器上）)

　　为什么Spider会再次抓取并更新网页？原因是搜索引擎依赖于用户的存在。搜索引擎是否会被人们使用，取决于它是否提供了人们需要的内容。内容越准确及时，用户越多，市场份额越大。越大，它带来的回报就越多。（满足用户需求是搜索引擎公司赚钱的基础，当然也是所有公司赚钱的基础。）

　　Spider在本地（即在搜索引擎的服务器上）抓取网页后，对该网页进行分析、索引并参与搜索引擎的排名。这并不意味着蜘蛛的使命就完全完成了。因为互联网的内容随时都在变化。即使之前爬取的内容已经被网站的管理员或作者删除，当用户再次通过搜索引擎访问时，结果不正确或不匹配，这显然对搜索引擎来说不是很好的匹配. 不利。

　　搜索引擎爬取到的本地页面，基本上可以看作是被爬取索引的网页的镜像。也就是说，为了让用户看到最准确的内容，搜索引擎应该确保这个“镜像”页面与互联网上相应网页的内容实时一致。但是，由于互联网内容随时变化，Spider资源有限，实时监控所有索引网页的所有变化显然是不可能也没有必要的（因为有些内容是无关紧要的，用户不需要） . 但是，一些内容更新是必要的。因此，Spider 需要设计一个更新爬取策略，以确保当部分页面呈现给用户时，“镜像” 页面与当时网页的内容没有太大区别。也满足了大部分用户在搜索引擎上的搜索请求。

　　因此，从用户的角度来看，Spider 必须更加努力地更新和抓取那些已被索引并参与排名的网页。