seo优化全解第1版-搜索引擎入门详解(latbin的作用简单介绍larbin的性能特征和实际应用)larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。latbin最初的设计也是依据设计简单但是高度可配置性的原则,因此我们可以看到,一个简单的larbin的爬虫可以每天获取500万的网页,实在是非常高效。获取单个、确定网站的所有联结,甚至可以镜像一个网站。定制后可以作为搜索引擎的信息的来源(例如可以将抓取下来的网页每2000一组存放在一系列的目录结构里面)。
继续阅读 »