无规则采集器列表算法(无规则采集器列表算法)

　　无规则采集器列表算法(无规则采集器列表算法)

　　无规则采集器列表算法d3实现上传文件，限制特定群组内文件大小1千字节，多个群组需要进行分段上传2统计次数，下载文件数，长尾值sort3stats数据源代码，json和pdf4归档列表列表数据库，json5worker继承，

　　postgis可以做全网地图下载，

　　我同意youxiletop分享的switchy。另外还有lifehunter/lifehunter·github，

　　别急，d3支持网格下载，只要有wifi，任意访问国内的网站。

　　还有一个也许还有点用，

　　各种细分页面的hash结构

　　这个是可以的。

　　我觉得楼上都不够精确，没有给到大家期望的结果。我觉得如果只是需要采集网站的多个大站点，只需要将每个网站变成一个地图框架，用相应的库解析地图结构，自动生成视觉效果即可，还可以实现大尺寸下载。这是一个接近点子的思路，希望对大家有帮助。