站群自动采集器(猎豹推出站群自动采集器，无需人工输入网址)

　　站群自动采集器(猎豹推出站群自动采集器，无需人工输入网址)

　　站群自动采集器（topogroup），是猎豹推出的一款重磅的、独具特色的站群自动采集器。基于高并发系统，无需人工输入网址，站群自动采集24小时以内的网页内容，采集速度快，按照关键词分类采集。在没有人工干预的情况下能够达到极快速度的采集数据。网站均为自建博客，每天处理数千个站点，只用1天时间，在线处理约5000个站点，三台云电脑构成一个站群。

　　因站群内的数据量极大，建议采集的数据量不超过10mb，请求的格式为excel文件。猎豹深度特色：搜索速度更快，全天开启自动采集，软件无须人工操作，1分钟采集5000个站点。实时监控所有收录情况，随时更新，手动采集网站30%的页面，每天处理150万-2000万url，站群注册后会赠送30天的自动采集权限。

　　ip多线路，避免爬虫“同ip重复收录”，同一ip内在采集的时候收录数据一样。内置4列网页列表，需要的时候只需搜索某个页面，可得到它的所有url（搜索了某个页面会给到它所有的url）。自动采集的页面按照标签归类，点击或刷新网页，根据标签顺序自动重新构建站点，无需手动输入网址。网站是否有首页，或者对应的长尾关键词（网页的描述），都会智能算出来，有自动的查询数据库进行统计，节省大量人力操作。

　　同类的相似功能站群自动采集器在其他网站也可以找到，比如yandexmap，“搜狐博客”，但是猎豹把它们集合在一起。关于采集器：采集器基于现有的开源系统gallatin，能够单台电脑24小时无人工干预的开启自动采集。目前采集量为500万-5000万，然后自动下线。猎豹提供root账号，开启以后所有模块都是中文。

　　采集器ip多线路，避免爬虫“同ip重复收录”，同一ip内在采集的时候收录数据一样。支持修改下线时间，网站有重要的事情需要停止采集，注销账号便可以恢复爬虫；也可以给建议是不是删除，这样猎豹有一个自动删除功能，会根据建议自动删除。站群的终极解决方案是独立部署的服务器，来自：《新版的猎豹采集器是怎么回事？》&《2016-2020年，建议使用哪款采集器？》注意：猎豹采集器可以基于你使用的开源系统做二次开发，例如在phpmyadmin或drupal/cms中封装网页地址到mvc框架。