人工采集,二是智能采集引擎的开发(图)

　　人工采集,二是智能采集引擎的开发(图)

　　一是人工采集,二是智能采集引擎的开发,数据一般走的都是爬虫,至于采集的速度问题,看采集的网站特点.一般最多2秒就能获取成千上万个网站数据.

　　现在有两种形式网站采集：一种是程序对网站进行采集；第二种是采集接口实现对网站数据采集，采集接口是通过搜索，你懂的。有些采集接口经过编码，或者加密算法进行对特定网站进行采集。对于技术要求没有采集程序高。都是通过网站抓取的，据了解收费较高的有云采集，免费较高的有易址。

　　我们用的是endoneon采集器，做调研的时候才注意到还有人在用，现在也用。主要原因是有限制，比如你所提到的自己的网站，做不到在前端加载数据，没有抓取html，只有靠某些特定的采集接口。它采集的能力很强大，会不定期更新，而且有付费版，比较好。

　　采集器主要用来采集网站外的东西，比如人工的、对p2p支持好的、带referral的。有google会先收集有意义的数据，然后通过人工、智能等分析手段将数据进行到里面。回答完毕。

　　能否存储各种类型网页，能否支持google？能否接受频繁的权限变更？能否一段时间抓取哪个网站，哪个网站抓取几次？是不是要预约？本来爬虫就是老鼠卖艺，要伺候多少个？各家产品供应能否提供完整的采集周期（至少7天）？这些问题，就像买一个人，首先要认识到个人的能力，只能说一般，能把各个网站拿下来，一个人，别想做运营了。