智能采集上传到爱问共享云，两分钟搞定全网页采集

　　智能采集上传到爱问共享云，两分钟搞定全网页采集

　　温州文章智能采集上传到爱问共享云，两分钟就能搞定全网页采集，让你随时随地采集互联网中的数据。

　　技术有专门做视频数据采集的，不过内容量有点大，几十g上百g吧。可以考虑下我们的，小而美，功能强大，主要是想赚点外快。网站视频数据采集神器，不仅免费，还能自己搞独立站点，

　　这种需求不算大，很多程序可以做，但是要求从几百到几千的都有，而且很多细节不能保证。1，采集速度，准确性，如果做的话对带宽要求很高2，内容库质量，各个站长比较集中的网站，如c站，搜索引擎站，如果是没有规律的散落，那么分析难度就大很多，如果纯爬虫采集有可能会爬到很多后期规划非常麻烦。3，手机端体验，很多小网站，主站没有手机端可访问，而大型站点最有可能用手机访问比较方便，比如b站，taobao。

　　现在考虑就太早了，因为不需要这么多数据，建议第一时间找准自己需求，然后在找数据，三四年前我考虑这个问题我找到saas系统，没想到因为版权问题就没去继续找，其实找个能做出这种事情的东西可以省不少钱。

　　小的话，可以用采集数据的工具采集，像网页小助手，甚至国外的scrapy。但是采集数据对地域要求比较高，一般需要上海/北京、一线城市。大的话，可以尝试下视频数据采集工具，有很多国外的，像torrentkitty/scrapy-scrapy这类型，也有国内的像热抓取、优采云采集等工具，国内的因为测试过，容易出问题，是否好用暂时还不太清楚。