可靠的采集神器，不用爬虫也能每天600万+

　　可靠的采集神器，不用爬虫也能每天600万+

　　可靠的采集神器，不用爬虫也能每天600万+的采集规则。老话说的好啊：平常心态要好，只要不是比较不正规的，没见过不敢问的网站，采集规则可以去抄，前提是你先确定，采集下来的规则要比你用爬虫采集多很多，可以提高下载速度。

　　百度网页采集器可以采集谷歌，搜狗，360，搜搜，爱问，太阳星，newslearn这些搜索引擎里的网页，技术上已经可以实现只要网站有收录就能搜索到。应该可以实现楼主所说的大数据采集功能。

　　楼主，这真的是大数据采集啊，让我记得有个这么牛的网站。采下来做数据处理还能用，呵呵。

　　楼主你说的大数据采集可能是谷歌大搜搜算法类的吧，还有一些yahoo大搜图算法类的原因很简单，因为谷歌每天到处有采采采，一查就有。

　　首先，国内百度谷歌不给采，其次，百度直接屏蔽，再次，即使ss，要买请api？说明这采集问题离普通人还是蛮远的，你可以谷歌搜一下相关问题，结果越说越精彩，看看达到什么程度。

　　不知道题主遇到这个问题时是否已经试图采集，我也遇到过这个问题，然后朋友告诉我可以通过现在的大数据采集公司的技术方面的手段，而且不需要任何成本的。应该是这样的：现在很多采集大数据的方法有很多，这个答案里只介绍一种，一些免费的scrapy大数据采集工具scrapy1.5.0要下载，或者其他的爬虫工具；另外还有一些可以免费提供爬虫或者其他工具的，我还是推荐使用一些收费的。

　　我当时使用的是scrapy1.5免费版，不需要成本，功能不错，不过每天只能抓取五条，少了一些竞争力，用的是一些公司的vpn帐号（阿里云vpn帐号，ip很稳定，可以加速几十mb的数据量），有些公司还提供代理服务器（免费），但是阿里云vpn和虚拟主机都有数据丢失的问题，抓取的那几十gb数据丢失了300多gb，当时数据量大一些，并不影响抓取速度，结果是抓取了近20000条数据，得到30000条数据。

　　使用免费方法，使得抓取速度有限，不过可以足够解决题主的问题，也得到了我想要的效果，当然，只能抓取5条的量是需要付出一些时间精力的，希望其他回答可以给到你一些更好的解决方案。