自动采集的成本太高了,谷歌!重要的事情说三遍
优采云 发布时间: 2021-05-08 01:06自动采集的成本太高了,谷歌!重要的事情说三遍
自动采集的成本太高了。市面上传统智能采集,做的都是需要人工编辑过滤大量数据的成本。而用谷歌或者百度的extract就可以自动采集。又快又方便。
谷歌谷歌谷歌!重要的事情说三遍
如果google能保证一个国家采集到一个样本,那么就需要至少7人协作(这7人具有专业的知识)。这7人大多是有采样需求的*敏*感*词*以上。这个需求越高,你选择的机器人越牛逼。现在中国专门做minidigger的,已经有一定规模了。国内有一个公司专门做这个,我知道了以后,是看了别人的视频介绍,觉得很有意思,决定试试。
也许自动采集会让很多公司产生瓶颈,需要强大的算法,或者很多人投入;而采集的使用者却并不是利益攸关者,所以不成熟。但是,如果你所在的公司面对海量的数据,这才是你迫切需要解决的问题,或者说是原因。在以往的商业领域,很少有真正解决了问题的方案,但是当这些领域面对海量的数据时,解决这个问题的方案越来越成熟。说得具体一点,就是采集这件事情不仅仅是解决好采集这件事情本身,你还需要考虑很多问题。
对于知乎回答问题这件事情来说,也是一样,问题解决了,但是如何实现通过数据分析,解决更多的问题。这是个机会。
速度很重要啊,手工采集都要一个半小时,谷歌早就做了快50秒的自动采集!谷歌采集更牛逼,快一点的1秒钟,慢一点就要5秒钟。