解决方案:面试官:比如有10万个网站,有什么快速采集数据的方法吗?

优采云 发布时间: 2020-09-01 03:16

  采访者: 例如,有100,000个网站,有什么方法可以快速采集数据吗?

  

  一位网友昨天说,他最近采访了几家公司,并多次问了一个问题,每次回答都不是很好.

  采访者: 例如,有100,000个网站需要采集,您必须采用什么方法快速获取数据?

  要很好地回答这个问题,实际上,您需要具有足够的知识和足够的技术储备.

  最近,我们每周也在招聘和面试十几个人,只有一两个人适合. 他们中的大多数人都与此网民处于同一状况,他们缺乏整体思维,即使是那些拥有三四年工作经验的老司机. 他们具有解决特定问题的强大能力,但是很少站在新的层次上逐点思考问题.

<p>采集的覆盖范围为100,000 网站,已经比大多数专业民意监测公司的数据采集大. 为了满足访问者提到的采集的要求,我们需要全面考虑网站从采集到数据存储的各个方面,并提出适当的计划,以达到节省成本和提高工作效率的目的.

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线