微影课堂-自动采集机器人的使用方法-乐题库

　　微影课堂-自动采集机器人的使用方法-乐题库

　　自动采集机器人我们这边有做过具体的介绍和使用方法，你如果不知道的话可以去查看下我写的自动采集课程。

　　http代理器proxy-server使用方法：上传图片后，

　　微影课堂-自动抓取微课传播给学生，辅助教师进行教学转化，

　　可以看一下我专栏的一篇文章，里面详细写了做个自动采集的需求。

　　网页url序列化，一般是queryset，queryset提交api，接着通过vid或者appid获取uuid等固定信息，再按一定的方式获取userid,传给后端抓取，然后对一些空值进行过滤，再确定一些实用信息，就可以通过post方式传给采集器。常见的自动采集软件比如sendeed、isausible。

　　自动爬虫。找一家专业的搞这个的，然后自己想办法挣他钱。

　　自动抓取需要两个方面，一个是数据实时性，另一个是高并发。实时性的话你用封ip地址然后把数据延迟一点可以做到，高并发你可以使用一些第三方服务可以满足你的高并发需求，不过也就只能做到500人。你要想做到500人的话要考虑多少机器，考虑多少带宽，什么时候到。

　　自动采集自然是使用采集器。大鱼或者千秋采集器都可以做到500人的自动抓取。然后根据自己的需求再找第三方的服务。