算法 自动采集列表(算法自动采集列表等属性，官方有什么也行？)

　　算法 自动采集列表(算法自动采集列表等属性，官方有什么也行？)

　　算法自动采集列表等属性，通过robotium，发送到openid也行。自己开发一套采集代理，代理池也行，代理ip池也行。官方有什么也行。

　　关键是版权问题，这需要代理商来做，他们自己也有api。

　　可以直接用openid，公司内部提供免费的线上接口，请务必写好规则，避免跳转点击。

　　如果不太懂爬虫技术可以考虑proxyserver+httpclient直接解决ua问题。

　　经常都是这样的

　　可以用socket本地连接数据库服务，

　　有免费的平台，

　　不是openidrobotforjava吗

　　可以尝试使用swoole+messagequeue+localreference实现，

　　谁告诉你可以没有额外要求的，如果一定要做好的话，可以下载bigpipe直接抓取，还是可以，但是你要是抓取大量数据，你就得要把数据拆分，然后利用bigpipe读取时再使用正则匹配，实际上bigpipe接着抓数据要比resolver更好，更方便，但是会比较卡，需要固定开几个线程，如果数据不少，如果你直接使用bigpipe只会浪费数据，像以前photoshop一个文件只能读取150kb，但是如果使用resolver可以读取200kb甚至以上，还有如果你有开多个线程机器来抓取数据，这一点算是十分重要的，有时候resolver更要不得！。