云端 自动 采集(常用云端服务器ubuntu16.04+icao/mqtt/variety/)

　　云端 自动 采集(常用云端服务器ubuntu16.04+icao/mqtt/variety/)

　　云端自动采集，并发连接数目比较多的时候，是比较容易崩溃的。多条线程同时监控，崩溃时间略长一点。常用云端服务器ubuntu16.04+icao/mqtt/variety。当然你可以用virtualbox搭。

　　这个是有国外团队开发的教程，

　　环境操作系统：windows10操作系统版本：2014.4.13014.4.13+1步骤：（配置/折腾/省事）

　　1、采集web接口，

　　2、将采集的连接进行静态分析，

　　3、保存到本地

　　4、进行互联网抓包抓取

　　云端自动采集确实挺麻烦，不推荐，开发成本极高，采集效率比较差，不如直接在现成的网站站内进行采集，转发网站站内采集信息。云采集有现成的网站站，可以在里面通过爬虫采集，然后再发布到云采集平台，也不影响平台本身运营。可以去发布平台找抓包代理商帮忙，很多合作方的，我们在里面采集效率比较高，花费用比较少，找一个好的代理商比如：采贝云。

　　本人做的是面向中小型网站的自动化采集工作，好像这块不太熟悉，既然问到这个问题我就说说我的思路吧，希望对你有帮助，自动化采集的方式很多，有基于爬虫抓取的，有基于url规则的，还有自定义分析shell命令的，你首先需要找到需要自动化采集的网站，先在搜索引擎上查找下这个网站需要自动化采集些什么，需要哪些文章内容，然后选择爬虫采集模式，从搜索结果中收集信息，这个工作目前很多平台都可以实现（我用的是采贝云），还有的是基于url规则的，有的是基于链接规则，这个就不细说了。

　　接下来就是在采贝云平台上设置定时程序并发量了，希望能够帮到你，手机答题，没有详细教程，但是有一点是可以肯定的，就是开发一个程序并不难，难的是如何抓取网站内容。