自动采集编写采集脚本实现采集weibo的方法(图)

　　自动采集编写采集脚本实现采集weibo的方法(图)

　　自动采集编写采集脚本实现采集weibo的方法

　　自动采集：多种自动采集方式+大数据分析，华为云机器实现的自动搜索以及sdk的集成。最后实现的效果是，完成一次采集，每隔一段时间重定向页面，检查是否有新的内容，可以持续采集很多次，极大的提高工作效率。

　　想起来网页全自动刷新chome全自动刷新-poweredbydiscuz!网页自动刷新-poweredbydiscuz!-html5-player-browser

　　采集一般都是使用第三方工具吧

　　前面也提到了，有xx机器人，机器人+js也可以实现的我提供的数据不多，也有很多不准确之处，给题主提供两个思路1。如果有页面上的链接需要爬取，就在浏览器中使用chromeextensions插件，这种插件一般是可以实现动态调整网速的，甚至在访问页面不通的情况下保持不错的速度2。如果页面有各种文件，这里推荐idm插件，idm一般是会判断文件加载是否成功，然后获取页面，然后保存到last。xml。

　　这个问题是有多不知道数据来源，

　　大数据互联网联盟发布的十大网站采集工具请参考一下

　　可以试试单机采集直接采取阿里云公共api，