自动采集数据(自动采集数据还不如有一定数据的人开发第三方平台)

　　自动采集数据(自动采集数据还不如有一定数据的人开发第三方平台)

　　自动采集数据还不如有一定数据的人开发第三方平台不用费力精力去改动不想改动的功能如何提高自动采集的效率快速判断是否成功？比如批量采集某个搜索词相关网站的文章图片等

　　数据源只是辅助，主要还是采集的时候需要提取出这个网站的所有新闻源公开内容（例如：百度新闻）。

　　自动采集好，太慢，实时处理效率高，话说网站速度哪怕再快，

　　仅针对搜索引擎来说，要提高效率的话必须大数据云采集，

　　一般有钱人都用selenium+okhttp或者python自带的selenium吧。没钱的那就用传统的爬虫了。开发一个python爬虫代码量差不多3万行，花上个十几二十天写的一个爬虫，

　　能！通过一个极短的时间预估用户行为的发生？-talysichun的回答

　　关键是要搞懂技术底层架构，特别是你的问题所在，很多东西没有讲清楚会搞的自己没底。抓取的性能差，有几个关键点：爬虫技术架构——缓存设计，请求模型，重要方法复用，压缩内存大小等等。爬虫框架——传统scrapy，requests都挺不错，还有很多，主要是合理配置路由和高可用性设计。正则表达式，json，parse.except语句等等。

　　抓取接口设计——url路由，用哪个python语言解析，爬虫代码里面可以加入爬虫回调。数据处理模块化——先要整体上把数据结构设计好。从算法的角度看，爬虫里面，很多爬虫都只解析json数据而已，python一些库也会把json读取库对接到其中使用。但实际用户发出的还是list或者txt。也就是说，简单的解析过程，不管你用scrapy，还是requests都能实现。

　　第二步是要有能力设计和发现问题。下图就是一个简单python抓取商品的工作流图。如果有兴趣再看看更详细的。如何提高爬虫抓取效率？-talysichun的回答。