采集自动组合(采集自动转码大多是依赖大数据平台的重要性)

　　采集自动组合(采集自动转码大多是依赖大数据平台的重要性)

　　采集自动组合，就是平时说的页眉页脚采集，文章内容的采集，可以把采集下来的文章数据转化为html格式，支持chrome，firefox，safari等浏览器浏览。可以做到一键采集文章内容，批量改标题文字，多篇文章批量删除，数据分析图表美化等功能，采集下载后可以生成图片格式，超级方便。

　　个人认为单纯的采集在效率上比较低，前期还需要自己去设置目标网站站点内容的抓取。而且现在数据都是具有冗余性的，当你需要获取多条数据时，就要考虑这条数据的生命周期，需要做取舍。之前有考虑过一篇文章的抓取，用自动档上传文章到后台的时候，利用自动转码，快速从网页抓取大量的文章内容，然后在批量下载到后台。但这样弄下来，在抓取效率上还是比较低的。

　　而且这些自动转码大多是依赖大数据平台比如：我要抓取某类的数据时，对应的网站内容已经抓取过了，现在从我要抓取类别的网站抓取文章，可能费用会高一些，效率会低一些。

　　采集网站内的内容，基本上是百度、天涯社区等几个大平台，每天上百万条。常见的就是转码合并网站，如天涯、豆瓣、知乎等大家熟知的社区网站。如果采集额外的网站，可以用requests+爬虫selenium来完成数据抓取。还有就是数据持久化存储，如腾讯云elasticsearch这些。