文章采集组合工具(文章采集组合工具，百度，github，leancloud，python！)

　　文章采集组合工具(文章采集组合工具，百度，github，leancloud，python！)

　　文章采集组合工具，百度，github，leancloud。相关阅读：abecde/robotskitchen获取官网数据并分析报告以获取更多ai相关信息，

　　一般都是各大主流平台采集，包括公众号，个人站点等等。常用的采集工具有：adbug，appscan，appf01，凤凰ai，appcrawl之类。可以尝试写爬虫程序采集下国内的主流平台，包括头条，百家，大鱼，企鹅，新浪等等，可以采集的资源量很大，比如头条的数据可以从大鱼号自己做个爬虫采集，而在百家号如果在头条号上放个爬虫采集，也是会比较方便的。

　　如果再要追求一些高性能的功能，那么使用lamp是比较方便的：phpstorm，shellmonkey，solrshell，nginx，perl，python。但是这些东西是付费的，其实一般人也用不起。还有需要注意的是爬虫调度算法：分步定时，动态协议，schema（python），memcache，redis等等。

　　这个一般就可以自己优化下然后在开发pythonapi的时候就弄好了。还有一些比较常用的技术：kafka+zookeeper，hadoop+hive+mapreduce，raft协议+faulttolerance等等。这些只能说是基础技术，或者可以说是一些比较容易搞定的技术，说实话我觉得没有特别大的提升空间。

　　当然，如果能采到那种大量的数据，是能够有很多用处的。比如我现在的爬虫程序，就有几百万的文章源。就我现在所知，很多平台（官网+公众号+个人站点）的文章质量都是参差不齐的，可能一些高质量内容都是从前一些比较好的公众号转发来的，但是劣质内容也一样是存在的。比如我今天就发现了一些好笑的事。所以我现在尝试把爬虫程序移植到我正在使用的笔记软件里面去了（公众号：胡伟洋learning）。

　　能爬虫的地方有很多，但是我觉得这些平台的可读性差一些，单篇文章下载过来比较费劲，还有可能会被大量的广告影响。所以我通常不会去采什么。所以如果你要做视频爬虫这类的，我觉得比较好的软件有：leancloud，hmrtadago，swfcodesz。