文章采集软件(文章采集软件比如开源的scrapy什么的，可以应用在文本数据采集上)

　　文章采集软件(文章采集软件比如开源的scrapy什么的，可以应用在文本数据采集上)

　　文章采集软件比如开源的scrapy什么的，可以应用在文本数据采集上。至于数据预处理、存储的问题，这个数据量不是很大的话就先不要考虑了，后面采集的各个数据源质量和速度都上去了，这些可以后期再去做。如果是新手，又怕麻烦的话，建议从爬虫应用开始做。

　　你做的这些完全没问题，只要你能做到有限分辨率的对齐已经效果好到飞起的cnn卷积过滤网。你可以看看那些读写比分辨率差异比大的识别数据不清楚，比如在大型实时室内室外雾霾等问题等情况下。就算你一分辨率一分辨率地换，实际效果也能秒杀他。

　　目前可以使用scrapy框架构建爬虫，其实问题在于如何进行发起爬虫请求，由于采集手段不同，发起请求也不一样，你想要保证，一个网站同时开启，会爬出来许多内容，让人懵逼，现在对于cookie，session比较难搞，但是！！这是后话，你还是先尝试爬一下试试，或者用采集软件比如采集豆瓣电影top250等等，这些都是大家很熟悉的方法，但是对于初学者，你还是建议先熟悉常见的请求。

　　或者使用爬虫。熟悉了这些，再去尝试异步请求的方法，加上上面的原因，爬取数据，要比采集难的多。不能麻痹自己。