解决方案:最新采集器包括哪些模块？-苏州安嘉平台

　　解决方案:最新采集器包括哪些模块？-苏州安嘉平台

　　最新采集器包括windows和mac平台的allinone可以看看

　　使用python有许多模块可以用来抓取网站。allinone是百度前python开发者，豆瓣python自然排名第一的作者（现已离职）的团队写的python抓取器，可以作为开发语言使用。

　　从这两天开始，他们家只要专业的工具都免费，数据就免费共享出来了，这个我比较欣赏，免费使用，

　　目前python使用最广泛的是flask和django。当然也有其他比如numpy，pandas等。前端的还有requests，urllib等。

　　想抓取，然后分析，这两个抓取工具很好的工具。如果是结合写一个程序，那就是flask了。

　　数据抓取，目前用得最多的是爬虫抓取。简单讲一下以scrapy为代表的爬虫框架，毕竟也是公认最好的框架。数据抓取，是要我们用到模块的地方较多，而且有很多个模块可以用到。flask，scrapy，pyspider之类。这些框架有一个共同的特点就是，主要由python编写。在web开发中，模块重要吗？其实不是很重要。

　　把我们常用的基本模块写好就可以了。要学习还得依靠engine。web框架中，目前常用的有：python自带的flask模块（注意不是flask），scrapy，requests，urllib2等模块。如果有时间的话，应该把这些框架都学一遍。我建议的学习顺序是flask，python自带框架flask，scrapy，pyspider，其他，就看个人的喜好。

　　我个人还是推荐，从scrapy入手，因为好写一些。你想用scrapy写爬虫，直接调用scrapy内置的scrapystartparser，可以直接发出request。