感觉python对内容采集好像用处不大，不过tagul这样的自动生成目录结构的

　　感觉python对内容采集好像用处不大，不过tagul这样的自动生成目录结构的

　　内容采集系统用python开发

　　ansible采集。感觉python对内容采集好像用处不大，不过tagul这样的自动生成目录结构的，可以用。其他的，一个agent得会编程吧，封装个爬虫，urllib2.python实现，

　　内容采集和python关系不大（开发、维护）仅仅与开发能力有关

　　做爬虫又不需要会采集。

　　用lxml试试

　　有,看看lxml爬虫

　　fiddler

　　crossover

　　redis，

　　爬虫经常需要的下载器，fiddler，scrapy，

　　自动化测试用python

　　你说的应该是多线程的爬虫吧？原来找工作很多公司都要求全栈工程师，要求必须熟练掌握java，都是java的。因为没有掌握这个，痛苦的一个星期了。就直接放弃了。

　　爬虫的话强烈推荐java+python

　　python，现在是大趋势。

　　随便贴两个网站，连接地址在下面，不完整信息抓取可以详细参考作者：hanshiwui另外这篇文章是关于爬虫的，

　　讲一下我的经历吧：本人用了半年时间，用了几个爬虫，其中也包括内容采集，对各个爬虫原理做了几天的学习了解，现在说说做爬虫的感受，主要爬虫功能：根据公司要求对文章字数，关键词，评论数量，网站列表等等，创建特殊字段，我做爬虫爬取的，有的是有个最基本的聚合网页，有的对特殊字段有要求，聚合网页就是只抓取特定字段的网页，一般对一些字段比较少的文章，我就采用聚合的方式，操作也简单，比如你有这篇文章的大标题，小标题，字数，评论数量等等。为了方便大家，大神们如果有不同的见解，尽管喷哈。=。