站群自动采集器(nutch站群自动采集器效果很好，语法挺复杂的)

　　站群自动采集器(nutch站群自动采集器效果很好，语法挺复杂的)

　　站群自动采集器，站群自动采集器效果很好。请看我之前专门写的一篇文章，

　　nutch用了十年了，我的感觉就是nutch写起来比较简单，但是语法挺复杂的。我写java采集这块写了5、6年吧，写java写了8、9年，整个采集方面开发经验其实真的就是那些东西写熟练了，成本低很多。

　　百度有很多类似的解决方案，此处不做评论。但有一点可以做出推荐，就是直接对其爬虫的配置做适当修改，比如增加xpath提取功能，这样大幅度降低nutch的使用门槛。直接针对你网站抓取目标文章做优化。另外：千万不要去专门学什么xx代理池。具体玩法我不清楚，不做评论。

　　建议你先去看看nutch官方的文档：xpathsandextensions,debuggingandinstallingnutch，虽然并不是最新版本。熟悉了其核心scrapy模块后，用nutch做站群采集，其实是非常方便的。我曾经就为同事做过一个非常简单的站群采集，分享一下代码：大家看看这个代码就知道效果如何：。

　　应该可以。跟我现在用的nutch是一样的应用，只不过我个人认为lambda好像跟当下很多搜索引擎库不兼容。要尽快转手，新浪博客还是比较流行的。

　　我也在寻找这种问题。我在找爬虫代理池的方案，推荐本人开发的，叫爬虫采集王：scrapy+deck+xpath（lambda表达式和localeapi）还有直接抓yahoojapan，刚成立，请参考文档中的三种抓取模式。