超值资料:掘金移动爬虫我推荐一个工具：wechaturlwrapper和java开发版

　　超值资料:掘金移动爬虫我推荐一个工具：wechaturlwrapper和java开发版

　　网页数据抓取软件这个我这边推荐一个叫做xpathbot的工具，可以抓取网页内容，比如上面我们抓取了这个下载视频的网站：，接下来也会抓取更多的网页内容。

　　这个要看你希望用什么软件吧如果是抓取百度产品信息的话推荐使用spreadfx和elasticsearch这两个网站有一定基础后可以直接用ipfs+http+webshell的方式抓取，我们在阿里云部署的elasticsearch客户端数据采集模块可以使用ipfs和webshell的方式抓取。

　　网页爬虫我推荐一个工具：wechaturlwrapper这是一个网页抓取工具，支持很多国内的网站抓取，不像目前市面上很多抓取器所提供的页面源码需要很多繁琐的修改。wechaturlwrapper需要部署goagent才能够抓取国内网站的链接，比如：新浪、腾讯、知乎等等需要搭建goagent实际效果图和使用截图如下：。

　　我最近在挖掘有没有其他好用的网页爬虫，目前发现以下网站，

　　国内的话我用的是掘金移动爬虫，*敏*感*词*移动爬虫这个是国内内部的一些爬虫项目，包括我们也在使用。每个项目我觉得都很实用，迭代较快，项目内容丰富，都是做架构级别的开发，属于国内最专业的爬虫开发库。