“云智时代”翻译：ProxyCrawl使用ProxyCrawlAPI

　　“云智时代”翻译：ProxyCrawl使用ProxyCrawlAPI

　　Internet上不断涌现新信息，新设计模式和大量数据。将该数据组织到唯一的库中并不容易。但是，有许多出色的Web爬网工具可用。本文转载自《今日致词》，由《云志时报》 文章翻译，对这方面有需要的学生有帮助。

　　ProxyCrawl

　　使用代理爬网API，您可以爬网Web上的任何网站 /平台。具有代理支持，验证码绕过以及基于动态内容抓取JavaScript页面的优势。

　　它可以免费获得1,000个请求，足以在复杂的内容页面中探索Proxy Crawl的强大功能。

　　Scrapy

　　Scrapy是一个开放源代码项目，为爬网网页提供支持。 Scrapy爬网框架在从网站和网页中提取数据方面做得非常好。

　　最重要的是，Scrapy可用于挖掘数据，监视数据模式以及对大型任务执行自动测试。强大的功能可以与ProxyCrawl完美集成。使用Scrapy，由于具有内置工具，因此选择内容源（HTML和XML）非常容易。您还可以使用Scrapy API扩展提供的功能。

　　抢

　　Grab是用于创建自定义Web爬网规则集的基于Python的框架。使用Grab，您可以为小型个人项目创建爬网机制，还可以构建大型动态爬网任务，这些任务可以同时扩展到数百万个页面。

　　内置API提供了一种执行网络请求的方法，并且还可以处理已删除的内容。 Grab提供的另一个API称为Spider。使用Spider API，您可以使用自定义类创建异步抓取工具。

　　雪貂

　　Ferret是一种相当新的Web抓取工具，在开源社区中获得了相当大的关注。 Ferret的目标是提供更简洁的客户端爬网解决方案。例如，允许开发人员编写不必依赖于应用程序状态的采集器。

　　此外，雪貂使用自定义的声明性语言来避免构建系统的复杂性。相反，您可以编写严格的规则以从任何站点抓取数据。

　　X射线

　　由于X-Ray和Osmosis等库的可用性，使用Node.js爬网非常容易。

　　Diffbot

　　Diffbot是市场上的新玩家。您甚至不必编写太多代码，因为Diffbot的AI算法可以在无需手动说明的情况下从网站页面解密结构化数据。

　　PhantomJS Cloud

　　PhantomJS Cloud是PhantomJS浏览器的SaaS替代产品。使用PhantomJS Cloud，您可以直接从网页内部获取数据，还可以生成可视文件，并将页面显示为PDF文档。

　　PhantomJS本身是一个浏览器，这意味着您可以像浏览器一样加载和执行页面资源。如果您手头的任务需要获取许多基于JavaScript的网站，则此功能特别有用。

　　注：《云芝时报》的翻译不完整。如果您有兴趣，请阅读原创文本：

　　2019年最佳Web抓取工具