官方数据：推荐5个目前最好的网页数据采集神器

　　官方数据：推荐5个目前最好的网页数据采集神器

　　在Internet +数据+人工智能时代，对Web数据的需求越来越多采集，并且有很多情况。 Web数据采集在企业中的实际应用也在显着增加。在实际工作中，可能需要获取旅行的飞行时间或Airbnb清单网站，或者可能需要采集数据（例如来自不同电子商务的价格表网站）进行价格比较。在许多情况下，它也超出了个人需求，例如采集用于机器学习的培训和测试数据集。这是网页数据采集发挥作用的地方。

　　在这里，我们将探索最好的网络数据采集工具。

　　1.木偶

　　Puppeteer是Google发布的“最终”重大举措。它不仅是网页数据采集工具，而且实际上是Node库。它提供了类似于Selenium Webdriver的高级API的高级API。默认的它通过DevTools协议控制无界面的Chrome，也可以通过配置用于界面的Chrome。

　　使用木偶，我们可以做以下事情：

　　＃用于生成网页的屏幕截图或PDF文件。

　　＃用于创建新的自动化测试环境。

　　＃用于捕获网页的时间轴轨迹以诊断性能问题。

　　＃抓取SPA（单页应用程序）并生成内容，然后再渲染网页（服务器端渲染（SSR））。

　　API与自然语言一样简洁明了，无需回调，只需几行代码就可以完成我们需要的一切。

　　2.Cheerio

　　Cheerio是一个标记解析库，提供用于解析结果数据（例如服务器接口返回的数据）结构的API。关于Cheerio最好的事情是它不会像Web浏览器那样解释结果数据。但是，它既不会产生视觉效果，也不会加载外部资源或请求CSS。如果实际项目中需要这些功能，则需要考虑PhantomJS之类的项目。

　　值得注意的是，在Cheerio中使用Node.js 采集数据要容易得多。

　　例如采集：

　　3.请求承诺

　　Request-Promise是npm库的变体，它通过自动浏览器提供了更快的解决方案。如果内容不是动态呈现的，则可以使用此网页数据采集工具。如果要处理的网站具有身份验证系统，则它可能是更高级的解决方案。如果将其与Puppeteer进行比较，则其用法恰恰相反。

　　4.噩梦

　　Nightmare是高级的浏览器自动化库，它以浏览器的形式运行Electron程序。 Electron（）是使用JavaScript，HTML和CSS创建本机程序的框架。它与Mac，Windows和Linux兼容。它可以为三个平台构建桌面应用程序。它负责更困难的部分。我们只需要专注于应用程序的核心[Electron刚刚加入OpenJS Foundation]。噩梦是精简版，或者可以说是Puppeteer的简化版。它具有可提供更大灵活性的插件，包括对文件下载的支持。

　　噩梦的目标是公开一些似乎是同步的方法调用，例如goto，type和click，而不是深度嵌套的回调。它最初旨在在不使用API​​的情况下自动执行站点之间的任务，但最常用于UI测试和数据采集。

　　您还可以运行摩卡测试。

　　5.渗透

　　Osmosis是HTML / XML解析器和网页数据采集工具。它用Node.js编写，并与CSS3 / xpath选择器和轻量级HTTP包装器打包在一起。如果将其与Cheerio，jQuery和jsdom进行比较，则没有明显的依赖性。

　　示例代码如下：

　　[202001]