互联网+数据+人工智能时代最好的网页数据采集工具

　　互联网+数据+人工智能时代最好的网页数据采集工具

　　在互联网+数据+人工智能时代，对Web数据的需求越来越多采集，并且有很多情况。 Web数据采集在企业中的实际应用也在显着增加。在实际工作中，可能有必要获取旅行的飞行时间或Airbnb清单网站，或者可能有必要采集数据（例如来自不同电子商务的价格表网站）进行价格比较。在许多情况下，它也超出了个人需求，例如采集用于机器学习的培训和测试数据集。这是网页数据采集发挥作用的地方。

　　在这里，我们将探索最好的Web数据采集工具。

　　1.木偶

　　Puppeteer是Google发布的“终极”大把戏。它不仅是一个网页数据采集工具，而且实际上是一个节点库。默认情况下，它提供了与Selenium Webdriver的高级API相似的高级API。无界面的Chrome通过DevTools协议进行控制，也可以通过配置通过接口用于Chrome。

　　使用Puppeteer，我们可以做以下事情：

　　＃用于生成网页或PDF文件的屏幕截图。

　　＃用于创建新的自动化测试环境。

　　＃用于捕获网页的时间轴轨迹以诊断性能问题。

　　＃抓取SPA（单页应用程序）并生成内容，然后再渲染网页（服务器端渲染（SSR））。

　　API就像自然语言一样简洁明了，没有回调，只需几行代码就可以完成我们需要的一切。

　　2. Cheerio

　　Cheerio是一个标记解析库，它提供一个API来分析结果数据（例如服务器接口返回的数据）的结构。关于Cheerio最好的事情是它不会像Web浏览器那样解释结果数据。但是，它既不会产生视觉效果，也不会加载外部资源或请求CSS。如果实际项目中需要这些功能，则需要考虑使用PhantomJS之类的项目。

　　值得注意的是，在Cheerio中使用Node.js 采集数据要容易得多。

　　例如采集：

　　3.请求承诺

　　Request-Promise是npm库的变体，它通过自动浏览器提供了更快的解决方案。当内容不是动态呈现时，可以使用此网页数据采集工具。如果要处理的网站具有身份验证系统，则它可能是更高级的解决方案。如果将其与Puppeteer进行比较，则其用法恰恰相反。

　　4.噩梦

　　Nightmare是一个高级浏览器自动化库，它以浏览器的形式运行Electron程序。 Electron（）是使用JavaScript，HTML和CSS创建本机程序的框架。它与Mac，Windows和Linux兼容。它可以在三个平台上构建桌面应用程序。它负责更困难的部分。我们只需要专注于应用程序的核心[电子才刚刚加入OpenJS基金会]。噩梦是精简版，或者可以说是Puppeteer的简化版。它具有可提供更大灵活性的插件，包括对文件下载的支持。

　　Nightmare的目标是公开一些似乎是同步的方法调用，例如goto，type和click，而不是深度嵌套的回调。它最初旨在在没有api的情况下自动执行站点之间的任务，但最常用于UI测试和数据采集。

　　您还可以运行摩卡测试。

　　5.渗透

　　Osmosis是HTML / XML解析器和网页数据采集工具。它使用Node.js编写，并与CSS3 / xpath选择器和轻量级HTTP包装器打包在一起。如果将其与Cheerio，jQuery和jsdom进行比较，则它没有明显的依赖性。

　　示例代码如下：

　　[202001]