网页源代码抓取工具(手动做各种各样的7个高级工具，你知道吗？)

　　网页源代码抓取工具(手动做各种各样的7个高级工具，你知道吗？)

　　本文包括为初学者和小型项目设计的简单工具，以及需要一定数量编码知识并专为更大和更困难的任务而设计的高级工具。

　　采集电子邮件地址、竞争分析、网站 检查、定价分析和*敏*感*词*采集——这些可能只是您需要从 HTML 文档中提取文本和其他数据的几个原因。不幸的是，手动执行此操作既痛苦又低效，在某些情况下甚至是不可能的。幸运的是，现在有多种工具可以满足这些要求。以下 7 种工具的范围从为初学者和小型项目设计的非常简单的工具到需要一定数量编码知识并为更大和更困难的任务而设计的高级工具。

　　Iconico HTML 文本提取器（Iconico HTML 文本提取器）

　　想象一下，你正在浏览一个竞争对手的网站，然后你想提取文本内容，或者你想看到页面背后的HTML代码。不幸的是，您发现右侧按钮被禁用，复制和粘贴也是如此。许多 Web 开发人员现在正在采取措施禁止查看源代码或锁定他们的页面。幸运的是，Iconico 有一个 HTML 文本提取器，您可以使用它来绕过所有这些限制，而且该产品非常易于使用。可以高亮复制文本，提取功能的操作就像上网一样简单。

　　路径

　　UIPath 有一组自动化处理工具，其中包括一个 Web 内容爬行实用程序。要使用该工具并获取您需要的几乎所有数据非常简单——只需打开页面，转到工具中的设计菜单，然后单击“网页抓取”。除了网页抓取工具，屏幕抓取工具还允许您从网页中提取任何内容。使用这两个工具意味着您可以从任何网页中获取文本、表格数据和其他相关信息。

　　莫曾达

　　Mozenda 允许用户提取网络数据并将该信息导出到各种智能商业工具。它不仅可以提取文本内容，还可以从PDF文件中提取图像、文件和内容。然后，您可以将这些数据导出到 XML 文件、CSV 文件、JSON 或您可以选择使用 API。提取和导出数据后，您可以使用 BI 工具进行分析和报告。

　　HTML到文本

　　这个在线工具可以从 HTML 源代码中提取文本，甚至只是一个 URL。您需要做的就是复制和粘贴、提供 URL 或上传文件。单击选项按钮，让工具知道您需要的输出格式和其他一些详细信息，然后单击转换，您将获得所需的文本信息。

　　（有一个类似的工具——）

　　八爪鱼

　　Octoparse 的特点是它提供了一个“点击”的用户界面。即使没有编码知识的用户也可以从 网站 中提取数据并将其发送为各种文件格式。该工具包括从页面中提取电子邮件地址和从工作板中提取工作列表等功能。本工具适用于动静态网页和云端采集（采集任务关闭也可以采集数据）。它提供了免费版，应该可以满足大部分使用场景，而付费版功能更加丰富。

　　如果您爬取网站 进行竞争分析，您可能会因为此活动而被禁止。因为 Octoparse 收录一个循环识别您的 IP 地址的功能，并可以阻止您通过您的 IP 使用它。

　　刮痧

　　这个免费的开源工具使用网络爬虫从 网站 中提取信息。使用此工具需要一些高级技能和编码知识。但是，如果您愿意按照自己的方式学习使用它，Scrapy 是抓取大型 Web 项目的理想选择。CareerBuilder和其他主要品牌已经使用了这个工具。因为它是一个开源工具，它为用户提供了很多很好的社区支持。

　　和服

　　Kimono 是一款免费工具，可从网页中获取非结构化数据，并将信息提取为带有 XML 文件的结构化格式。该工具可以交互使用，也可以创建计划作业以在特定时间提取所需的数据。您可以从搜索引擎结果、网页甚至幻灯片演示中提取数据。最重要的是，当您设置每个工作流时，Kimono 将创建一个 API。这意味着当您返回 网站 提取更多数据时，您不必重新发明轮子。

　　综上所述

　　如果您遇到需要从一个或多个网页中提取非结构化数据的任务，那么此列表中至少有一个工具应收录您需要的解决方案。无论您的预期价格是多少，您都应该能够找到所需的工具。清楚地了解并决定哪个最适合您。您知道，大数据在蓬勃发展的业务发展中的重要性，以及采集所需信息的能力对您来说也至关重要。

　　原文来源：Elaina Meiser 翻译来源：开源中国/总监