网页抓取数据 免费(优采云推荐云采集功能)

　　网页抓取数据 免费(优采云推荐云采集功能)

　　推荐计划

　　•Octoparse[1]--优采云

　　这不仅操作简单，功能齐全，而且能够在短时间内获取大量数据。尤其是Octoparse的cloud采集功能，值得推荐和好评。

　　•Cyotek WebCopy[2]

　　WebCopy 是一个免费的网站爬虫，它允许您将本地部分或完整的网站复制到您的硬盘驱动器以供离线阅读。

　　它会扫描指定的网站，然后将网站内容下载到你的硬盘，并自动重新映射到网站中的图片和其他网页等资源的链接，以匹配其本地Path，不包括网站 的一部分。其他选项也可用，例如下载要收录在副本中的 URL，但不抓取它们。

　　您可以使用许多设置来配置如何抓取 网站，除了上面提到的规则和表单之外，您还可以配置域别名、用户代理字符串、默认文档等。

　　但是，WebCopy 不包括虚拟 DOM 或任何形式的 JavaScript 解析。如果一个 网站 大量使用 JavaScript 操作，如果由于 JavaScript 用于动态生成链接而无法发现所有 网站 ，则 WebCopy 不太可能进行真正的复制。

　　• Httrack[3] 作为一个 网站 爬虫免费软件，HTTrack 提供了理想的功能，可以将整个 网站 从 Internet 下载到您的 PC。它提供适用于 Windows、Linux、Sun Solaris 和其他 Unix 系统的版本。它可以镜像一个站点或多个站点（使用共享链接）。您可以在“设置选项”下决定下载网页时同时打开多少个连接。您可以从整个目录中抓取照片、文件、HTML 代码，更新当前镜像 网站 并恢复中断的下载。

　　此外，HTTTrack 提供代理支持以最大限度地提高速度和可选的身份验证。

　　HTTrack 用作命令行程序，或通过外壳供私人（捕获）或专业（在线网络镜像）使用。话虽如此，具有高级编程技能的人应该更喜欢和更多地使用 HTTrack

　　概括

　　综上所述，我上面提到的爬虫可以满足大部分用户的基本爬取需求，而各个工具的功能还是有很多区别的，因为这些爬虫工具很多都为用户提供了更高级的内置配置工具。因此，请务必在使用前充分了解爬虫提供的帮助信息。

　　参考

　　[1] 八度解析：/下载

　　[2] Cyotek WebCopy：/cyotek-webcopy/downloads

　　[3] 跟踪：/