推荐程序•Octoparse云采集功能云功能

　　推荐程序•Octoparse云采集功能云功能

　　推荐程序

　　•Octoparse [1]-优采云

　　这不仅易于操作，功能完善，而且可以在短时间内获得大量数据。特别推荐并高度赞扬Octoparse的cloud 采集功能。

　　•Cyotek WebCopy [2]

　　WebCopy是免费的网站采集器，可让您将本地或完整的网站复制到硬盘上以供离线阅读。

　　它将扫描指定的网站，然后将网站的内容下载到您的硬盘驱动器，并自动将链接重新映射到网站中的图像和其他网页，以匹配其本地路径。包括网站的特定部分。其他选项也可用，例如下载要收录在副本中的URL，但不对其进行爬网。

　　您可以使用许多设置来配置网站的检索方法。除了上述规则和表格，您还可以配置域别名，用户代理字符串，默认文档等。

　　但是，WebCopy不包括虚拟DOM或任何形式的JavaScript解析。如果网站广泛使用JavaScript进行操作，并且由于使用JavaScript动态生成链接而无法发现所有网站，则WebCopy不太可能创建真实副本。

　　•Httrack [3]作为网站爬虫免费软件，HTTrack提供的功能非常适合将整个网站从Internet下载到您的PC。它提供适用于Windows，Linux，Sun Solaris和其他Unix系统的版本。它可以将一个站点或多个站点镜像在一起（使用共享链接）。在“设置”下下载网页时，可以决定要同时打开多少个连接。您可以从整个目录中获取照片，文件，HTML代码，更新当前镜像网站并恢复中断的下载。

　　此外，HTTTrack还提供代理支持以最大程度地提高速度并提供可选的身份验证。

　　HTTrack用作命令行程序，或通过Shell专用（捕获）或专业（在线Web镜像）使用。有了这句话，HTTrack应该是首选，并且具有高级编程技能的人会更多地使用它。

　　摘要

　　简而言之，我上面提到的采集器可以满足大多数用户的基本搜寻需求，并且这些工具各自的功能仍然存在许多差异，因为其中许多采集器工具为用户提供了更高级的内置配置工具。因此，在使用前，请确保完全了解采集器提供的帮助信息。

　　参考

　　[1] Octoparse：[2] Cyotek WebCopy：[3] Httrack：