抓取网页数据工具(互联网刚兴起的时候，数据索引是个大问题)

　　抓取网页数据工具(互联网刚兴起的时候，数据索引是个大问题)

　　1、互联网刚刚兴起时，数据索引是一个大问题。当时，雅虎的分类页面一度非常热门

　　2、随着互联网上数据量的不断增加，谷歌和百度等搜索引擎正在熊熊燃烧。在这个阶段，很少有技术比搜索引擎更受欢迎，分词技术也一团糟。然后，nutch和其他开源搜索引擎诞生了，这让人们一见钟情！许多人和公司试图将其用于商业目的。但这些东西都是牛叉，使用起来并不总是那么顺畅。首先，它不是很稳定；第二，它太复杂了。很难进行二次开发以满足自身需求

　　3、由于通用搜索引擎不太方便，所以让它更简单、更有针对性。所以爬虫技术的兴起，酷新闻就是其中比较成功的一种。依靠它的技术，他后来建造了99间房间，然后一路登上了今天的头条新闻

　　4、随着越来越多的人参与互联网，许多人确实希望从互联网上捕获数据，因为他们的需求不同，但他们希望更简单，开发成本低，速度更快。出现了很多开源工具。Curl已经被大量使用了一段时间，诸如htmlcxx和Htmlparser等HTML解析工具也被广泛使用优采云只是由傻瓜式构成，没有开发功能。它只能在配置后自动运行

　　@到目前为止，特别是随着移动互联网的兴起，由于各种需求，对数据采集的需求依然强劲。用于数据捕获的在线工具、开源代码、抓取很多、jsoup、spyner等。然而，数据捕获仍然有点困难，原因有四：一、每个公司都有不同的需求，这使得商业化非常困难二、WEB页面本身非常复杂和混乱，JavaScript使得爬行无法控制三、大多数工具（开源库）都有相当大的局限性，扩展不方便，数据输出不稳定，不适合基于开源库或工具开发的严肃商业应用四、来完成自己的需求，仍然存在一些困难和大量工作量

　　@因此，一个好的抓取工具（开源库）应该具有以下特性：一、simple。系统不应该太复杂，界面应该一目了然，以降低二、power的开发成本。最好捕获您可以在web页面上看到的数据，包括JavaScript输出。数据捕获的很大一部分是寻找数据。例如，没有地理坐标数据，因此需要花费大量精力才能在三、方便时完成这些数据。最好提供可以控制的开发库，即如何捕获和部署，而不是被困在整个系统四、flexible中。它可以快速实现各种需求，即可以快速捕获简单数据或构建更复杂的数据应用程序五、stable。可以输出稳定的数据，不需要每天调整bug和查找数据。当需求有点复杂，数据量有点大的时候，需要进行大量的二次开发，耗费大量的人力和时间六、可以集成。借助现有的技术力量七、Control，通过开发环境，它可以快速建立数据系统。企业应用是长期积累的。如果数据和流程掌握在第三方手中，则可控性差，对需求变化的响应慢，风险高八、1。它可以提供一些特性来帮助开发人员实现结构化数据的提取和关联，从而避免为每个页面编写数据解析器

　　很多公司在数据采集方面投入了大量精力，但效果往往不是很好，可持续发展能力也相对较差。这主要是由于基本工具选择不当。因此，让我们整理一些可用的数据捕获工具和开源库。比较它们的优缺点，为开发人员提供参考

　　一、系统等级：

　　这些工具或开源库提供了一个完整的系统，包括数据捕获、调度、存储和检索

　　纳奇：

　　语言：Java

　　官方网站：

　　Nutch是一个用Java实现的开源搜索引擎。它提供全文搜索、网络爬虫、页面调度、数据存储等功能。它几乎可以看作是一个完整的通用搜索引擎。它适用于页面大小较大（数十亿）且只有文本索引数据（很少是结构化数据）的应用程序。Nutch有利于研究

　　Heritrix：

　　语言：Java

　　官方网站：

　　简介：heritrix是一个开源的网络爬虫系统。用户可以使用它从互联网上获取所需的资源。其最大的特点是具有良好的可扩展性，便于用户实现自己的爬网逻辑。Heritrix集成了索引调度、页面解析和数据存储

　　其他包括dataparksearch和web harvest

　　网络类：

　　卷曲

　　语言：C（但它也支持命令行和其他语言绑定）

　　官方网站：

　　简介：curl是一个古老的HTTP网络库（同时支持FTP和其他协议）。Curl支持丰富的网络功能，包括SSL、cookie、表单等。它是一个广泛使用的网络库。卷曲有弹性，但有点复杂。提供了数据下载，但不支持HTML解析。它通常需要与其他库一起使用

　　汤

　　语言：C

　　官方网站：

　　简介：soup是另一个HTTP网络库，依赖glib，功能强大稳定。然而，国内文献很少

　　浏览器类：

　　这些工具通常基于浏览器（如Firefox）进行扩展。由于浏览器的强大功能，他们可以采集获得更完整的数据，尤其是JavaScript输出的数据。但应用范围稍有局限，扩展不方便，数据量大时难以适应

　　ParseHub：

　　语言：Firefox扩展

　　官方网站：

　　简介：parsehub是基于Firefox的页面分析工具，可以支持更复杂的功能，包括页面结构分析

　　谷歌搜索者集合搜索

　　语言：Firefox扩展

　　官方网站：

　　导言：Gooseek也是基于Firefox的扩展。它支持更复杂的功能，包括索引图片、计时采集、可视化编程等

　　采集终端等级：

　　此类工具一般支持Windows图形界面，基本上不需要编写代码。更典型的数据可以通过配置规则来实现采集. 但是，数据提取能力一般，扩展有限，更复杂应用的二次开发成本不低

　　优采云

　　语言：许可软件

　　平台：Windows

　　官方网站：

　　优采云是一个旧的采集软件。随着无数个人站长的成长，它具有很强的可配置性，可以实现数据传输。它非常适合个人快速数据采集和政府机构的民意监测

　　优采云采集器

　　语言：许可软件

　　平台：Windows

　　官方网站：

　　简介：优采云采集器它具有多种功能，支持新闻的一般分析，广泛应用于舆论中

　　图书馆类别：

　　它是通过开源库或工具库提供的。这些库通常只负责数据捕获的网络部分和HTML的解析部分。具体的业务实现由开发人员自己实现。该方法非常灵活，适用于复杂数据采集和*敏*感*词*数据采集。这些库的差异主要体现在以下几个方面：一、语言应用。许多库只适用于一种语言二、的功能差异。大多数库只支持HTML，不支持JS、CSS和其他动态数据三、interface。一些库提供函数级接口，而另一些库提供对象级接口四、stability。一些图书馆是认真的，而另一些则在逐步改进

　　简单HTML DOM解析器

　　语言：PHP

　　官方网站：

　　简介：PHP扩展模块支持HTML标记的解析。它提供了一个类似于jQuery的函数级接口，具有简单的函数，适合解析简单的HTML页面。它将很难成为一个数据引擎

　　JSoup

　　语言：Java

　　官方网站：

　　简介：jsoup是一个Java HTML解析器，它可以直接解析URL地址和HTML文本内容。它提供了一个非常省力的API，可以通过DOM、CSS和类似于jQuery的操作方法获取和操作数据

　　斯宾纳

　　语言：Python

　　官方网站：

　　简介：spyner是一个基于QT WebKit的1000行Python脚本。与urllib相比，最大的特点是支持动态内容的捕获。Spyner依赖于xvfb和QT。由于需要进行页面渲染，因此速度较慢

　　清

　　语言：C++（可扩展到其他语言）

　　官方网站：

　　简介：Qing是一个动态库，它提供了一系列清晰的函数和DOM数据结构。它简单明了，但功能强大，适用性强。Qing支持JavaScript和CSS，因此它非常支持动态内容。除此之外，青还支持后台图像加载、滚动加载、本地缓存、加载策略等功能。Qing快速、强大、稳定，开发效率高。对于企业来说，构建数据仓库是一个很好的选择