入门篇：网站采集数据的规则和规则来指导

　　入门篇：网站采集数据的规则和规则来指导

　　网站 采集器如何实现网站数据采集入门网站 采集，是从网站页面中提取指定的数据，手动方法是打开Web页面并启动Ctrl + C Ctrl + V进行复制和粘贴。手动方法采集具有最准确的数据，但效率最低。因此，期望计算机可以自动执行手动操作并完成数据的工作采集。计算机自动执行手动Ctrl + C Ctrl + V，这需要某些指导操作，例如：计算机需要打开哪个页面，应复制哪些信息以及应将复制的信息粘贴到何处？这些都是在手动操作期间必须制定的操作。当转换为计算机时，您还必须知道计算机以这种方式执行。因此，需要配置一些规则来指导计算机的操作。规则的这种组合在网络矿工中称为“ 采集任务”。根据以上描述，我们知道采集任务必须至少包括网页地址和复制网页数据的规则。网页的地址很容易理解。每次我们打开网站时，都必须先输入一个地址。此地址称为“网址”。输入网址后，我们可以浏览页面。复制数据的规则：手动复制数据非常简单。人工智能很容易识别需要的数据采集，但是对于计算机而言，这将有点困难。计算机不知道需要什么数据采集？必须手动告诉计算机采集数据的规则，例如：我们需要采集 文章标题，然后我们需要告诉计算机如何识别网页中的文章标题，并准确地采集 ]向下。

　　在本指南的过程中，计算机可以通过两种方式来理解（当然，不排除其他方式，例如：计算机智能）：1、根据字符串获取规则来指导计算机采集 ]：网页是浏览器解析大字符串后显示的结果。这个大字符串是网页的源代码。任何浏览器都可以查看网页的源代码。打开网页的源代码后，通常在网页的源代码中（注意：通常），您可以找到网页上显示的内容，并且自然也可以找到文章标题。找到文章标题后，告诉计算机采集该标题数据，规则是：例如，从哪个字符到该字符的末尾，一个简单的示例：“今天的天气非常好”，例如一个字符串，我们要获取“今天的天气很好”，即告诉计算机从“”开始到“”的末尾，中间的字符采集然后，计算机将识别出此字符串字符串，并根据自定义规则获取所需的数据。在采集数据中，有必要配置这样的规则以指导计算机采集逐个向下浏览网页数据； 2、还有第二种方法来引导计算机采集数据：通常（请注意：通常是这样）情况网页源代码是XML文档。 XML定义：一种标记语言，用于标记电子文档以使其结构化。它可用于标记数据和定义数据类型。它是一种源语言，允许用户定义其标记语言（摘自：百度百科）。

　　因此，我们知道网页的源代码是带有标记识别的结构化文档。这样，我们可以以某种方式标记所需的数据采集，并让计算机自动查找和获取数据。这种方式就是我们常见的可视化采集。可视化的核心采集是XPath信息。 XPath是XML路径语言，它是一种用于确定XML文档某一部分位置的语言。使用XPath在文档的特定位置制定数据，让计算机进入采集，这也满足了我们指导计算机采集数据的需求；总而言之，我们还可以了解网络采集器是如何采集的。但是我上面所说的只是一个介绍，因为我们仅指示计算机在非常常见的情况下完成页面数据采集，这与我们的实际应用相距甚远，例如：batch 采集 data。稍后，我们将逐步深入解释。 如中间部分前面所述，我们已指示计算机完成网页数据采集，但为了我们的实际需要，我们不仅必须采集一页，而且采集 N多页，对于N多页，使用计算机自动执行是很有意义的。对于N个多个网页，我们不可能一一告诉计算机这些URL。例如，如果我们要采集数以万计的网页，是否需要输入数以万计的URL？这太不现实了。

　　因此，我们只能找到这N个多个网页的规则，并使用规则让计算机自动解析并完成N个多个网页的组成。可以以集中的方式进行此分析：1、根据可识别的规则，例如：增加数字，增加字母或增加日期，例如：******。com / article.aspx？id = 1001这是文章的网址，更易于理解。 id是网址提交的参数，而1001是参数值，代表文章，然后我们可以通过增加数字来替换它，*** ***。com / article.aspx？id = { :: 1001,1999,1}，这样就完成了998 文章 url的组成，系统将自动解析该url，{Num：1001,1999，1}是一个数值递增的参数，从1001开始，每次递增1时间到1999年底。网络挖掘器中提供了许多此类参数，以帮助用户完成N个多个URL的形成； 2、某些URL不一定是由某些可识别的规则构成的，那又如何呢？例如：******。com / s.aspx？area = Beijing，这是带有区域参数的URL。该国有很多城市，所以您不能一一输入。

　　对于这种URL，我们可以使用字典参数，首先获取国家城市数据（Internet上有大量此类数据文件，将其下载），将其构建在字典中，然后配置URL以完成这个看似不存在规则URL的组成，******。com / s.aspx？area = {Dict：City}，此参数表示使用字典：城市的值，因此一批URL的组成也可以完成； 3、根据网站的数据组织结构来批量配置URL，我们通常从网站的主页浏览网站和网站，以便更好地允许用户查找信息他们希望看到。根据某种分类结构组织数据，并提供显示数据的列表。分类通常是网站个通道，列表通常是一个通道下的列表（数据索引）页面。由于大量数据，此页面可能会翻页，并且可能会有子类别。因此，我们可以通过这种方式配置批处理URL。在此配置过程中，网络矿工需要配置导航规则和翻页规则。 a）导航规则：导航是从一页进入另一页的操作。 网站的主页是导航页。主页上将有许多列条目。单击以输入每一列。导航意味着让计算机自动进入每个页面。列和导航可以有很多，这意味着从导航页面输入一列，然后输入一个子列，然后输入一个详细页面。如果详细页面需要提取更多数据，则需要导航至该页面，就像浏览数据时一样，我们从一个页面进入另一页面，然后进入另一页面。每个导航页面都有大量需要采集数据的URL。系统将自动获取这些URL以获取批处理数据采集； b）翻页规则：当数据量很大时，网站将提供翻页操作，通常是新闻列表页，从第一页到第N页会有很多新闻，因此，对于可以获取第1页之后的数据。我们还需要告诉计算机如何翻页。这是翻页规则。在浏览网页时，让计算机逐页翻页，直到最后一页，以获取数据。

　　在介绍性章节中，我讨论了如何批处理上述采集数据，以及如何告诉计算机获取数据。但是在实际数据采集的过程中，采集的数据质量可能不一定满足我们的要求，例如：它收录大量无用的Web信息，或者我们可能难以使用规则来匹配确切的开始采集字符和结束采集字符。接下来，我们将解释采集数据规则匹配和数据处理操作以获得高质量数据的一些技术。根据用户规则采集，数据的核心是正则表达式匹配。正则表达式是指用于描述或匹配符合某些语法规则的一系列字符串的单个字符串。正则表达式在匹配（或可以说是获取）字符串时非常方便，但是不容易理解，因此采集器使用基于接口的配置方法来允许用户输入所获得的开始位置和结束位置。字符自动形成用于数据采集的正则表达式。不同的采集器内核对于常规匹配有不同的规则，但是以网络矿工为例，您可以通过“测试采集”了解常规结构。在理解了这些重要信息之后，我们可以使用一些面向对象的信息来配置规则，甚至可以使用常规通配符来提高采集数据的准确性，甚至可以定制数据匹配的规律性（通常是高级用户使用）。在这里，我们仅了解该技术的组成，并且不解释实际配置。只有通过实际案例的不断练习，才能逐步掌握这一方面。关于采集，数据处理是非常必要和重要的功能。 采集的数据不一定是我们想要的最终数据。例如：采集中的文章通常收录是

　　和其他标签，这些标签用于在显示数据时格式化数据，但是对于我们的应用程序，可能不需要这些标签，因此我们可以通过“删除网页符号”自动删除这些标签。或者，我们只删除一些经过文本修改的标签，但保留文章的段落标记，这种数据对我们来说更容易使用。通过数据处理操作，我们可以对数据进行两次处理，直到数据最大化我们的应用条件为止。 高级部分对于日常数据采集，如果您掌握了上述内容，就可以完成独立的采集任务配置并获得所需的高质量数据。但是现实总是残酷的。当前，许多网站为了获得更好的用户体验或更好地保护自己，网站使用了很多技术，这些技术的使用无疑会给我们采集的工作带来巨大的障碍。在这里，我们简要解释一些常见问题。如前所述，采集有两种匹配数据规则的方法：规则匹配和XPath路径匹配，但这两种方法基于以下事实：浏览网页的源代码时，我们可以找到所需的数据。在许多情况下，我们在浏览Web时可以看到数据，但是在查看源代码时找不到需要的数据。这种情况通常使用：ajax或iframe。如果您使用的是Firefox浏览器，则可以在页面上右键单击需要采集的数据，然后会弹出一个菜单。在菜单项中查找“此框架”。如果有任何菜单项，则为iframe；如果没有，则为ajax。

　　Ajax是用于创建交互式Web应用程序的Web开发技术。使用js请求xml数据并将其显示在网页上。无法在网页上查询请求的数据。在这种情况下，我们可以使用http嗅探器查找js请求数据的网址。该网址是我们需要的采集数据的网址。网络矿工具有内置的http嗅探器工具，可用于检测。也许我们会遇到另一种情况。 url配置正确，并且采集的数据也可以通过网页源代码查看，但是在实际采集中，找不到数据采集或存在错误。遇到这种情况，但是相对罕见。在这种情况下，可能有必要配置两条信息：Cookie和用户代理。 网站的一部分，甚至匿名访问系统也会分配一个cookie来标识用户。用户代理的中文名称是用户代理，简称UA。它是一个特殊的字符串标头，使服务器可以识别操作系统和版本，CPU类型，客户端使用的浏览器和版本，浏览器呈现引擎，浏览器语言，浏览器插件等。某些网站通常会发送不同的内容通过判断UA将页面转到不同的操作系统和不同的浏览器，因此某些页面可能无法在某个浏览器中正常显示，但是可以通过伪装UA来绕过检测（摘录自百度百科）。

　　可以通过网络矿工嗅探器查看cookie或用户代理，以获取信息。顺便说一句，登录到采集，某些行业网站已由用户授权，因此需要采集的数据也需要成员身份。成员必须登录才能查看这些数据。在数据处理中采集登录采集时，系统通常会记录cookie信息并在请求网页时将其发送，从而允许网站进行身份验证以获取数据。因此，登录采集就是记录cookie。对于网络采集器，通常使用上述原理来实现数据采集。当然，可能会有差异。欢迎您纠正上述错误。