网站内容采集系统( 本发明基于PHP自定义规则进行数据采集的方法及其系统(图))

　　网站内容采集系统(

本发明基于PHP自定义规则进行数据采集的方法及其系统(图))

　　

　　本发明涉及网络爬虫技术领域，具体涉及一种基于PHP自定义规则执行数据采集的方法及系统。

　　背景技术：

　　网络爬虫（也称为网络蜘蛛、网络机器人，在 FOAF 社区中，通常称为网络追逐者）是根据一定规则自动从万维网上爬取信息的程序或脚本；常用的名称有 ant、autoindex、emulator 或 worm。

　　传统数据采集方式通常需要安装第三方客户端，采集流程复杂，采集方式使用难度大；采集图片不能是采集他们的标签，即使是采集也容易造成程序处理和存储不方便的问题。

　　技术实施要素：

　　基于此，针对上述问题，有必要提出一种基于PHP的方法，降低采集规则的难度和学习使用成本，并且可以完成特定的网站数据类型采集 在几分钟内。一种使用自定义规则自定义数据采集的方法和系统。

　　本发明提供一种基于PHP自定义规则执行数据采集的方法，其技术方案如下：

　　一种基于PHP自定义规则的data采集方法，包括以下步骤：

　　一种。基于guzzle组件，生成一个采集客户端；

　　湾。获取目标网站并读取其文本内容；

　　C。执行文件切片并完成数据提取。

　　本技术方案使用php开发语言​​，使用guzzle组件作为采集客户端（可以方便地随机模拟各种采集平台）。读取文本内容后，使用文本定位切片的方式进行文件切片；可以作为通用的采集数据工具，降低采集规则的难度和学习使用成本，可以完成特定的网站数据类型采集@ > 几分钟后。

　　优选地，步骤a包括以下步骤：

　　根据需求，将生成的采集客户端模拟到对应的采集平台中。采集客户端在使用时，可根据需要模拟多种采集平台；克服了传统data采集需要安装第三方客户端的问题，增强了data采集的适应性，提高了采集的效率。

　　优选地，步骤c包​​括以下步骤：

　　阅读文本内容后，分析其元素，定位切片标签；

　　根据切片标签所在的开始标签和结束标签定义相应的规则。

　　选择目标网站，根据HTML源码分析其元素，定位切片标签，收录开始标签

　　, 结束标记，规则为“|”；方便定位到需要数据所在的标签位置，然后采集到需要的数据。

　　优选地，步骤c还包括以下步骤：

　　获取从大到小依次切片的标签，定位循环标签；

　　基于 TAG 标签的数组切片。

　　从大到小依次切片，最后定位循环标签；然后使用标签：#L__

　　优选地，步骤c还包括以下步骤：

　　将循环标签转换为数组，提取所需字段；

　　根据字段获取所需的 URL，并进行 URL 修复。

　　将循环标签转化为数组，提取需要的字段，最终得到需要的URL并进行URL修复，完成数据提取；在提高采集效率的同时，也提高了数据采集的准确性。

　　本发明还提供了一种基于PHP自定义规则执行数据采集的系统，其技术方案如下：

　　一种基于PHP自定义规则的数据采集系统，包括采集生成模块、文本读取模块和数据提取模块，其中：

　　采集生成模块，基于guzzle组件，生成采集client；

　　文本阅读模块，用于获取目标网站并读取其文本内容；

　　数据提取模块用于文件切片和数据提取。

　　优选地，采集生成模块包括平台模拟子模块，用于根据需要将生成的采集客户端模拟成对应的采集平台。

　　优选地，所述数据提取模块包括定位切片子模块和规则定义子模块，其中：

　　定位切片子模块用于分析其元素，读取文本内容后定位切片标签；

　　规则定义子模块用于根据切片标签所在的开始标签和结束标签定义相应的规则。

　　优选地，所述数据提取模块还包括循环定位子模块和阵列切片子模块，其中：

　　循环定位子模块用于获取从大到小依次切片的标签，并对循环标签进行定位；

　　数组切片子模块，根据TAG标签进行数组切片。

　　优选地，所述数据提取模块还包括字段提取子模块和提取修复子模块，其中：

　　字段提取子模块用于将循环标签转换为数组，提取需要的字段；

　　提取修复子模块，根据字段获取需要的URL，进行URL修复。

　　本发明的有益效果是：

　　本发明采用php开发语言​​，使用guzzle组件作为采集客户端。读取文本内容后，使用文本定位切片方式进行文件切片；它降低了采集规则的难度和学习使用成本，提高了采集的效率，可以完成特定的网站数据类型采集在几分钟内。

　　图纸说明

　　图1为本发明实施例基于PHP自定义规则执行数据采集的方法流程图；

　　如图。图2是根据本发明实施例的基于PHP自定义规则执行数据采集的系统的示意框图。

　　参考编号说明：

　　10-采集生成模块；101平台仿真子模块；20文本阅读模块；30个数据提取模块；301-定位切片子模块；302-规则定义子模块；303-loop定位子模块304-array slice子模块；305字段提取子模块；306-提取修复子模块。

　　详细方法

　　下面结合附图对本发明实施例进行详细说明。

　　示例 1

　　如图1所示，一种基于PHP自定义规则的数据采集方法，包括以下步骤：

　　一种。基于guzzle组件，生成一个采集客户端；

　　湾。获取目标网站并读取其文本内容；

　　C。执行文件切片并完成数据提取。

　　本实施例使用php开发语言​​，使用guzzle组件作为采集客户端（可以方便地随意模拟各种采集平台）。读取文本内容后，使用文本定位切片的方式进行文件切片；可以作为通用的采集数据工具，降低采集规则的难度和学习使用成本，可以完成特定的网站数据类型采集@ > 几分钟后。

　　示例 2

　　本实施例在实施例一的基础上，步骤a包括以下步骤：

　　根据需求，将生成的采集客户端模拟到对应的采集平台中。采集客户端在使用时，可根据需要模拟多种采集平台；克服了传统data采集需要安装第三方客户端的问题，增强了data采集的适应性，提高了采集的效率。

　　示例 3

　　本实施例在实施例一的基础上，步骤c包​​括以下步骤：

　　阅读文本内容后，分析其元素，定位切片标签；

　　根据切片标签所在的开始标签和结束标签定义相应的规则。

　　选择目标网站，根据HTML源码分析其元素，定位切片标签，收录开始标签

　　, 结束标记，规则为“|”；方便定位到需要数据所在的标签位置，然后采集到需要的数据。

　　示例 4

　　在本实施例中，在实施例三的基础上，步骤c还包括以下步骤：

　　获取从大到小依次切片的标签，定位循环标签；

　　基于 TAG 标签的数组切片。

　　从大到小依次切片，最后定位循环标签；然后使用标签：#L__

　　示例 5

　　在本实施例中，在实施例四的基础上，步骤c还包括以下步骤：

　　将循环标签转换为数组，提取所需字段；

　　根据字段获取所需的 URL，并进行 URL 修复。

　　将循环标签转化为数组，提取需要的字段，最终得到需要的URL并进行URL修复，完成数据提取；在提高采集效率的同时，也提高了数据采集的准确性。

　　例 6

　　本实施例为实施例一的系统。2、一种基于PHP自定义规则的数据采集系统，包括采集生成模块10、文本读取模块20和数据提取模块30，其中：

　　采集生成模块10，基于guzzle组件，生成采集client；

　　文本阅读模块20用于获取目标网站并读取其文本内容；

　　数据提取模块30用于对文件进行切片以完成数据提取。

　　例 7

　　本实施例为实施例二的系统，采集生成模块10包括平台模拟子模块101，用于根据需要将生成的采集客户端模拟成对应的采集平台。

　　例 8

　　本实施例为实施例三的系统，数据提取模块30包括定位切片子模块301和规则定义子模块302，其中：

　　定位切片子模块301，用于在读取文本内容后对其元素进行分析，定位切片标签；

　　规则定义子模块302，用于根据切片标签所在的起始标签和结束标签定义相应的规则。

　　例 9

　　本实施例为实施例四的系统，数据提取模块30还包括回路定位子模块303和阵列切片子模块304，其中：

　　循环定位子模块303，用于获取从大到小依次切片的标签，并对循环标签进行定位；

　　数组切片子模块304根据TAG标签进行数组切片。

　　例 10

　　本实施例为实施例五的系统，数据提取模块30还包括字段提取子模块305和提取修复子模块306，其中：

　　字段提取子模块305，用于将循环标签转换为数组，提取需要的字段；

　　提取修复子模块306用于根据字段获取所需的URL，进行URL修复。

　　上述实施例仅代表本发明的具体实施例，其描述的具体而详细，不应理解为对本发明专利范围的限制。需要说明的是，对于本领域普通技术人员来说，在不脱离本发明的构思的前提下，还可以进行多种修改和改进，均属于本发明的保护范围。