PHP实现一个简单的数据采集
优采云 发布时间: 2020-08-12 18:51引言
说到数据采集大家首先就会想到python,代码简约,高效,很容易就可以实现数据采集。
那PHP怎样实现数据采集呢?非常简单。
概念
那哪些是数据采集呢?以下是百度百科的介绍:
数据采集,又称数据获取,是借助一种装置,从系统外部采集数据并输入到系统内部的一个插口。数据采集技术广泛应用在各个领域。
你可以简单的理解为偷他人网站的数据。需要的扩充包1. Guzzle这是一个PHP HTTP客户端,可以轻松发送HTTP请求并轻松与Web服务集成。
安装方法:
composer require guzzlehttp/guzzle:~6.0
或者:
在composer.json加入
"require": {
"guzzlehttp/guzzle": "~6.0"
}
}
2. QueryList
QueryList是一个基于phpQuery的PHP通用列表采集类,得益于phpQuery,让使用QueryList几乎没有任何学习成本,只要会CSS3选择器就可以轻松使用QueryList了,它使PHP做采集像jQuery选择元素一样简单。 QueryList的几个特征:
学习简单:只有一个核心的API使用简单:用jQuery选择器来选择页面元素自带过滤功能,可过滤掉无用的内容支持无限层级嵌套采集采集结果直接以采集规则以列表的方式有序的返回支持扩充我们可以使用它来过滤html内容
安装方法:
composer require jaeger/querylist:V3.2.1
采集案例我们以 LearnKu 社区为例,我们将采集社区的贴子信息,并把这种信息存入文件和存入mysql数据库。1.安装依赖
在命令行输入以下命令
composer init
引入依赖
{
"require": {
"guzzlehttp/guzzle": "~6.0@dev",
"jaeger/querylist": "V3.2.1"
},
"autoload": {
"psr-4": {
"App\\": "app/"
}
}
}
安装依赖
composer install
2.采集类
appHandleClientHandle.php
<p>