php抓取网页数据实例(简单的页面抓取数据的脚本----)
优采云 发布时间: 2021-09-21 19:13php抓取网页数据实例(简单的页面抓取数据的脚本----)
欢迎加入,新组号:99640845
最近,我的朋友抓取了一些数据并编写了几个脚本来抓取数据
主要功能是分别捕获X、beauty X和X degree takeout的餐厅和菜品数据。稍后我将分享代码
今天,让我们讨论一下简单的页面捕获
------
PHP主要使用curl,这是一个非常强大的开源库。你可以自己百度
//1.初始化
$ch=curl_uinit()
//2.set选项,包括URL
curl_uusetopt($ch,CURLOPT_uurl,”);//我做了一个小论坛==
curl_uusetopt($ch,CURLOPT_RETURNTRANSFER,1))
curl_setopt($ch,CURLOPT_头,0))
//3.执行并获取HTML文档内容
$output=curl\u exec($ch)
如果($output==FALSE){
echo“CURL Error:.CURL_Error($ch)
}
//4.释放卷曲手柄
卷曲关闭($ch)
通过这种方式,您可以简单地获得一个页面的所有源代码,当然,只有前端页面的代码
在阅读了这些例子之后,我认为每个人都应该认为它很简单。事实上,它是完全一样的
捕获页面信息实际上是模拟访问,然后获取页面上的所有信息,并通过正则表达式匹配所需信息
一些平台通过JSON直接将数据发送到前端,这样更容易抓取数据,只要按照相应的接口规则发起请求,就可以直接获取JSON数据,无需定期匹配
X?通过接口直接获取美国X和X度外卖的餐厅数据,JSON抓取的餐厅信息通过常规匹配进行匹配
小结:首先,你需要知道正则表达式,然后你需要知道curl的用法(最好有一个封装的curl工具函数),最好有一个包捕获工具。我使用Firefox自己的firebug,它非常容易使用