php抓取网页数据实例(php抓取网页数据实例本系列教程中实例(组图))

　　php抓取网页数据实例(php抓取网页数据实例本系列教程中实例(组图))

　　php抓取网页数据实例本系列教程中实例一是简单的计算机爬虫结构，本实例二是一个http爬虫，说明了http请求结构以及相应的实现方法。学习如何使用php的get函数和post函数，以及如何利用到正则表达式。最后，我们将使用beautifulsoup库解析网页数据并生成字符串。注意：本实例都是采用两次请求实现的，两次不是post请求，而是get请求。

　　一、一个简单的http请求结构爬虫所有基础知识会在后面的学习中逐步完善，从以下两个角度解释其作用。1.http请求的格式：2.http请求的基本流程下面我们以本例二为例来讲解一下网页数据请求结构。我们从如下两个角度，分别讲解如何从http请求中获取内容：1.get请求：2.post请求：1.get请求我们从如下两个角度来解释为什么要get请求：1.1传递给服务器的信息有哪些：目标url，你的useragent标识，请求的参数个数；1.2服务器如何解析：我们的目标是要得到一个网页地址，我们的请求参数由路径直接传给服务器，服务器解析路径就可以得到网页；2.post请求：首先我们登录服务器，根据步骤1得到地址，注意这个url中的agent的参数要设置，为了方便和后面讲到data总结在一起讲：server：proxy：scheme：useragent：referer:attribute(data)post类型：post的三个参数post参数个数：最终的请求参数个数2.http请求获取数据的方法这次讲解主要使用post请求。

　　在解释获取数据的方法之前，我们要先来认识一下http的特性：通用于任何一个文件及其路径的请求均为tcp协议，即可以一次连接，终身使用。但tcp协议作为协议并不是我们用来获取数据的。tcp请求和tcp连接通过端口号来区分。端口号就是一个拥塞控制器编号，它是由端口服务程序共享给网络所有的连接的。apache\nginx\httpd等服务程序都可以处理tcp连接。

　　对于http，默认端口为80，而实际上，我们通常使用443端口来提供服务。由于443端口是没有服务器保留的端口，所以从http协议本身考虑，该端口是不应该再使用的。而在这个教程中，我们是为了得到大量的session信息。所以，我们选择了tcp协议，只对应一个应用程序。对于应用程序来说，只关心从ip:端口号来请求服务。

　　session对象通过session_token来区分。session_token是session存储的一个key，加密算法可以自己写。session_token有两个值，第一个是value，第二个是session_id。session_id的值唯一，下面的代码验证了value和session_id是否一致。另外如果请求中缺少了一些其他特定规则的attribute信。