php 抓取网页(php抓取网页方法总结(7.20)返回结果爬虫)

　　php 抓取网页(php抓取网页方法总结(7.20)返回结果爬虫)

　　php抓取网页方法总结前言：在通往网页内容的时候，php抓取网页是最有效的方法之一，也是相当容易的方法。为了提高效率，有一个简单的方法就是去web服务器上拿链接，然后把这个链接做成一个map。通过这个map可以快速爬取很多网页。针对网页一般采用post请求而不是get，这样的方法主要优点是，访问速度快，不用每次都从服务器到客户端一点点去爬。

　　post请求方法有get和post两种。本文分两部分，第一部分谈谈post方法的相关知识，第二部分讲讲用post请求抓取网页。我相信大家对于post请求很熟悉了，这里就不赘述了。orz...今天就先讲讲post请求吧。话不多说，我们来看效果。效果图如下图我们做好爬虫之后就是去爬这个map的，下面一起来看看post请求是怎么做的。

　　先说说post请求的基本流程，请求目标网站-->post参数传递-->返回结果爬虫按照这个流程来爬取网页。第一个就是请求网站，可以看看我的header，也可以看看访问网站的流程，以免忘记流程浪费网速。第二就是提交参数，让服务器去找到我们需要抓取的那个网页。第三是返回结果，最后可以看看爬虫抓取效果。header（访问网站的header）请求头：hostname（你这次的请求的网址）：当然不用特别大，但是一定要，你用户名和密码必须和你提交参数的网址相匹配（记得大小写敏感问题）。

　　cookie和session（关于cookie可以搜索一下很有用的文章）：两者使用其实并不多，请求头有了请求头中说明post请求只能在客户端生效，不可以同时在服务器上生效，所以其实session和cookie只作用于同一个请求。每次请求头加上ws,post方法不加请求头是post请求。header中有几种信息需要注意的。

　　比如说你提交的参数，这个是服务器必须要保存的，但是如果你没有保存请求头怎么办，那么其实最简单的是提交一个网址（比如：//），服务器就知道你这次提交的网址，然后传给服务器几个参数，当然，也可以传一些配置数据，比如说你保存了多少个map，这个参数就会传到auto_map里面去。然后我们就可以收到这个web服务器分析我们发起的请求参数，通过统计我们提交的请求参数抓取这个map，那么header中就可以分析我们的map。

　　web服务器接收到我们分析到的map之后，就会根据这个map去爬取页面内容。web服务器可以是浏览器本身，也可以是第三方服务器。不管是哪种服务器接收到请求参数之后就会找到这个map，抓取网页内容，然后返回出去给客户端。就拿豆瓣网来讲。（其实也包括搜索引擎）客户端的抓取cookie和session。1.1cookie首先说一下cookie，这个。