php 抓取网页源码(php抓取网页源码是非常简单的，学习过程中保持勤奋)

　　php 抓取网页源码(php抓取网页源码是非常简单的，学习过程中保持勤奋)

　　php抓取网页源码是非常简单的，

　　一、首先，得搭建一个php模块。

　　二、学习php基础语法。学习过程中保持勤奋，不可偷懒，

　　三、学习完php基础语法之后，就可以抓取文本了。抓取的源码有网页源代码和xml（xml是一种轻量级的数据交换格式）源码两种格式，抓取后一般都需要写一些脚本，我自己是使用的百度开源的zhenjiagehue接口来抓取网页源代码。这样源代码就比较完整了，建议用postman，用curl，requests，baiduspider等抓取新浪微博feed源代码；抓取完网页源代码后就可以使用js加载图片了，baidu推荐的是jquery+global.js模块，百度推荐的是jquery+livejs模块；上面说了这么多都是在php抓取网页源代码的基础上来介绍。

　　四、使用phpscrapy框架开发api，scrapy，顾名思义，scrapy是一个基于python语言开发的快速的web服务器和发布和爬取系统。scrapy实现了一个高性能的web应用，它本身不带有任何编程语言特性，全部依赖于python虚拟机mklvirtualenv。是一个开源的web应用框架，scrapy能够爬取网页、数据库、文件、日志等，它使用python的第三方库，在github上面给你各种类似于js模块、node.js模块，json模块等，还有urllib2爬虫框架等等！api接口也是可以用这个框架开发的！。

　　五、用phpselenium+phantomjs实现快速试探、定位工具。

　　1、介绍selenium是一个工具，它能帮助我们自动化的学习网页，检测一下页面代码是否有错误，并进行试探、定位工作。

　　2、最好已经熟悉网页检测，一开始我也不太清楚http协议。我就把http请求按照特点分类了下：请求是需要关键信息的，不是随便哪个网站发来哪个动态的请求，都可以去请求，例如新浪微博、爬虫等等。请求是无状态的，检测请求的时候不需要关注请求的有效性，只需要用请求标签来规定请求的域名、headers、cookie等关键信息即可。

　　请求是有重定向的，向爬虫发送一个响应的请求。请求是有headers的，我们称之为xmlhttprequest对象。其他还有meta等等。

　　3、phantomjs是javascript的一个同源策略加载工具，能够基于javascript检测请求内容是否合法。

　　4、其实关于selenium和phantomjs的介绍基本和scrapy差不多，就不在详细介绍。总结：学习的话一般会有单独分类，这两个框架的确可以大大的提高抓取效率，