php抓取网页(PhantomJS快速入门PhantomJS)

　　php抓取网页(PhantomJS快速入门PhantomJS)

　　第一个 PhantomJS 快速入门

　　PhantomJS 是一个基于 WebKit 的服务器端 API。它完全支持没有浏览器支持的 Web，并且速度很快并且原生支持各种 Web 标准：DOM 操作、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可用于页面自动化、Web 监控、网页截图和 UI 测试。 javascript

　　1、安装

　　安装包下载地址：，包括Windows、Mac OS、Linux版本，可以选择对应的版本下载解压（为了方便可以自己设置phantomjs的环境变量），里面有一个example文件夹，里面收录很多代码已经写好使用。本文假设 phantomjs 已经安装并设置了环境变量。 php

　　2、使用你好，世界！

　　使用以下两行脚本创建一个新的文本文件：html

　　console.log('Hello, world!');

phantom.exit();

　　将文件保存为hello.js并执行：java

　　phantomjs hello.js

　　输出是：Hello, world!jquery

　　第一行将字符串打印到终端，第二行 phantom.exit 将退出。

　　在这个脚本中调用 phantom.exit 很重要，否则 PhantomJS 根本不会终止。混帐

　　脚本参数 - 脚本参数

　　Phantomjs如何传递参数？见下文：github

　　phantomjs examples/arguments.js foo bar baz

　　其中foo、bar、baz是要传递的参数，如何获取：web

　　var system = require('system');

if (system.args.length === 1) {

console.log('Try to pass some args when invoking this script!');

} else {

system.args.forEach(function (arg, i) {

console.log(i + ': ' + arg);

});

}

phantom.exit();

　　会输出：ajax

　　0: foo

1: bar

2: baz

　　页面加载——页面加载

　　通过创建网页对象，可以加载、解析和呈现网页。 sql

　　以下脚本采用示例页面对象的最简单用法，加载它并将其保存为图像，example.png。

　　var page = require('webpage').create();

page.open('http://example.com', function () {

page.render('example.png');

phantom.exit();

});

　　由于这个功能，PhantomJS可以用来截取网页，对一些内容进行快照，比如保存网页、SVG为图片、PDF等。这个功能非常好。

　　下一个 loadspeed.js 脚本会加载一个特殊的 URL（不要忘记 http 协议）并测量加载页面的时间。

　　var page = require('webpage').create(),

system = require('system'),

t, address;

if (system.args.length === 1) {

console.log('Usage: loadspeed.js ');

phantom.exit();

}

t = Date.now();

address = system.args[1];

page.open(address, function (status) {

if (status !== 'success') {

console.log('FAIL to load the address');

} else {

t = Date.now() - t;

console.log('Loading time ' + t + ' msec');

}

phantom.exit();

});

　　在命令行运行脚本：

　　phantomjs loadspeed.js http://www.google.com

　　它输出如下内容：

　　加载加载时间 719 毫秒

　　代码评估 - 代码评估

　　要在网页上下文中评估 JavaScript 或 CoffeeScript，请使用 evaluate() 方法。代码在“沙箱”中运行，它无法读取其所属页面上下文之外的任何 JavaScript 对象和变量。 evaluate() 将返回一个对象，但它仅限于简单对象，不能收录方法或闭包。

　　这是一个显示页面标题的示例：

　　var page = require('webpage').create();

page.open(url, function (status) {

var title = page.evaluate(function () {

return document.title;

});

console.log('Page title is ' + title);

});

　　默认情况下，不会显示来自网页的任何控制台消息，包括来自 evaluate() 内部的代码。要覆盖这个行为，使用 onConsoleMessage 回调函数，前面的例子可以重写为：

　　var page = require('webpage').create();

page.onConsoleMessage = function (msg) {

console.log('Page title is ' + msg);

};

page.open(url, function (status) {

page.evaluate(function () {

console.log(document.title);

});

});

　　DOM 操作 - DOM 操作

　　因为脚本似乎在网络浏览器上运行，所以标准的 DOM 脚本和 CSS 选择器可以正常工作。这使得 PhantomJS 适合支持各种页面自动化任务。

　　下面的useragent.js会读取id为myagent的元素的textContent属性：

　　var page = require('webpage').create();

console.log('The default user agent is ' + page.settings.userAgent);

page.settings.userAgent = 'SpecialAgent';

page.open('http://www.httpuseragent.org', function (status) {

if (status !== 'success') {

console.log('Unable to access network');

} else {

var ua = page.evaluate(function () {

return document.getElementById('myagent').textContent;

});

console.log(ua);

}

phantom.exit();

});

　　上面的例子提供了一种自定义用户代理的方法。

　　使用 JQuery 和其他库：

　　var page = require('webpage').create();

page.open('http://www.sample.com', function() {

page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {

page.evaluate(function() {

$("button").click();

});

phantom.exit()

});

});

　　网络请求和响应

　　当页面向远程服务器请求资源时，可以通过 onResourceRequested 和 onResourceReceived 回调方法跟踪请求和响应。示例 netlog.js：

　　var page = require('webpage').create();

page.onResourceRequested = function (request) {

console.log('Request ' + JSON.stringify(request, undefined, 4));

};

page.onResourceReceived = function (response) {

console.log('Receive ' + JSON.stringify(response, undefined, 4));

};

page.open(url);

　　有关如何使用此功能进行 HAR 输出和基于 YSlow 的性能分析的更多信息，请参阅网络监控页面。

　　PhantomJs 官网：

　　GitHub：

　　以上帮助说明来自woiweb：

　　windows下使用php执行phantomjs

　　下面直接给出执行代码：

　　echo '';

exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);

　　var_dump($output_main);

　　// $str = implode('',$output_main);

// var_dump($str);

　　test.js文件内容如下：

　　console.log('Loading a web page');

　　var page = require('webpage').create();

　　var url = 'http://www.mafutian.net/';

　　page.open(url, function (status) {

　　 //Page is loaded!

　　 if (status !== 'success') {

　　 console.log('Unable to post!');

　　 } else {

　　 console.log(page.content);

　　 }

　　 phantom.exit();

　　});

　　执行结果如下图所示：

　　

　　注意，要达到上述执行结果，需要以下几点：

　　(1）PHP的安全模式无法开启，即需要在php.ini中将sql.safe_mode设置为Off。（并且重启服务器，当然php本身也不开启默认开启安全模式）

　　p>

　　(2）无论phantomjs是否添加到系统环境变量中，都应该是exec()中的绝对路径，以下执行无效：

　　exec('phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);

　　phantomjs的绝对路径是必须的。

　　需要注意的是，js文件不能走绝对路径。可以相对于网站根目录，如下执行成功：

　　exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 test.js ',$output_main);

　　注意：test.js放在网站的根目录下。

　　另外：另外一个函数systom()可以在PHP下执行phantomjs

　　以上内容参考：连接地址：

　　php-phantomjs中文API整理的合集DEMO

<p>