php 抓取网页内容(Javaexample参数分析及应用)

　　php 抓取网页内容(Javaexample参数分析及应用)

　　Phantom JS是基于WebKit的服务器端API。它完全支持web而不支持浏览器，并且它对各种web标准（DOM处理、CSS选择器、JSON、canvas和SVG）的快速本地支持。Phantom JS可用于页面自动化、网络监控、网页截图和无接口测试

　　一、安装

　　安装包的下载地址：，包括windows、Mac OS和Linux版本。您可以选择相应的版本进行下载和解压缩（为了方便起见，您可以为phantomjs设置环境变量）。有一个示例文件夹，其中收录许多可供使用的书面代码。本文假设已经安装了phantomjs，并且已经设置了环境变量

　　二、使用Hello，world

　　创建收录以下两行脚本的新文本文件：

　　console.log('Hello, world!');

phantom.exit();

　　将文件另存为hello.js并执行：

　　phantomjs hello.js

　　输出结果是：你好，世界

　　第一行将在终端打印字符串，第二行phantom.exit将退出

　　这对我们来说非常重要

　　在此脚本中调用phantom.exit，否则PhantomJS将不会停止。p>

　　脚本参数–脚本参数

　　phantomjs如何传递参数？详情如下:

　　phantomjs examples/arguments.js foo bar baz

　　Foo、bar和Baz是要传递的参数。如何获得它们：

　　var system = require('system');

if (system.args.length === 1) {

console.log('Try to pass some args when invoking this script!');

} else {

system.args.forEach(function (arg, i) {

console.log(i + ': ' + arg);

});

}

phantom.exit();

　　它将输出：

　　0: foo

1: bar

2: baz

　　页面加载–页面加载

　　通过创建网页对象，可以加载、分析和呈现网页

　　下面的脚本最简单地使用示例页面对象，加载它并将其保存为图片，例如。巴布亚新几内亚

　　var page = require('webpage').create();

page.open('http://example.com', function () {

page.render('example.png');

phantom.exit();

});

　　由于此功能，phantom JS可用于拍摄网页截图和某些内容的快照，例如将网页和SVG保存为图片、PDF等。此功能非常强大

　　下一个加载速度。JS脚本加载一个特殊的URL（不要忘记HTTP协议），并测量加载页面的时间

　　var page = require('webpage').create(),

system = require('system'),

t, address;

if (system.args.length === 1) {

console.log('Usage: loadspeed.js ');

phantom.exit();

}

t = Date.now();

address = system.args[1];

page.open(address, function (status) {

if (status !== 'success') {

console.log('FAIL to load the address');

} else {

t = Date.now() - t;

console.log('Loading time ' + t + ' msec');

}

phantom.exit();

});

　　在命令行上运行脚本：

　　phantomjs loadspeed.js http://www.google.com

　　它的输出类似于：

　　加载加载时间719毫秒

　　代码评估

　　要在网页上下文中评估JavaScript或coffeescript，请使用evaluate（）方法。代码在“沙箱”中运行，无法读取页面上下文之外的任何JavaScript对象和变量。Evaluate（）返回一个对象，但它仅限于简单对象，不能收录方法或闭包

　　以下是显示页面标题的示例：

　　var page = require('webpage').create();

page.open(url, function (status) {

var title = page.evaluate(function () {

return document.title;

});

console.log('Page title is ' + title);

});

　　默认情况下，不会显示网页中的任何控制台信息，包括evaluate（）中的内部代码。要覆盖此行为，请使用onconsolemessage回调函数。前面的示例可以改写为：

　　var page = require('webpage').create();

page.onConsoleMessage = function (msg) {

console.log('Page title is ' + msg);

};

page.open(url, function (status) {

page.evaluate(function () {

console.log(document.title);

});

});

　　DOM操作–DOM操作

　　因为脚本似乎在web浏览器上运行，所以标准DOM脚本和CSS选择器工作得很好。这使得phantom JS适合支持各种页面自动化任务

　　以下useragent.js将读取ID为myagent的元素的textcontent属性：

　　var page = require('webpage').create();

console.log('The default user agent is ' + page.settings.userAgent);

page.settings.userAgent = 'SpecialAgent';

page.open('http://www.httpuseragent.org', function (status) {

if (status !== 'success') {

console.log('Unable to access network');

} else {

var ua = page.evaluate(function () {

return document.getElementById('myagent').textContent;

});

console.log(ua);

}

phantom.exit();

});

　　上面的示例还提供了一种自定义用户代理的方法

　　使用jQuery和其他类库：

　　var page = require('webpage').create();

page.open('http://www.sample.com', function() {

page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {

page.evaluate(function() {

$("button").click();

});

phantom.exit()

});

});

　　网络请求和响应

　　当页面从远程服务器请求资源时，可以通过onresourcerequested和onresourcereceived回调方法跟踪请求和响应。示例netlog.js：

　　var page = require('webpage').create();

page.onResourceRequested = function (request) {

console.log('Request ' + JSON.stringify(request, undefined, 4));

};

page.onResourceReceived = function (response) {

console.log('Receive ' + JSON.stringify(response, undefined, 4));

};

page.open(url);

　　有关如何将此功能用于har输出和基于Yslow的性能分析的更多信息，请参阅网络监控页面

　　幻影JS官方网站：

　　GitHub：

　　以上帮助说明来自woiweb：

　　在Windows下使用PHP执行phantomjs

　　下面直接给出了执行代码：

　　echo '';

exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);

　　var_dump($output_main);

　　// $str = implode('',$output_main);

// var_dump($str);

　　test.js文件中的内容如下：

　　console.log('Loading a web page');

　　var page = require('webpage').create();

　　var url = 'http://www.mafutian.net/';

　　page.open(url, function (status) {

　　 //Page is loaded!

　　 if (status !== 'success') {

　　 console.log('Unable to post!');

　　 } else {

　　 console.log(page.content);

　　 }

　　 phantom.exit();

　　});

　　执行结果如下图所示：

　　

　　注意，实现上述执行结果需要以下几点：

　　（1）您不能打开PHP的安全模式，也就是说，您需要在PHP.ini中将sql.safe_mode设置为off。（并重新启动服务器。当然，PHP默认情况下不会打开安全模式。）

　　（2）无论phantomjs是否添加到系统环境变量，它都应该是exec（）中的绝对路径。以下执行无效：

　　exec('phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);

　　您需要将phantomjs作为绝对路径

　　需要注意的是，JS文件可能不是绝对路径，它可能是相对于网站root目录的，以下执行成功：

　　exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 test.js ',$output_main);

　　注意：test.js位于网站的根目录中@

　　此外，还可以使用另一个函数systom（）在PHP中执行phantomjs

　　参考上述：链接地址：

　　集合演示按PHP phantomjs中文api排序

<p>