nodejs抓取动态网页( 一种nodejs抓取网页内容(2019-03-24)(图) )

　　nodejs抓取动态网页(

一种nodejs抓取网页内容(2019-03-24)(图)

)

　　Nodejs抓取html页面内容（推荐）

　　时间：2019-03-24

　　本文章给大家介绍了Nodejs抓取html页面内容（推荐），主要包括Nodejs抓取html页面内容（推荐）用例、应用技巧、基础知识点总结和注意事项，有一定的参考价值，有需要的朋友可以参考。

　　废话不多说，我直接贴出node.js的核心代码来抓取html页面的内容。

　　具体代码如下：

var http = require("http");

var iconv = require('iconv-lite');

var option = {

hostname: "stockdata.stock.hexun.com",

path: "/gszl/s601398.shtml"

};

var req = http.request(option, function(res) {

res.on("data", function(chunk) {

console.log(iconv.decode(chunk, "gbk"));

});

}).on("error", function(e) {

console.log(e.message);

});

req.end();

　　我们看下面的nodejs来抓取网页内容

function loadPage(url) {

var http = require('http');

var pm = new Promise(function (resolve, reject) {

http.get(url, function (res) {

var html = '';

res.on('data', function (d) {

html += d.toString()

});

res.on('end', function () {

resolve(html);

});

}).on('error', function (e) {

reject(e)

});

});

return pm;

}

loadPage('http://www.baidu.com').then(function (d) {

console.log(d);

});