js提取指定网站内容( 2017年12月14日14:16:47一个实例教学如何用 )

　　js提取指定网站内容(

2017年12月14日14:16:47一个实例教学如何用

)

　　Nodejs实现了抓取网站图片的功能

　　更新时间：2017年12月14日14:16:47投稿人：老张

　　下面是一个示例，教您如何使用nodejs实现抓取网站图片的功能。感兴趣的朋友可以采集

　　通过一个例子，我们将说明nodejs实现了抓取网站图片的功能。以下是全部内容：

　　原则：

　　爬虫是最明显的IO密集型应用场景。节点的使用明显减少了I/O等待开销，数据挖掘更加方便

　　使用express模块构建节点服务

　　并使用请求模块获取目标页面的HTML代码

　　下载cherio模块以处理HTML代码（cherio类似于jQuery语法，因此易于使用和方便）

　　环境配置：

　　（1)介绍每个模块

var http = require('http');

var request = require('request);

var cheerio = require('cheerio');

var fs = require('fs'); //用来操作文件

var url = 'https://movie.douban.com/cinema/nowplaying/beijing/' //定义要爬的页面

　　（2)发送请求

http.get(function(res){

var html = '';

var titles = [];

res.setEncoding('utf-8') //防止中文乱码

res.on('data',function(chunk){

html += chrunk; //*敏*感*词*data事件 每次取一块数据

})

res.on('end',function(){

var $ = cheerio.load(html); //获取数据完成后，解析html

//将获取的图片存到images文件夹中

$('.mod-bd img').each(function(index, item){

//获取图片属性

var imgName = $(this).parent().next().text().trimg()

var imgfile = imgName + '.jpeg';

var imgSrc = $(this).attr('src')

//采用request模块，向服务器发起请求 获取图片资源

request.head(imgSrc, function(error, res,body){

if(error){

console.log('失败了')

}

});

//通过管道的方式用fs模块将图片写到本地的images文件下

request(imgSrc).pipe.(fs.createWriteStream('./images/' + imgfile));

})

})

})