掌握javascript抓取网页的八大技巧，轻松一键爬取所需信息

　　javascript作为一种常用的脚本语言，其应用范围非常广泛，其中之一就是在网页中进行数据抓取。本文将从以下八个方面详细介绍javascript抓取网页的方法和技巧，帮助大家掌握一键爬取信息的能力。

　　一、请求网页

　　在javascript中，可以使用XMLHttpRequest对象向服务器发起请求，并接收服务器返回的数据。这里我们以请求百度页面为例：

　　

let request = new XMLHttpRequest();

request.open('GET','https://www.baidu.com');

request.send();

request.onreadystatechange = function(){

if (request.readyState === 4 && request.status === 200){

console.log(request.responseText);

}

}

　　以上代码中，我们使用XMLHttpRequest对象向百度发起了一个GET请求，并在请求成功后打印出了返回的HTML代码。

　　二、解析HTML

　　获取到HTML后，我们需要对其进行解析。这里推荐使用cheerio库，它可以让我们使用类似jQuery的语法来操作HTML。

　　假设我们要获取百度首页上所有链接的href属性：

　　

const cheerio = require('cheerio');

const $= cheerio.load(html);

$('a').each(function(){

console.log($(this).attr('href'));

});

　　以上代码中，我们首先使用cheerio库将HTML转换成可操作的DOM对象，并使用jQuery语法选中所有a标签，然后遍历每个a标签并打印出其href属性。

　　三、使用正则表达式

　　除了cheerio库外，我们也可以使用正则表达式来解析HTML。以下是一个使用正则表达式获取所有图片链接的示例代码：

　　

const imgReg =/<img.+?src=(['"])(.+?)\1.*?>/g;

let match;

while (match = imgReg.exec(html)){

console.log(match[2]);

}

　　以上代码中，我们使用正则表达式匹配所有img标签，并提取出其中的src属性。

　　四、处理JS渲染的页面

　　有些网页是使用JavaScript来渲染的，此时我们需要使用无头浏览器来模拟浏览器行为。这里我们推荐使用puppeteer库。

　　以下是一个使用puppeteer爬取淘宝搜索结果的示例代码：

　　

const puppeteer = require('puppeteer');

(async ()=>{

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto('https://s.taobao.com/search?q=iphone');

const items = await page.evaluate(()=>{

let results =[];

document.querySelectorAll('.item').forEach(function(el){

results.push({

title: el.querySelector('.title').innerText,

price: el.querySelector('.price').innerText

});

});

return results;

});

console.log(items);

await browser.close();

})();

　　以上代码中，我们首先启动了一个无头浏览器，并打开淘宝搜索页面。然后使用page.evaluate函数来执行JavaScript代码，并返回搜索结果中每个商品的标题和价格。

　　

　　五、处理异步加载的内容

　　有些网页使用异步加载来优化用户体验，此时我们需要等待异步加载完成后再进行数据抓取。以下是一个使用async/await来等待页面异步加载完成的示例代码：

　　

const puppeteer = require('puppeteer');

(async ()=>{

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto('https://www.google.com');

await page.click('input[type="submit"]');

await page.waitForSelector('#result-stats');

console.log(await page.evaluate(()=> document.querySelector('#result-stats').innerText));

await browser.close();

})();

　　以上代码中，我们首先打开了谷歌首页，并点击了搜索按钮。然后使用page.waitForSelector函数等待搜索结果显示出来，并打印出了搜索结果的统计信息。

　　六、处理反爬虫机制

　　有些网站会采用反爬虫机制，如IP封锁、验证码等。此时我们需要采取一些措施来避免被识别为爬虫。以下是一些常用的反反爬虫技巧：

　　-使用代理IP

　　-随机设置User-Agent

　　-延时请求

　　-使用Cookies池

　　七、存储数据

　　在数据抓取完成后，我们需要将数据进行存储。这里推荐使用MongoDB数据库。

　　以下是一个将抓取的数据存储到MongoDB数据库中的示例代码：

　　

const mongoose = require('mongoose');

mongoose.connect('mongodb://localhost/test',{useNewUrlParser: true});

const ItemSchema = new mongoose.Schema({

title: String,

price: Number

});

const Item = mongoose.model('Item', ItemSchema);

const item = new Item({title:'iPhone X', price: 8999});

item.save(function(err){

if (err) return console.error(err);

console.log('saved');

});

　　以上代码中，我们首先连接到MongoDB数据库，并定义了一个数据模型Item。然后创建了一个Item实例并保存到数据库中。

　　八、总结

　　本文介绍了javascript抓取网页的八个方面内容，分别是请求网页、解析HTML、使用正则表达式、处理JS渲染的页面、处理异步加载的内容、处理反爬虫机制、存储数据和一些常用技巧。希望本文对大家有所帮助。

　　关于更多网络爬虫技术及实现，可以关注优采云（www.ucaiyun.com），我们提供专业的网络爬虫课程及相关服务，帮助您快速掌握网络爬虫技能。同时，我们也提供SEO优化等服务，欢迎来电咨询。