本文适合无论是否有爬虫以及Node.js基础的朋友观看

　　

本文适合无论是否有爬虫以及Node.js基础的朋友观看

　　

　　本文不管有没有爬虫都适合

　　基于Node.js的朋友查看~

　　要求：如果你是技术人员，那么可以看我下一个文章，否则请直接移步我的github仓库，看文档就可以使用。仓库地址：附文档和源代码，本次需要用到的技术别忘了给个star：Node.js和puppeteer，试试看，爬取京东资源

　　const puppeteer = require('puppeteer'); // 引入依赖

(async () => { //使用async函数完美异步

const browser = await puppeteer.launch(); //打开新的浏览器

const page = await browser.newPage(); // 打开新的网页

await page.goto('https://www.jd.com/'); //前往里面 'url' 的网页

const result = await page.evaluate(() => { //这个result数组包含所有的图片src地址

let arr = []; //这个箭头函数内部写处理的逻辑

const imgs = document.querySelectorAll('img');

imgs.forEach(function (item) {

arr.push(item.src)

})

return arr

});

// '此时的result就是得到的爬虫数据，可以通过'fs'模块保存'

})()

复制过去 使用命令行命令 ` node 文件名 ` 就可以运行获取爬虫数据了

这个 puppeteer 的包 ，其实是替我们开启了另一个浏览器，重新去开启网页，获取它们的数据。

　　跳转网页中所有标签对应的所有标题的文字内容

　　最终被放入一个数组中。

　　browser.newPage()、browser.close() 是固定的书写方式。

　　调用这个方法。

　　也就是说我们可以先进入京东网页，处理完逻辑，再调用page.goto函数，

　　注意，以上逻辑全部都是

　　木偶包帮我们在一个看不见的地方又打开了一个

　　浏览器然后处理逻辑，所以它最终会被调用

　　browser.close() 方法关闭该浏览器。

　　此时我们优化了上一篇文章中的代码，抓取了相应的资源。

　　 const puppeteer = require('puppeteer');

(async () => {

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto('https://www.jd.com/');

const hrefArr = await page.evaluate(() => {

let arr = [];

const aNodes = document.querySelectorAll('.cate_menu_lk');

aNodes.forEach(function (item) {

arr.push(item.href)

})

return arr

});

let arr = [];

for (let i = 0; i < hrefArr.length; i++) {

const url = hrefArr[i];

console.log(url) //这里可以打印

await page.goto(url);

const result = await page.evaluate(() => { //这个方法内部console.log无效

return $('title').text(); //返回每个界面的title文字内容

});

arr.push(result) //每次循环给数组中添加对应的值

}

console.log(arr) //得到对应的数据 可以通过Node.js的 fs 模块保存到本地

await browser.close()

})()

　　上面有个天坑。 page.evaluate函数内部的console.log无法打印，内部无法获取外部变量，只能返回return。

　　使用的选择器在使用前必须先到对应界面的控制台测试是否可以选择DOM。比如京东就不能使用querySelector。因为

　　京东的子接口全部使用jQuery，所以我们可以使用jQuery。简而言之，我们可以使用他们开发的所有可以使用的选择器，否则我们无法使用。

　　接下来直接爬取Node.js官网首页，直接生成PDF。无论您是否了解 Node.js 和 puppeteer 爬虫，您都可以做到。请仔细阅读本文档并按顺序执行。一步

　　本项目的实现需求：给我们一个网页地址，抓取他的网页内容，然后输出成我们想要的PDF格式文档。请注意这是一个高质量的PDF文档

　　TIPS：这个项目的设计思路是一个网页一个

　　PDF 文件，所以每次抓取一个页面后，请放

　　复制index.pdf，然后继续替换

　　URL地址，继续爬取生成新的

　　PDF文件，当然也可以一次抓取多个网页，通过循环编译等方式生成多个。

　　PDF 文件。

　　对应京东首页这种图片懒加载的网页，爬取的部分内容是处于加载状态的内容。对于有一些反爬虫机制的网页，爬虫也会有问题，但是绝大多数网站Its all可能

　　文件解构设计

　　

　　数据在这个时代非常宝贵。根据网页的设计逻辑，选择具体的

　　href地址，可以直接先获取对应的资源，也可以再次使用

　　进入page.goto方法并再次调用

　　page.evaluate() 处理逻辑，或者输出对应的

　　PDF文件，当然也可以一次输出多个

　　PDF文件~

　　这里就不多介绍了

　　Node.js 能上天堂，说不定以后真的什么都可以了。这么高质量的短教程，请采集

　　或者转发给你的朋友，谢谢。