js提取指定网站内容( 本文适合无论是否有爬虫以及Node.js基础的朋友观看)

　　js提取指定网站内容(

本文适合无论是否有爬虫以及Node.js基础的朋友观看)

　　本文适合有无爬虫的朋友和基于Node.js的朋友~ 要求：如果你是技术人员，那可以看我下一个文章，否则请直接移步我的github仓库，就查看文档并使用它。仓库地址：附文档和源代码，别忘了给个star。本次需求使用的技术：Node.js和puppeteer尝试使用，爬取京东资源

　　const puppeteer = require('puppeteer'); // 引入依赖

(async () => { //使用async函数完美异步

const browser = await puppeteer.launch(); //打开新的浏览器

const page = await browser.newPage(); // 打开新的网页

await page.goto('https://www.jd.com/'); //前往里面 'url' 的网页

const result = await page.evaluate(() => { //这个result数组包含所有的图片src地址

let arr = []; //这个箭头函数内部写处理的逻辑

const imgs = document.querySelectorAll('img');

imgs.forEach(function (item) {

arr.push(item.src)

})

return arr

});

// '此时的result就是得到的爬虫数据，可以通过'fs'模块保存'

})()

复制过去 使用命令行命令 ` node 文件名 ` 就可以运行获取爬虫数据了

这个 puppeteer 的包 ，其实是替我们开启了另一个浏览器，重新去开启网页，获取它们的数据。

　　跳转网页中所有标签对应的所有标题的文字内容

　　最终被放入一个数组中。

　　browser.newPage()、browser.close() 是固定的书写方式。

　　调用这个方法。

　　也就是说我们可以先进入京东网页，处理完逻辑，再调用page.goto函数，

　　注意，以上所有逻辑都是puppeteer包帮我们在不可见的地方再打开一个

　　然后浏览器处理逻辑，所以最后必须调用 browser.close() 方法来关闭浏览器。

　　此时，我们优化了上一篇文章中的代码，抓取了相应的资源。

　　 const puppeteer = require('puppeteer');

(async () => {

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto('https://www.jd.com/');

const hrefArr = await page.evaluate(() => {

let arr = [];

const aNodes = document.querySelectorAll('.cate_menu_lk');

aNodes.forEach(function (item) {

arr.push(item.href)

})

return arr

});

let arr = [];

for (let i = 0; i < hrefArr.length; i++) {

const url = hrefArr[i];

console.log(url) //这里可以打印

await page.goto(url);

const result = await page.evaluate(() => { //这个方法内部console.log无效

return $('title').text(); //返回每个界面的title文字内容

});

arr.push(result) //每次循环给数组中添加对应的值

}

console.log(arr) //得到对应的数据 可以通过Node.js的 fs 模块保存到本地

await browser.close()

})()

　　上面有个天坑。 page.evaluate函数内部的console.log无法打印，内部无法获取外部变量，只能返回return。

　　使用的选择器在使用前必须先到对应界面的控制台测试是否可以选择DOM。比如京东就不能使用querySelector。因为

　　京东的子接口全部使用jQuery，所以我们可以使用jQuery。简而言之，我们可以使用他们开发的所有可以使用的选择器，否则我们不能。接下来直接爬取Node.js官网首页，直接生成PDF。不管你是否了解 Node.js 和 puppeteer 爬虫，你都可以做到。请仔细阅读本文档并按顺序执行此项目的每个步骤。实现需求：给我们一个网页地址，抓取他的网页内容，输出成我们想要的PDF格式文档。请注意是高质量的PDF文档TIPS：本项目的设计思路是一个网页和一个PDF文件，所以每次爬取一个页面后，请复制index.pdf，然后继续修改url地址，继续爬取，生成新的PDF文件。当然，您也可以通过循环编译等方式一次抓取多个。网页生成多个PDF文件。

　　对应京东首页等图片懒加载的网页，部分爬取的内容处于加载状态。对于有一些反爬虫机制的网页，爬虫也会有问题，但是绝大多数网站Its all可能

　　文件解构设计

　　数据在这个时代非常宝贵。根据网页的设计逻辑，通过选择特定href的地址，可以先直接获取对应的资源，也可以再次使用page.goto方法进入，然后调用page.evaluate()处理逻辑，或者输出对应的PDF文件，当然也可以一次输出多个PDF文件~

　　这里就不过多介绍了。毕竟，Node.js 可以上天堂，也许以后真的可以做到一切。这么高质量的短教程，请采集

　　或者转发给你的朋友，谢谢。