js提取指定网站内容(大部分分享)

　　js提取指定网站内容(大部分分享)

　　小编将与大家分享如何使用Node.js抓取任何网络资源，并将PDF文件输出到本地。相信大部分人还不太了解，所以分享这个文章供大家参考，希望大家看完这个文章，学到很多东西，一起来看看吧！

　　要求：

　　如果你是技术人员，那可以看我下一个文章，否则请直接移到我的github仓库看文档直接使用

　　仓库地址：附文件和源代码

　　此需求中使用的技术：Node.js 和 puppeteer

　　做个小测试，爬取京东资源

　　const puppeteer = require('puppeteer'); // 引入依赖 

(async () => { //使用async函数完美异步 

const browser = await puppeteer.launch(); //打开新的浏览器

const page = await browser.newPage(); // 打开新的网页 

await page.goto('https://www.jd.com/'); //前往里面 'url' 的网页

const result = await page.evaluate(() => { //这个result数组包含所有的图片src地址

let arr = []; //这个箭头函数内部写处理的逻辑 

const imgs = document.querySelectorAll('img');

imgs.forEach(function (item) {

arr.push(item.src)

})

return arr 

});

// '此时的result就是得到的爬虫数据，可以通过'fs'模块保存'

})()

　　复制过去。使用命令行命令`node file name`运行获取爬虫数据。这个 puppeteer 包实际上为我们打开了另一个浏览器，重新打开了网页，并获取了他们的数据。

　　注意，以上所有逻辑都是puppeteer包帮我们在不可见的地方打开另一个浏览器，然后处理逻辑，所以最后我们必须调用browser.close()方法关闭那个浏览器。

　　此时，我们优化了上一篇文章中的代码，抓取了相应的资源。

　　const puppeteer = require('puppeteer');

(async () => {

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto('https://www.jd.com/');

const hrefArr = await page.evaluate(() => {

let arr = [];

const aNodes = document.querySelectorAll('.cate_menu_lk');

aNodes.forEach(function (item) {

arr.push(item.href)

})

return arr

});

let arr = [];

for (let i = 0; i  { //这个方法内部console.log无效 

return $('title').text(); //返回每个界面的title文字内容

});

arr.push(result) //每次循环给数组中添加对应的值

}

console.log(arr) //得到对应的数据 可以通过Node.js的 fs 模块保存到本地

await browser.close()

})()

　　上面有个天坑。 page.evaluate函数内部的console.log无法打印，内部无法获取外部变量，只能返回return。

　　使用的选择器在使用前必须先到对应界面的控制台测试是否可以选择DOM。比如京东就不能使用querySelector。因为

　　京东的子接口全部使用jQuery，所以我们可以使用jQuery。简而言之，我们可以使用他们开发的所有可以使用的选择器，否则我们无法使用。

　　接下来直接爬取Node.js的官网首页，直接生成PDF

　　无论您是否了解 Node.js 和 puppeteer 爬虫，您都可以做到。请仔细阅读本文档并按顺序执行每一步

　　本项目的实现需求：给我们一个网页地址，抓取他的网页内容，然后输出成我们想要的PDF格式文档。请注意这是一个高质量的PDF文档

　　TIPS：本项目的设计思路是一个网页和一个PDF文件，所以每次抓取单个页面时，请复制index.pdf，然后继续更改url地址，继续抓取，并生成一个新的 PDF 文件。当然，您也可以通过循环编译等方式一次性抓取多个网页生成多个PDF文件。

　　对应京东首页等图片懒加载的网页，部分爬取的内容处于加载状态。对于有一些反爬虫机制的网页，爬虫也会有问题，但是绝大多数网站Its all可能

　　const puppeteer = require('puppeteer');

const url = require('./url');

(async () => {

const browser = await puppeteer.launch({ headless: true })

const page = await browser.newPage()

//选择要打开的网页 

await page.goto(url, { waitUntil: 'networkidle0' })

//选择你要输出的那个PDF文件路径，把爬取到的内容输出到PDF中，必须是存在的PDF，可以是空内容，如果不是空的内容PDF，那么会覆盖内容

let pdfFilePath = './index.pdf';

//根据你的配置选项，我们这里选择A4纸的规格输出PDF，方便打印

await page.pdf({

path: pdfFilePath,

format: 'A4',

scale: 1,

printBackground: true,

landscape: false,

displayHeaderFooter: false

});

await browser.close()

})()

　　文件解构设计

　　数据在这个时代非常宝贵。根据网页的设计逻辑，通过选择特定href的地址，可以先直接获取对应的资源，也可以再次使用page.goto方法进入，然后调用page.evaluate()处理逻辑，或者输出对应的PDF文件，当然也可以一次输出多个PDF文件~

　　以上是《如何使用Node.js抓取任何网络资源并将PDF文件输出到本地》文章的全部内容，感谢阅读！相信大家都有一定的了解，希望分享的内容对大家有所帮助。想了解更多，请关注一宿云行业资讯频道！