如何抓取网页视频(研究微信小程序的云开发功能，有一定的参考价值)

　　如何抓取网页视频(研究微信小程序的云开发功能，有一定的参考价值)

　　本文文章给大家带来的内容是关于微信小程序爬取网页内容的node.js实现。有一定的参考价值。有需要的朋友可以参考。我希望它会对你有所帮助。

　　最近在研究微信小程序的云开发功能。云开发最大的好处是不需要在前端搭建服务器，可以利用云能力编写一个可以从头启动的微信小程序，免去购买服务器的成本，对于个人来说尝试从前台到后台练习微信小程序。发展还是不错的选择。一个微信小程序一天就可以上线。

　　云开发的优势

　　云开发为开发者提供完整的云支持，弱化后端和运维的概念，无需搭建服务器，利用平台提供的API进行核心业务开发，实现快速上线和迭代。同时，这种能力与开发者的能力是一样的。所使用的云服务相互兼容，并不相互排斥。

　　云开发目前提供三个基本能力：

　　云端功能：代码在云端运行，微信私有协议自然认证，开发者只需编写自己的业务逻辑代码

　　数据库：一个JSON数据库，可以在小程序前端操作，也可以在云函数中读写

　　存储：小程序前端直接上传/下载云文件，在云开发控制台可视化管理

　　好了，我介绍了这么多关于云开发的知识，感性的同学可以去研究学习。官方文档地址：

　　网页内容抓取

　　小程序是回答问题，所以问题的来源是一个问题。在网上搜索，一个贴一个贴一个主题是一种方式，但是这种重复的工作估计贴10次左右就放弃了。于是我想到了网络爬虫。拿起我之前学过的节点就行了。

　　必备工具：

　　啦啦队。一个类似于服务器端 JQuery 的包。它主要用于分析和过滤捕获的内容。

　　Node 的 fs 模块。这是node自带的模块，用于读写文件。这里用来将解析后的数据写入json文件中。

　　Axios（非必需）。用于抓取网站的HTML页面。因为我想要的数据是在网页上点击一个按钮后渲染出来的，所以不能直接访问这个网址。我别无选择，只能复制我想要的内容，将其另存为字符串，然后解析该字符串。

　　接下来可以使用npm init初始化一个node项目，一路回车生成package.json文件。

　　然后 npm install --save axios Cheerio 安装cheerio 和 axios 包。

　　关键是用cheerio实现了一个类似jquery的功能。只需点击抓取的内容cheerio.load(quesitons)，然后就可以按照jquery的操作来获取dom，组装你想要的数据了。

　　最后，使用 fs.writeFile 将数据保存到 json 文件中，就大功告成了。

　　具体代码如下

　　let axios = require("axios");

let cheerio = require("cheerio");

let fs = require("fs");

// 我的html结构大致如下，有很多条数据

const questions = `

举头望明月，__________。

回首白云低

低头思故乡

当春乃发生

红掌拨清波

__________，却话巴山夜雨时。

何当共剪西窗烛

在天愿做比翼鸟

世味年来薄似纱

两岸青山相对出

..........

`;

const $ = cheerio.load(quesitons);

var arr = [];

for (var i = 0; i < 300; i++) {

var obj = {};

obj.quesitons = $("#q" + i).find(".question").text();

obj.A = $($("#q" + i).find(".answer")[0]).text();

obj.B = $($("#q" + i).find(".answer")[1]).text();

obj.C = $($("#q" + i).find(".answer")[2]).text();

obj.D = $($("#q" + i).find(".answer")[3]).text();

obj.index = i + 1;

obj.answer =

$($("#q" + i).find(".answer")[0]).attr("value") == 1

? "A"

: $($("#q" + i).find(".answer")[1]).attr("value") == 1

? "B"

: $($("#q" + i).find(".answer")[2]).attr("value") == 1

? "C"

: "D";

arr.push(obj);

}

fs.writeFile("poem.json", JSON.stringify(arr), err => {

if (err) throw err;

console.log("json文件已成功保存！");

});

　　保存到json后的文件格式如下，这样就可以通过json文件上传到云服务器了。

　　预防措施

　　对于微信小程序云开发的数据库，需要注意上传json文件的数据格式。之前一直报格式错误，后来发现JSON数据不是数组，而是类似于JSON Lines，即每个记录对象之间用n分隔，而不是逗号。所以需要对node写的json文件做一点处理，才能上传成功。

　　以上就是微信小程序的node.js实现抓取网页内容的详细内容。更多详情请关注其他相关php中文网站文章！

　　免责声明：本文转载于：segmentfault 想想，如有侵权，请联系删除