vba 网页数据抓取(本文所演示的翻页规则,可到资源库下载学习:完整信息抓取_京东搜索列表图1)
优采云 发布时间: 2021-10-20 00:03vba 网页数据抓取(本文所演示的翻页规则,可到资源库下载学习:完整信息抓取_京东搜索列表图1)
观看视频教程
在抓取网页时,由于文本内容存储在多个文本节点中,有时会遇到只抓取到目标抓取内容的一部分,如图1所示的情况。
注1:本文演示的翻页爬取规则可从资源库下载学习:完整信息爬取_京东搜索列表
图1
如图1所示,浏览器窗口中显示的完整信息实际上是在网页结构窗口中的多个文本文本节点中显示的。为了捕获完整的信息,您需要执行高级设置以收录多个文本文本节点。块节点被抓取。
一、高级设置
图 2 高级设置
如图2所示,具体操作步骤如下: 图1为浏览器窗口显示的完整信息。在网页结构窗口中,一个块节点下实际上有多个文本文本节点。然后我们需要抓取块节点中的所有文本内容。MS魔说不能直接映射出块节点的内容,需要先设置后才能映射内容。
1.检查高级设置。
2.选择文本内容,我们只需要block节点中的文本内容,所以这里勾选文本内容。二、映射区块节点
图 3 内容映射
如图3所示,具体步骤如下
1. 在浏览器窗口中,点击要抓取的网页内容,在网页结构窗口中找到收录完整信息的区块节点,进行内容映射。
图 4 抓取内容
如图4所示,具体步骤如下
点击测试按钮,查看我们抓取的内容。现在我们抓取的不是产品名称的一部分,而是所有的产品名称
保存规则后就可以启动DS计数器爬取数据了