自动采集器怎么用(如何使用优采云采集器采集这种类型网页里面详细信息页面数据 )

优采云 发布时间: 2021-09-08 00:02

  自动采集器怎么用(如何使用优采云采集器采集这种类型网页里面详细信息页面数据

)

  很多网站都会有这种模式,一个列表页面,点击列表中的一行链接会打开一个详细信息页面,今天教大家如何使用优采云采集器采集各类网页中详细信息页面的数据。

  首先打开优采云采集器→点击快速启动→新建任务,进入任务配置页面:

  

  选择任务组,自定义任务名称和备注;

  

  上图中的配置完成后,选择Next,进入流程配置页面,在流程设计器中拖动一步打开网页;

  

  选择在浏览器中打开网页的步骤,在右侧的网页网址中输入网页网址并点击保存,系统会在软件下自动在浏览器中打开相应的网页:

  

  创建一个循环来翻页。在上图浏览器页面点击下一步按钮,在弹出的对话框中选择循环点击下一页;

  

  翻页循环创建后,点击下图中的保存;

  

  因为如上图我们需要在浏览器中点击电影名称,然后在子页面中提取数据信息,所以需要做一个循环采集list。

  点击上图中第一个循环项,在弹出的对话框中选择创建元素列表处理一组元素;

  

  接下来在弹出的对话框中选择添加到列表中

  

  添加第一个循环项后,选择继续编辑列表。

  

  接下来,以同样的方式添加第二个循环项。

  

  当我们添加第二个循环项时,您可以查看上图。此时,页面上的其他元素已经添加。这是因为我们添加了两个具有相似特征的元素,系统会智能地在页面上添加其他具有相似特征的元素。然后选择创建列表完成→点击下图中的循环

  

  经过以上操作,采集list的循环就完成了。系统会在页面右上角显示该页面添加的所有循环项。

  

  因为每个页面都需要循环采集数据,所以我们需要把这个循环列表拖入翻页循环中。

  注意流程是从上一页开始执行的,所以这个循环列表需要放在点击翻页之前,否则会漏掉第一页的数据。最终流程图如下所示:

  

  经过以上操作,循环采集列表就完成了。系统会在页面右上角显示该页面添加的所有循环项。

  

  选择上图中第一个循环项,然后选择click元素。输入第一个子链接。

  接下来要提取数据字段,在上面的流程设计器中点击提取数据,然后在浏览器中选择要提取的字段,然后在弹出的选择对话框中选择该元素的文本;

  

  完成以上操作后,系统会在页面右上角显示我们要爬取的字段;

  

  接下来在页面上配置其他需要抓取的字段,配置完成后修改字段名称;

  

  修改完成后,点击上图中的保存按钮,然后点击图中的数据字段,可以看到系统会显示最终的采集列表;

  

  点击Next→Next→启动上图中的单机采集(调试模式),进入任务检查页面,确保任务的正确性;

  

  点击启动单机采集,系统会在本地执行采集进程并显示采集的最终结果;

  

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线