网站内容采集系统(本文介绍使用优采云采集百度地图商家(以上海-火锅商家为例) )

优采云 发布时间: 2022-01-10 02:09

  网站内容采集系统(本文介绍使用优采云采集百度地图商家(以上海-火锅商家为例)

)

  本文介绍优采云采集百度地图商家的使用方法(以上海-火锅商家为例)采集网站:

  使用功能点:

  文本循环教程

  Ajax 点击和翻页

  列表和详细信息采集

  百度地图:百度地图是为用户提供智能路线规划、智能导航(行车、步行、骑行)、实时路况等出行相关服务的平台。

  百度地图商户采集资料说明:本文对百度地图商户(以上海-火锅商户为例)进行了采集。本文仅以“百度地图商家(以上海-火锅商家为例)信息采集”为例。在实际操作过程中,可以将百度地图的其他内容替换为数据采集。

  百度地图商户采集详细说明:商户名称、商户评级、商户参考价格、商户位置、商户类别、商户具体地址、商户联系电话。

  第 1 步:创建一个 采集 任务

  1)进入主界面,选择“自定义采集”

  

  2)把你要采集的网站网址复制粘贴到输入框中,点击“保存网址”

  

  第 2 步:输入 采集 信息

  1)点击页面上的城市选择框,然后在操作提示框中,选择“更多操作”

  

  2)选择“点击该元素”进入城市选择页面

  

  3)选择你想要的城市采集,这里以上海为例。先选择“上海”,然后在操作提示框中选择“点击此链接”进入上海地图

  

  4)点击地图上的输入框,然后在右侧的操作提示框中选择“输入文字”

  

  5)在操作提示框中,输入要查询的文字。在这里输入“火锅”。输入完成后点击“确定”

  

  6)我们可以看到“火锅”自动填入了输入框。先点击“搜索”按钮,然后在右侧的操作提示框中,选择“点击此按钮”

  

  第 3 步:创建翻页循环

  1)我们可以看到页面上出现了火锅商家的搜索结果。将结果页面向下滚动到底部,然后单击“下一步”按钮。在右侧的操作提示框中,选择“循环点击下一页”,创建翻页循环

  

  第 4 步:创建列表循环

  1)首先在搜索结果页面选择第一个火锅商户的链接,系统会自动识别相似元素,在操作提示框中选择“全选”

  

  2)在动作提示框中,选择“Loop through each link”创建列表循环

  

  第五步:提取业务信息

  1)列表循环创建完成后,系统会自动点击第一个火锅商户链接,进入商户详情页面。先点击要为采集的字段(此处点击商家名称),然后在操作提示框中,选择“采集该元素的文字”

  

  2)继续点击你要采集的字段,选择“采集Text for this element”。采集 的字段会自动添加到上面的数据编辑框中。选择对应的字段,可以自定义字段的命名

  

  3)经过以上操作,整个流程图就建立好了。在保存和启动任务之前,我们还需要设置一些高级选项。先选择第一步的“点击元素”,然后打开“高级选项”,勾选“Ajax加载数据”,设置时间为“2秒”,最后点击“确定”

  

  4)第二个“点击元素”步骤、第三个“点击元素”步骤、第四个“点击元素”步骤和点击翻页步骤(如下图红框所示),都需要勾选“ Ajax加载数据”,设置时间为“2秒”,最后点击“确定”

  

  注意:Ajax 是一种延迟加载和异步更新的脚本技术。通过在后台与服务器交换少量数据,可以在不更新和加载整个网页的情况下更新网页的某一部分。

  性能特点: a.当点击网页上的某个选项时,网站的大部分URL不会改变;湾。网页没有完全加载,而只是部分加载了数据,这些数据会发生变化。

  验证方法:点击操作后,在浏览器中,URL输入栏不会出现在加载状态或圆圈状态。

  5)点击左上角的“Save and Launch”,选择“Launch Local采集”

  

  第 6 步:数据采集 和导出

  1)采集完成后会弹出提示,选择“导出数据”。选择“合适的导出方式”导出采集好的数据

  

  2)这里我们选择excel作为导出格式,导出数据如下图

  

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线