自动采集数据(本文介绍使用优采云采集百度地图商家(以上海-火锅商家为例))
优采云 发布时间: 2021-09-08 07:01自动采集数据(本文介绍使用优采云采集百度地图商家(以上海-火锅商家为例))
本文介绍优采云采集百度地图商户的使用方法(以上海火锅商户为例)采集网站:/适用版本:版本8请参考官网初学者教程制作
版本8新手入门教程:用优采云-优采云采集器抓取网页数据的基本操作
使用功能点:
l 列表及详细信息采集
l 文字循环教程
l AJAX 点击和翻页
第一步:创建采集task
1)进入主界面,选择“自定义采集”
2)将采集的网站URL复制粘贴到输入框中,点击“保存URL”
步骤二:输入采集information
1)点击页面上的城市选择框
2)选择“点击此链接”进入城市选择页面
3)选择你想要的城市采集,这里以上海为例。首先选择“上海”,然后在操作提示框中选择“点击此链接”进入上海地图
4)首先点击地图上的输入框,然后在右侧的操作提示框中选择“输入文字”
5)在操作提示框中输入要查询的文字。在这里输入“火锅”。输入后点击“确定”
6) 我们可以看到“火锅”自动填入了输入框。首先点击“搜索”按钮,然后在右侧的操作提示框中选择“点击此按钮”
第 3 步:创建翻页循环
1) 我们可以看到页面上出现了火锅商家的搜索结果。将结果页面下拉到底部,然后单击“下一页”按钮。在右侧的操作提示框中,选择“循环点击下一页”,创建翻页循环
第 4 步:创建一个列表循环
1)首先在搜索结果页面选择火锅商家的第一个链接,系统会自动识别相似元素,在操作提示框中选择“全选”
2)在操作提示框中选择“点击循环中的每个链接”创建列表循环
第 5 步:提取业务信息
1)列表周期创建完成后,系统会自动点击第一个火锅商户链接,进入商户详情页面。首先点击你想要采集的字段(这里点击商家名称),然后在操作提示框中选择“采集this element's text”
2) 继续点击你想要采集的字段,选择“采集元素的文本”。 采集 的字段会自动添加到上面的数据编辑框中。选择对应的字段,可以自定义字段的命名。自定义命名完成后,点击“保存并启动采集”
3)经过以上操作,整个流程图就建立好了。在保存和启动任务之前,我们还需要设置一些高级选项。首先选择第一个“点击元素”步骤,然后打开“高级选项”,勾选“Ajax加载数据”,时间设置为“2秒”
4)第二个“点击元素”步骤,第三个“点击元素”步骤,第四个“点击元素”步骤,以及“点击翻页”步骤(如下图红框所示)都是必须的勾选“Ajax加载数据”并将时间设置为“2秒”
注:AJAX 是一种延迟加载和异步更新的脚本技术。通过后台与服务器的少量数据交换,无需重新加载整个网页即可更新网页的某一部分。
性能特点:当你点击网页上的一个选项时,网站的大部分网址不会改变;湾网页未完全加载,只是部分加载了数据并发生了更改。
验证方法:点击操作后,URL输入栏在浏览器中不会出现加载状态或转动状态。
5)点击左上角“保存并启动”,选择“启动本地采集”
第六步:数据采集并导出
1)采集 完成后会弹出提示,选择“导出数据”。选择“合适的导出方式”导出采集好数据
2)这里我们选择excel作为导出格式,导出数据如下图
希望本文档的介绍能让您掌握百度地图信息网页data采集,您可以尝试下载优采云官网优采云最新版客户端,或关注优采云官方微信了解更多教程案例。
优采云·网页数据三分钟上手采集software·免费软件
点击链接进入官网
优采云采集器-最好的网页数据采集器