优采云怎么爬取详情页?,怎么办?
优采云 发布时间: 2021-05-30 06:15优采云怎么爬取详情页?,怎么办?
1. 一般来说,如果要抓取详情页的数据,会先抓取列表数据(有详情页的链接),然后再具体抓取详情页的数据。
2. 抓取详细列表数据的步骤:
1.打开网页
2.循环翻页(注:优采云免费版一次只能抓取1w条数据,所以需要设置循环执行次数,避免超过1w条数据)
3.循环采集列出数据,即页面上有多少数据
4.提取数据(重点):如果你对xpath不熟悉,可以下载火狐的两个插件,可以很方便的获取指定数据的xpath。
下载火狐插件需要下载5.5之前的版本。下载后,去掉自动更新,然后导入debug和xpath插件,重启火狐浏览器。
然后添加必填字段并写入指定数据的xpath。相对路径和绝对路径都要写
然后点击获取方法,即文本,即可获取指定数据
注意:有时会从指定页面采集开始,如果url有规则,那是自然的,如果没有规则,则需要在优采云中进行配置
打开网页,数据文本(指定多少页),点击元素(跳转到多少页),然后循环点击下一页采集数据。循环翻页时,必须计算不超过1w个数据
3. 抓取详情页面数据:
列表爬取后,会得到详情页的url,此时需要将url输入到循环url列表中,优采云会循环这个和url列表中的url来获取数据。