详细描述:分页采集
优采云 发布时间: 2020-09-02 17:00分页采集
通常,当采集列出数据时,将进行分页,采集的分页数据又如何呢?在优采云 采集器中,我们可以采集以下类型的分页
1. 自动识别分页符
优采云 采集器可以通过选择页面设置->自动识别页面来识别90%的页面元素.
2. 手动设置分页
当无法自动识别时,我们需要手动设置分页. 如何手动设置分页?
首先选择分页设置->手动分页,单击以选择一个分页元素,在浏览器中找到下一个页面元素,然后单击.
3. 瀑布式分页
如今,许多网页都使用瀑布式分页技术,例如Baidu Pictures,知乎和头条. 对于这种类型的网页,直接选择瀑布式分页. 采集器将自动滚动到页面,直到分页完成.
4. 瀑布流+页面编号的组合
某些网站将以瀑布流+分页页码的形式显示,例如,仅向下滚动5次后才显示分页页码. 步骤如下:
使用脚本命令手动添加滚动命令,专门设置滚动页面和滚动间隔时间,并且需要测试特定的网站. 第三步是设置. 在其他设置中,选中“在分页上执行采集”脚本,以便每次打开分页时都将执行滚动命令.
加载更多表格
某些网站将使用“加载更多”按钮显示更多数据. 采集对于此类页面,我们需要手动设置分页,然后单击“加载更多”作为下一页按钮.
设置采集最大分页
您可以将最大页数设置为采集. 更新采集时这是必需的. 例如,每天网站更新前3页中的内容,我们可以将最大分页设置为3页.