详细描述:分页采集

优采云 发布时间: 2020-09-02 17:00

  分页采集

  通常,当采集列出数据时,将进行分页,采集的分页数据又如何呢?在优采云 采集器中,我们可以采集以下类型的分页

  1. 自动识别分页符

  优采云 采集器可以通过选择页面设置->自动识别页面来识别90%的页面元素.

  

  2. 手动设置分页

  当无法自动识别时,我们需要手动设置分页. 如何手动设置分页?

  首先选择分页设置->手动分页,单击以选择一个分页元素,在浏览器中找到下一个页面元素,然后单击.

  

  3. 瀑布式分页

  如今,许多网页都使用瀑布式分页技术,例如Baidu Pictures,知乎和头条. 对于这种类型的网页,直接选择瀑布式分页. 采集器将自动滚动到页面,直到分页完成.

  4. 瀑布流+页面编号的组合

  某些网站将以瀑布流+分页页码的形式显示,例如,仅向下滚动5次后才显示分页页码. 步骤如下:

  使用脚本命令手动添加滚动命令,专门设置滚动页面和滚动间隔时间,并且需要测试特定的网站. 第三步是设置. 在其他设置中,选中“在分页上执行采集”脚本,以便每次打开分页时都将执行滚动命令.

  

  加载更多表格

  某些网站将使用“加载更多”按钮显示更多数据. 采集对于此类页面,我们需要手动设置分页,然后单击“加载更多”作为下一页按钮.

  设置采集最大分页

  您可以将最大页数设置为采集. 更新采集时这是必需的. 例如,每天网站更新前3页中的内容,我们可以将最大分页设置为3页.

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线