优采云采集器如何采集中的数据呢?(图)
优采云 发布时间: 2021-03-22 23:33优采云采集器如何采集中的数据呢?(图)
通常,当采集列出数据时,将进行分页,采集的分页数据又如何呢?在优采云 采集器中,我们可以采集以下几种分页类型
1.自动识别分页
优采云 采集器可以通过选择页面设置->自动识别页面来识别90%的页面元素。
2.手动设置分页
当无法自动识别时,我们需要手动设置分页。如何手动设置分页?
首先选择分页设置->手动设置分页,单击以选择分页元素,在浏览器中找到下一个页面元素,然后单击。
3.瀑布式分页
如今,许多网页都使用瀑布式分页技术,例如Baidu Pictures,知乎和Toutiao。对于此类网页,请直接选择瀑布式分页。 采集器将自动滚动到页面,直到分页完成。
4.瀑布流+页面编号的组合
某些网站将以瀑布流+分页页码的形式显示,例如,仅向下滚动5次后才显示分页页码。步骤如下:
使用脚本命令手动添加滚动命令,专门设置滚动页面和滚动间隔时间,您需要测试特定的网站。第三步是设置。在其他设置中,选中“在分页上执行采集”脚本,以便每次打开分页时都将执行滚动命令。
加载更多表格
某些网站将使用“加载更多”按钮显示更多数据。 采集对于此类页面,我们需要手动设置分页,然后单击“加载更多”作为下一页按钮。
设置采集最大分页
您可以将最大页数设置为采集。更新采集时这是必需的。例如,每天网站更新前3页中的内容,我们可以将最大分页设置为3页。