采集器采集源(采集分页分页是post的方式(图)_光明网(组图))
优采云 发布时间: 2021-11-11 12:18采集器采集源(采集分页分页是post的方式(图)_光明网(组图))
当采集 列表被分页时,每个人都会遇到。点击下一页页面内容变了,但浏览器地址没变。在这种情况下,分页方法是 post 方法。今天我们就来谈谈这种情况。如何获取分页,使用这个网址
让我们举个例子。
首先你得会使用fiddler抓包,(教程:),这里假设你已经掌握了fiddler的使用,我们打开fiddler,点击下面的标签,看看fiddler抓到了什么。
我们点击第三页和第五页,分别抓包看看分别得到了什么。
这是第 5 页上的数据包捕获:
上图不容易比较两者的区别。我们在保存的文本中比较结果非常方便。使用“在记事本中查看”按钮将结果保存在文本中进行比较:
根据上图对比,我们发现ec_p的值是paging,到这里大家就明白了。
ec_crd=32&ec_p=5&id=1&pid=7&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice= 这些是提交的值。如何在 采集器 中设置它们?如下所示
我们看到除了ec_p,还有ec_crd等其他参数。那么这些是什么?我们去页面源码一探究竟。让我们以 ec_crd 参数为例,其他一切都一样。
在这个源代码中,我们最终会得到它的值,即“32”。如何在采集中获取
获取采集器中的设置,如下图所示。在采集器中,这样的参数被称为后随机值。
用同样的方法获取所有的随机值,然后按照相加的顺序使用[POST随机值1]、[POST随机值2]...[POST随机值n]。
(资源库)