采集器采集源(采集分页分页是post的方式(图)_光明网(组图))
优采云 发布时间: 2021-10-01 16:07采集器采集源(采集分页分页是post的方式(图)_光明网(组图))
当采集 列表被分页时,每个人都会遇到。页面内容通过点击以下页面改变,但浏览器地址没有改变。在这种情况下,分页是发布的方式。今天我们就来谈谈这种情况。如何获取分页,使用这个网址
让我们举个例子。
首先你需要使用fiddler来抓包,(教程:),这里假设你已经掌握了fiddler的使用,我们打开fiddler点击下面的页面就可以看到fiddler已经抓到了
发生了什么。
我们点击第三页和第五页,分别抓包看看分别得到了什么。
这是第 5 页上的数据包捕获:
上图不容易比较两者的区别。我们在保存的文本中比较结果非常方便。使用“在记事本中查看”按钮将结果保存在文本中以进行比较:
根据上图对比,我们发现ec_p的值是paging,到这里大家就明白了。
ec_crd=32&ec_p=5&id=1&pid=7&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice= 这些是提交的值。如何在 采集器 中设置它们?如下所示
我们看到除了ec_p,还有ec_crd等其他参数。那么这些是什么?让我们去页面的源代码中找到我们。我们以ec_crd参数为例,其他的事情也一样处理。
在这个源代码中,我们最终会得到它的值,即“32”。如何在采集中获取
获取采集器中的设置,如下图所示。在采集器 中,像这样的参数被称为后随机值。
用同样的方法获取所有的随机值,然后按照相加的顺序使用[POST随机值1]、[POST随机值2]...[POST随机值n]。
视频教程地址:
百度网盘: