文章网址采集器(如何使用优采云采集器V9采集POST请求的数据(图))

优采云 发布时间: 2021-10-20 09:02

  文章网址采集器(如何使用优采云采集器V9采集POST请求的数据(图))

  一般情况下,我们的采集的网站都是get请求,所以我们可以打开URL获取页面的源码,然后根据采集的字段进行匹配源代码。但是如果URL请求方式是post方式,这种处理方式显然是不可行的。那么如何使用优采云采集器V9,采集POST请求的数据。下面我们用一个案例来详细讲解。案例网站:

  采集内容:如下图

  

  网站分析:

  通过点击页面选项卡,发现URL没有变化,说明这不是真实的数据列表地址,这时需要使用抓包软件Fiddler抓包分析。如何使用Fiddler抓包,后面会单独讲解。希望大家关注这个网站。如果你真的不会使用Fiddler,也可以考虑使用火狐浏览器的开发工具来分析地址变化。

  打开抓包软件,点击页面

  

  ,我们可以分析通过抓包软件获取的信息,得出该页面需要使用POST函数获取数据的结论。如图:

  

  图中的第一个位置是找到对应数据所在的URL。如果您不确定,您可以尝试更多。一般来说,你一眼就能知道是哪一个。可以通过图片上的两个地方来判断是否是数据URL。你可以在两个地方看到它。所需数据正确。

  然后通过图中的3个位置查看URL请求类型和cookie。我们可以看到URL应该是POST类型的,图中4是要Post的参数值。接下来,我们需要将Post URL:""复制到采集器软件启动URL,如图:

  

  要设置POST,需要点击高级模式,然后我们添加一个一级列表。在这里,我们仍然获取内容页面 URL 规则。内容页面URL规则通过抓包获取。抓包参考上图中的位置2,通过这个源码URL规则可以找到内容。

  

  接下来是 Post 设置。如上所述,图中的4个地方是post参数值。现在我们需要复制参数值的字符串,即“page=2&keywords=&pid=2&Package=&OutputPower=&NoofOutput=&VoutVDC=&VinVDC=&IsolationVDC="复制到采集器,我们需要将分页参数2更改为变量[page],然后设置页数,这样Post就设置好了,如下图:

  

  当然,这只是最简单的后期案例。复杂的会有更多的参数和变量,但最基本的原理还是这个。最重要的是学会抓包和分析。有时您可能不知道哪个参数是页数。可以多抓几页,把参数复制到记事本中进行比较。一般来说,人脸码的数量是有规律变化的。通过比较规则可以知道哪个参数是页数。值得。

  如果看完上面的解释,你对优采云采集器V9、采集POST请求数据还有疑问。您可以直接联系站长进行咨询,站长会尽快为您解答。

  如果还有其他问题,可以来本站搜索相关问题,这里有你想要的答案:优采云脚本网

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线