自动抓取网页数据(GET/POST方法的差异,简单的查询都用POST)

优采云 发布时间: 2022-02-17 20:06

  自动抓取网页数据(GET/POST方法的差异,简单的查询都用POST)

  这个文章我不建议你采集它,因为你不会打开它。我建议你现在花5分钟时间阅读这篇文章,用这5分钟真正掌握一个知识点。

  直到最近才发现,最初捕获 BDI 和 BHSI 指数的 网站 将在 2021 年之后不再更新:

  

  没有别的办法,只好另找数据源了。当然,这个索引是随便搜的,还有很多:

  

  既然这是第一位的,让我们接受它。

  通过chrome浏览器输入网站后,右键菜单【勾选】查看参数(视频无声音,公共场所可以放心播放):

  

  哎,这么简单的查询使用POST方法作为请求……

  不过没关系,简单的POST请求类网站数据抓取起来并不复杂,虽然不像GET类网站可以直接粗暴的通过一个URL来处理。

  

  关于GET/POST方法的区别,简单来说,GET类主要是用来传递一些简单的参数来实现数据查询,所以这些参数会直接添加到URL中,而POST类主要是用于查询条件比较对于复杂的情况,这些参数会以表格的形式传输。当然,既然POST方法可以用在复杂的情况下,当然也可以用在简单的情况下,比如上面的例子。(关于GET/POST更详细的信息,感兴趣的朋友可以搜索一下,但非IT专业人士一般不需要了解太多,知道有这种东西,需要的时候知道怎么找方法,或者知道如何问别人可能就足够了)。

  

  那么,在 Power Query 中,如何从 POST 网页中获取数据呢?记住以下三个要点:

  有点复杂,不是吗?这些东西是从哪里来的?事实上,这很简单。您可以通过 Chrome 中的“检查”功能轻松获取此信息:

  

  甚至在点击“查看源代码”之后,你也可以直接看到这些参数最终传递时的样子:

  

  

  有了这三个项目,就可以在 Power Query 中实现数据抓取。

  其中,前两项可以直接复制粘贴到对应的框中,但是参数需要通过Text.ToBinary转换成二进制内容再手动输入到Content参数中(视频没有声音,可以在公共场所自信地玩耍):

  

  通过这种方式,很容易为简单的 POST 请求获取 Web 数据抓取。

  【近期热门合集/文章】

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线