excel抓取网页数据(我们借鉴之前抓取台风路径数据的例子,抓取降水量数据)
优采云 发布时间: 2022-02-07 00:13excel抓取网页数据(我们借鉴之前抓取台风路径数据的例子,抓取降水量数据)
我们借鉴之前抓取台风轨迹数据的例子,尝试抓取降水数据:
我们之前访问过这个网站并尝试爬取数据,但是在谷歌浏览器中我们只能找到两天的数据,但是通过台风路径数据抓取,我们猜测只要我们正确询问服务器即可查询参数可以返回相应的结果,报这个想法,我们试试。
网站分析
这个网站一点都不复杂,只要提供年月日作为查询参数,后面的数据乱码也没关系,在Power Query中可以识别.
试着抓
如果无法自动识别代码,请修改此参数。65001 对应 utf8。我国的网站通常有两种编码,GB2312和utf8。GB2312对应936或20936。
无需特殊验证,直接抓取即可。
定义函数
其实可以在上面采访的基础上扩展数据后定义函数:
这样我们函数的结果就是一张表,否则就是一条记录,需要整理一下。
s=Table.FromRows(t[data][data],t[data][header])
这句话是把记录转换成表格,当然这不是通用的,只是为了这条记录的格式。
让我们调用这个函数:
上面的2020032101是我们能抓到的最早的数据,也就是说这个网站提供了从2020年3月21日1:00开始的24小时降雨数据,当然也有1小时降雨。所以如果我们要抓取24小时的降雨量,我们需要列出一个日期列表,然后根据日期列表抓取数据。1小时、6小时、13小时的降雨量采集方法可参照本文方法。
抓
准备:制作日期清单
使用 List.Dates 函数列出日期表并将其转换为文本格式:
使用Date.ToText([date],"yyyyMMdd"),这里要注意月份用大写M,不能小写,小写m会返回分钟。
调用函数获取数据:
展开数据:
下载数据:
各省市日均降雨量