网页表格抓取(数据函数制作你去网上搜索要去的海滩潮汐表)

优采云 发布时间: 2022-01-23 18:02

  网页表格抓取(数据函数制作你去网上搜索要去的海滩潮汐表)

  夏日的海浪和沙滩是避暑的首选,但如果你不是常年住在海边的朋友,对大海的潮汐情况了解不多,所以如果你想拥有一个完美的海边旅行,一定要提前计划,了解你要去的海边的抄袭规则。.

  

  数据采集​​功能制作

  你去网上搜索你想去的海滩的潮汐表,会有很多答案。喜欢这个网站,简单直接,稍微看了下,这个网站的数据格式还是蛮有意思的。方括号 括起来的数据使用时间戳来记录时间。为了正确显示时间,需要一个转换公式将时间戳转换为标准时间。

  

  这种格式也很容易处理。毕竟,它非常整洁。使用“],[”符号分隔列,然后反转透视,并替换不必要的符号:

  

  接下来是时间转换:

  

  解释这个公式:

  ([value.1]+8*3600)/24/3600+70*365+19

  所以时间戳就是当前时间减去1970-1-1的时间差,以秒为一个数量级来表示。

  公式是小数,格式可以改成日期和时间:

  

  以上步骤是爬取单个网页的过程。该 URL 可直接用于爬取数据。有两个关键数据:

  一个是12代表端口,另一个是日期

  我们把上面的单次抓取过程做成一个函数,用两个参数调用这个函数:

  

  中间有很多步骤,不用管它,只要修改上面的参数和应用参数的位置即可。

  另一个问题是如何获取端口的代码?

  我们回到网站端口选择页面,有一个端口列表,以文本格式抓取这个页面,简单几步就可以得到一个端口和编号的对照表。

  

  让我们做两个测试:

  多个港口同一天的潮汐数据抓取:

  使用上面最后一步的结果,自定义列引用函数:

  

  然后展开表,删除不必要的列,加载数据

  

  做一个简单的切片查询:

  

  8月2日全国485个港口的潮汐数据查询已准备就绪。

  单港口未来15天潮汐查询

  我们要准备一个表格,一个日期列表,转换成文本格式,调用函数:

  

  展开表并加载数据:

  

  让我们将所有这些天的数据放到一张图表中:

  

  可以看出,营口鲅鱼圈是8月2日至4日的大潮,农历七月初二至初四。

  

  8月3日中午12时,潮位退至最低位。如果从沉阳出发,2.5小时到达鲅鱼圈,早上起床吃早餐,出发,中午赶海,晚上返回沉阳。

  更多Power Query学习资料,请订阅:

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线