无编程实现Power BI多页数据抓取,轻松提升数据分析效率
优采云 发布时间: 2023-04-15 13:30随着数据分析的日益普及,Power BI已经成为了越来越多企业和个人的首选工具。而在数据分析过程中,数据的获取是必不可少的一步,而多页数据的抓取则是一个比较常见的需求。本文将介绍如何使用Power BI实现多页数据抓取,无需编写代码,轻松搞定!
一、什么是Power BI?
在开始介绍多页数据抓取之前,我们先来了解一下Power BI是什么。
Power BI是由微软推出的一款商业智能工具,它可以帮助用户从各种数据源中提取、转换和加载数据,并将这些数据转化为可视化报表。Power BI支持多种数据源,并且可以通过连接器轻松地将不同的数据源汇聚到一起。
二、为什么需要多页数据抓取?
在实际的数据分析过程中,我们经常会遇到需要从网站上获取大量数据的情况。例如,在分析某个行业或市场时,我们可能需要获取该行业或市场所有公司的基本信息和财务信息。而这些信息通常被分散在不同的网页上,每个网页只显示部分信息。
如果手动逐页复制粘贴数据,不仅费时费力,而且容易出错。因此,我们需要一种自动化的方式来抓取多页数据。
三、Power BI如何实现多页数据抓取?
下面我们将介绍如何使用Power BI实现多页数据抓取。
1.准备工作
首先,我们需要准备好要抓取的网站,并确定网站上包含数据的URL模式。例如,我们要从某个分类信息网站上获取所有二手车信息,该网站的URL模式为:https://www.example.com/cars/page/1、https://www.example.com/cars/page/2、https://www.example.com/cars/page/3...以此类推。
2.创建查询
在Power BI中,我们可以通过创建“Web”查询来获取网页上的数据。在创建查询时,我们需要指定要抓取的第一页的URL,并设置查询选项以便获取更多页面的URL。
具体地,我们可以按照以下步骤进行操作:
(1)在Power BI中新建一个空白查询;
(2)选择“Web”选项卡,输入要抓取的第一页URL,并点击“确定”;
(3)Power BI会自动解析第一页HTML代码并显示在编辑器中;
(4)选择“高级编辑器”,在M语言脚本中添加以下代码:
let
Source = Web.Page(Web.Contents("https://www.example.com/cars/page/1")),
#"Data"= Source{0}[Data],
#"Next Page URL"=#"Data"{0}[#"Next Page"],
#"Page Count"= Number.FromText(Text.AfterDelimiter(#"Next Page URL","/page/")),
#"Page URLs"= List.Generate(
()=>[i=2, url="https://www.example.com/cars/page/2"],
<p> each [i]