Power Query之数据获取

　　Power Query之数据获取

　　最近在学习power query，见识到power query的强大，在利用PowerBI做出酷炫的可视化报告之前，power query在获取数据阶段是功不可没的！

　　（以下简称PQ） PQ可以获取文件型、数据库型、power Platform、Azure、联机服务、其他等几种大类别数据，细分到具体的数据类型多达150+种，实际比较常用的数据源为Excel工作簿、文件夹、X数据库、Web等，以上几种基本能涵盖90%以上的数据需求啦~以下内容会重点分享从Excel工作簿导入、从文件夹导入和从WEB导入三种场景！

　　一、从Excel工作簿导入

　　选择从excel工作簿导入数据后，可以看到要导入的工作簿里的所有工作表，可以勾选需要导入的工作表后，选择【加载】或【转换数据】，两者的区别是：如果选择【加载】可直接传到powerBI数据表中等待使用，如果选择【转换数据】则会启动PQ编辑器，对要导入的数据进行初步调整，如“将第一行用作标题”、“调整数据类型”、“删除空白值或重复值”、“删除某些列”等等，所以如果要导入的数据不需要做什么清洗的可以直接选择【加载】

　　二、从文件夹导入

　　这种数据导入场景往往是需要将多个工作簿的数据汇总到一个工作表中，除了用复制粘贴或VBA方法外，也可以借助PQ实现数据汇总。（PQ不仅在powerBI中，在Excel中调用也可以

　　）如果要汇总北京、广州、杭州三个城市不同月份的销售数据，首先把三个城市by month的数据各自打包放在一个文件夹里

　　在PowerBI中选择从文件夹中获取数据，浏览要导入的数据文件夹填好文件路径点击【确定】

　　确认后出现如下界面，点击【转换数据】进入PQ编辑器。

　　点击【添加列】选项卡，选择【自定义列】

　　填写自定义列公式=Excel.Workbook([Content])，点击【确定】

　　确定后会出现一个自定义列如下：

　　点击自[定义列]右上角的双箭头展开数据，出现这个窗口，直接点击【确定】

　　继续点击[自定义.Data]列的右上角的双箭头，然后还是直接点确认，数据就全部出来了。

　　选择【删除其他列】，再将【第一行用作标题】就大功告成啦！

　　最后一步是去掉（null）及原表格中标题的勾选，选择【关闭并应用】即可完成上载！

　　三、从WEB导入

　　从WEB导入的应用场景是可以抓取网页数据，比如批量获取X网站招聘岗位信息、获取豆瓣TOPN 电影、书单list、获取基金股票信息等等，选择从Web获取后输入需要获取信息的网页网址，如果是爬取一页的数据选择默认的【基本】模式，如果要批量爬取多页数据需要选择【高级】模式进行网页解析，通过页码参数设置自定义函数，最终实现批量调用。

　　以上是三种非常常用的数据获取方式，除此之外PQ在数据整理、数据丰富中也有非常强大的优势，相比excel更简单高效，而且没有数据量的限制，有了PQ加持，提前下班不是梦！