php抓取网页表格信息(powerbi从网站抓取数据并进行可视化呈现主要分为四个步骤)

　　php抓取网页表格信息(powerbi从网站抓取数据并进行可视化呈现主要分为四个步骤)

　　我们使用 powerbi 从 网站 中抓取数据并通过四个步骤将其可视化

　　捕获网站数据分析捕获数据的清理捕获函数的定义数据可视化的定义结果和效果

　　第一次爬取网站数据分析

　　先找到网址找到生猪价格网站，通过万能的百度我们找到生猪价格的网址是

　　https://bj.zhue.com.cn/list.php?sort=0&s_id=10&c_id=0&cou_id=0&city_id=0&mid=&lx=&page=2

　　通过查看网站的数据，网站的页面只呈现最近31天的生猪价格。引用的品种是白色条纹肉。通过万能百度对白条肉的定义也是如此。宰杀生猪后，猪肉的头、脚、内脏等部位均未经过任何加工处理。白条肉一般沿生猪背部劈开，又称“半片白条”。另外，报价是根据每个省市地区，通过powerbi自带的功能进行数据抓取，如下图通过

　　另外为了方便后续的爬取定义函数，我们单独填写网站的URL所在的页数。爬取成功后，会将爬取的数据以表格的形式呈现，然后对爬取的数据进行清洗。.

　　清理第二个获取的数据

　　通过观察前面抓到的数据可以看出，有些字段的数据格式需要调整，第一行要删掉，新的第一行作为标题。删除无用的列（还有一个小惊喜可以拿到部分地区投标人的电话号码），powerbi还可以记录我们操作的步骤（对比tableau也是个厉害的地方，就是给powerbi背书），然后继续 Grab 函数的定义。

　　第三次抓取函数的定义

　　因为前面我们抓取的是网站中的一个页面，如果我们要抓取网页呈现的页面，需要借助一个函数来抓取，首先是powerbi的高级编辑器，第一步是把页码和URL分开然后定义参数p，编辑let前面的代码

　　(p as number) as table =>

　　并修改URL中页码p对应的值

　　（number.totext(p))

　　我们看到捕获的表已经变成了一个函数，然后定义函数的参数，

　　首先创建一个空查询，然后创建一个新列表，并将列表转换为表，

　　接下来将表中的列表作为参数应用到函数中，

　　从那以后，我们抓取了自定义数量的页面，对其进行了扩展并应用了它

　　至此，我们就完成了数据抓取过程，后期可以通过调整字段属性类型等方便的可视化。

　　第四次数据可视化

　　PowerBI的强大功能是有很多开源的可视化图库。通过将数据按不同维度呈现，可以观察，可以对数据进行下钻、趋势分析和预测等，下面，我们将按照地理和时间维度呈现数据，并划分省份和地区。将他们的区域分组，便于对省级数据进行下钻。还可以添加选框、过滤功能等，还可以进行预测。限于篇幅，只做简单介绍；

　　五、结果及效果

　　从整体走势来看，近期价格呈下降趋势，但各地区报价相近。大部分省份有一些差异，如黑龙江、湖北、江西、广东等地区。机会主义地，您可以通过刷新自动更新每日数据。如果您与猪头肉行业有关，可以提前购买促销等。

　　. . .

　　通过以上PowerBI在数据采集中的简单应用，我们发现Powerbi在数据建模和呈现方*敏*感*词*有得天独厚的优势。如果我们将 Tableau 比作昂贵的 Oracle，powerbi 更像是开源实用的 mysql。