excel vba 网页数据抓取(GAsheet的数据维度数据获取的解决思路及方法)

　　excel vba 网页数据抓取(GAsheet的数据维度数据获取的解决思路及方法)

　　项目背景

　　每月需要从GA工具下载固定的原创数据（分为几个表格，报告不同维度的数据，比如不同渠道的流量、不同页面内容的流量、不同渠道的转化指标和页面内容），然后进行数据清洗和排序（例如，不规则的跟踪代码需要替换为正常的跟踪代码，冗长的页面URL需要替换为标准的统一产品名称）

　　最后进行分类统计，可视化，（按不同维度划分，进行月度趋势分析）

　　当前的挑战

　　每月手动提取数据。频率太低。我们需要更频繁地查看数据变化的趋势，例如每天而不是每月，并结合我们的行动提供及时的反馈和响应

　　同时，从GA的不同子报表下载数据需要很多时间，也会出错。我们希望减少花费在人工和错误上的时间。

　　节省报告时间并花更多时间分析数据和实施优化建议

　　当前的解决方案思路

　　主要来说，我们的计划分为三个步骤，

　　本文主要讲解数据采集自动化的实施方案

　　获取GA数据一般有3种方式

　　用账号密码登录，进入配置好的自定义报告下载

　　使用第3方工具配置参数下载（例如google sheet插件）

　　使用脚本（google sheet脚本，get python or excel VBA or PHP）通过谷歌API下载

　　这里唯一可以自动化的是后两者。使用google sheet插件等第三方工具是最方便的。无需编写代码，只需点击按钮即可完成数据。

　　以下内容主要介绍使用google sheet插件完成自动数据采集

　　我们要自动去GA数据库获取我们需要的数据，而不是每次都通过扶梯手动下载，并且我们要在自动获取数据后对数据进行自动清理和分类，并自动实现制图，并且最好按以天为单位自动显示实时数据，而不是每个月等待手动完成

　　最有效的方法是在GA自定义报表中拖拽测试数据维度

　　

　　

　　以其中一种raw3形式为例

　　

　　可以看到里面收录了一些数据，每个页面的主要表现

　　页面名称为page，指标为session等

　　点击编辑表单查看

　　度量和维度相互对应

　　

　　记住以上维度和指标

　　现在我们使用谷歌表格来获取这些数据

　　

　　打开谷歌工作表并创建一个新工作表

　　名称是 GA 报告 testing0603

　　点击导航栏中的 add-on 安装一个名为 google analytics 的插件

　　

　　

　　安装后，google sheet会增加一个新建报告按钮

　　

　　在弹出的对话框中输入报告的名称。该名称也是以后放置数据的工作表的名称。

　　帐户、媒体资源和视图选项与您的 GA 帐户设置一致

　　

　　您可以点击Ga查看您的账户和属性以及查看名称以了解选择

　　

　　维度和指标的设置请参考GA报告

　　

　　

　　设置完毕。

　　其中一个特别是关于目标设定

　　完成数和转化率

　　

　　我们改用goalx 完成

　　

　　这是最后一个

　　

　　我们需要把这里的XX都改成7

　　ga:goalXXCompletions,ga:goalXXConversionRate

　　替换

　　ga:goal7Completions,ga:goal7ConversionRate

　　

　　关于

　　

　　metric、order、filter的设置请参考以下网址介绍

　　同样，您可以制作一个 raw1 报告

　　

　　真诚地，我们可以将数据从 GA 导出到 Google Sheet，

　　最后使用插件的schedule功能定时运行