实时抓取网页数据(如何从defi（去中心化金融）协议中提取相关defi数据)

　　实时抓取网页数据(如何从defi（去中心化金融）协议中提取相关defi数据)

　　目前，我们获取区块链数据变得越来越容易和快捷。在这个文章中，我们将解释如何从defi（去中心化金融）协议中提取相关的defi数据，并使用谷歌电子表格创建数据集。通过它，我们将创建一个仪表板来实时显示这些数据，为我们提供有关 Aave 协议中要求的贷款的信息。

　　检索数据

　　为了获取数据，我们将使用 The graph 的 Api，如本文所述。

　　我们要提取的是与贷款申请相关的所有历史数据，以供以后分析。为此，我们必须创建以下查询：

　　{ borrows (first: 1000) { id, amount, reserve { id, symbol }, borrowRate, borrowRateMode, timestamp }}

　　通过这个查询，我们得到了前 1000 个结果，这是数据块中 The Graphs 允许的最大值，然后我们将不断迭代得到以下结果，直到我们恢复所有结果。

　　如果我们在这个操作上测试这个查询，我们可以看到它返回：

　　之后我们将获得所有贷款数据，以及请求的加密资产、它们的数量、利率和利率。

　　通过将这些数据直接导入 Google Sheets 中的文档，我们将拥有一个实时数据集来构建我们的分析模型。

　　创建数据集

　　为了将数据保存在 Google excel 表中，我们将在其中创建一个带有以下选项的脚本：

　　在此脚本中，我们收录以下代码：

　　我们来看看每一行的详细信息：

　　第 4-22 行：将被调用以填充数据集的函数。在该函数中，定义了要调用的端点和用于获取数据和查询的查询。有了这些，我调用函数提取出来，然后用excel写出来。

　　第 30-37 行：构造在调用 API 时将传递选项的函数，为每次迭代调用一个动态参数“skip”，并使用这个新参数创建选项。

　　第 44-49 行：在 Excel 表格中写入数据的函数。以数组的形式接收数据作为参数，写入执行脚本的excel。

　　第 57-86 行：迭代历史中存在的所有数据块的函数。创建一个循环向api请求数据，如果有数据，将skip参数增加1000个单位。接收到数据后，将其存储为数组，并从 api 返回的 json 中检索该数组。

　　创建脚本后，执行脚本加载数据。我们通过以下方式执行它：

　　我们可以看到excel是如何填充数据的

　　分析数据

　　使用填充的数据集，我们可以分析我们的数据。最快、最简单的方法是使用 Google Data Studio 仪表板。

　　我们创建一个新报告并指定数据源将是电子表格。

　　通过选择我们创建的工作表，我们可以使用 Google Data Studio 中存在的模板，然后创建一个仪表板，以一种简单且非常有吸引力的方式向我们展示数据。

　　通过这个简单的脚本，我们可以实时从协议 DeFi 中获取数据，并分析整个贷款历史中的数据。这是一条非常重要的信息，可以以完全可访问的方式创建模型。