采集器数据导出方法
优采云 发布时间: 2022-05-07 20:45采集器数据导出方法
在之前的文章中,我提到了优采云采集器数据导出成表格格式是收费的,实际上,采集器是以sqlite数据库的格式保存的所采集数据。我们当然可以采用复制的方法把数据复制下来,但是数据动辄就有上万条的时候,我们只能通过导出的方式。
首先要下载一个Sqlite数据库操作软件,这种数据库网络上搜一搜是很多的,在运行一个规则的时候,会出现任务ID,我们将通过任务ID来找到这个数据库文件。例如某项任务的ID是1611
在优采云采集器的Data文件下找到1611,则最后一个db3文件就是数据存储的位置。
我这里推荐一个免费的软件叫DB.Browser.for.SQLite,中文界面很方便使用。
文件-导出-csv,就能导出我们很熟悉的表格格式了,如果有坐标还可以在arcgis里直接使用。
采集器是个很方便使用而且免费的东西,虽然有操作更简单的网页采集工具,但那些不是收费就是数量有限制。然而很多人还是觉得太麻烦,希望直接要数据而不是方法。实际上,当我们掌握了获取数据的方法,就不怕没有数据了。
但是采集器我用的也不好,比如我需要自己来判断页数的多少,而不会通过设置自动判断页数,在采集数据时,仍然不会设置Xpath和json正则等提取方法。希望有大神能和我交流交流使用心得,我希望得到更多的进步。