图数据库无缝集成Tushare接口

优采云 发布时间: 2022-06-11 03:29

  图数据库无缝集成Tushare接口

  

  @TOC[1]Here's the table of contents:

  图数据库无缝集成Tushare接口

  使用第三方API,有助于我们快速集成数据,构建业务分析需要的知识图谱数据。这篇文章主要介绍如何将Tushare HTTP接口集成到图数据库,并使用Cypher构建知识图谱。

  在开始集成前,请确保你的图数据库安装了APOC组件,并保证apoc.load.jsonParams过程可以正常使用。APOC同时还支持JSON Path,即以特定模式搜索JSON文档中的数据项并返回其内容,其概念类似应用于XML的XPath和应用于HTML的jQuery。更多使用方式可以查看Neo4j社区技术专家俞博士的文章Neo4j图数据库高级应用系列 / 服务器扩展指南 APOC(5.5) - 导入JSON数据[2]。

  一、Tushare介绍

  Tushare[3]是一个免费、开源的python财经数据接口包。主要实*敏*感*词*融数据从数据采集、清洗加工到数据存储的过程,能够为金融分析人员提供快速、整洁、和多样的便于分析的数据,为他们在数据获取方面极大地减轻工作量,使他们更加专注于策略和模型的研究与实现上。

  

  Tushare官网二、集成Tushare接口

  在开始集成之前请确保你有一个Tushare的访问账号。

  在图数据库的安装目录下找到conf文件夹,并在neo4j.conf文件中为Tushare HTTP API的URL定义别名,新增一行配置即可。修改配置后,重启数据库服务即可。

  apoc.json.tushare.url=http://api.tushare.pro

  三、使用接口数据

  现在我们可以编写Cypher代码很方便地从Tushare获取数据了。下面我将演示一个申万成分股图谱构建的案例。请注意在使用Cypher脚本时请设置私有token。

  下面的代码通过分批循环调用首先从stock_basic接口获取到股票代码,然后再使用股票代码获取申万成分股时间序列数据。每个股票代码调用index_member接口之前,设置了执行四百万次加法运算表示进行延时1~2秒,这个操作的目的是为了保证HTTP接口调用时不要超过接口频率限制。

  //循环获取所有股票代码<br />WITH RANGE(1,10) AS list,1000 AS limit<br />UNWIND list AS num<br />WITH num*limit AS offset,limit<br />//分批获取股票代码<br />WITH <br />    '{"api_name":"stock_basic","token":"xxxxxxxxxxx","params":{"limit":"'+limit+'","offset":"'+offset+'"},"fields":"ts_code"}' AS payload<br />CALL apoc.load.jsonParams(<br />    'tushare',<br />    NULL,<br />    payload,<br />    NULL,<br />    {}) yield value<br />WITH value.data.has_more AS has_more,value.data.items AS stocks<br />WHERE has_more<br />//获取申万成分数据<br />WITH has_more,stocks<br />UNWIND stocks AS stock<br />WITH stock<br />//延时执行【HTTP API对调用频率有限制,让函数执行四百万次加法,耗时大概1~2秒】<br />WITH RANGE(1,2000) AS l,stock UNWIND l AS a UNWIND l AS b WITH SUM(a+b) AS delay,stock<br />WITH <br />    '{"api_name":"index_member","token":"xxxxxxxxxxx","params":{"ts_code":"'+stock[0]+'"},"fields":"index_code,index_name,con_code,con_name,in_date,out_date,is_new"}' AS payload<br />CALL apoc.load.jsonParams(<br />    'tushare',<br />    NULL,<br />    payload,<br />    NULL,<br />    {}) yield value<br />WITH value.data.items AS items<br />//构建申万行业成分股图谱<br />UNWIND items AS item<br />WITH item<br />MERGE (stk:股票 {code:item[2]}) SET stk+={name:item[3]+'('+item[2]+')'}<br />MERGE (hy:申万行业 {code:item[0]}) SET hy+={name:item[1]+'('+item[0]+')'}<br />CREATE (stk)-[r:属于]->(hy) SET r+={in_date:item[4],out_date:item[5],is_new:item[6]}

  

  申万行业成分股时序图谱引用链接

  [1]TOC:图数据库无缝集成Tushare接口

  [2]Neo4j图数据库高级应用系列 / 服务器扩展指南 APOC(5.5) - 导入JSON数据:

  [3]Tushare:

  

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线