一是人工采集,二是智能采集(杭州众多银行系统通过人工采集,二是智能采集的)

　　一是人工采集,二是智能采集(杭州众多银行系统通过人工采集,二是智能采集的)

　　一是人工采集,二是智能采集。我用datav来采集每天的数据。也已经有十多万行数据了。主要通过api来完成。你可以参考一下我的博客。

　　-data-retrival.html

　　杭州众多银行系统每年都会进行相当程度的采集，收集类型较为多样，以人工采集为主，

　　人工的容易出错

　　最简单的肯定是excel，但建议最好从精到粗，一层一层拆开过滤。其次是各种现成的框架，比如join、tableau,如果要自己实现的话很容易变成开发商“自己动手丰衣足食”，而不是互相搞定。再有就是各种脚本语言，比如shell、python、java等等。至于统计方面，建议选用ab、pdf系统，可以根据excel数据不同的粒度分别集成在不同的系统里，各个统计脚本和统计模块无缝的对接，应用相当便利。

　　以前做过某商行的一个分行机构用户行为分析业务支撑系统，用到的技术主要有spark和es。目前这块已经做到业务数据可视化，报表可视化的程度。如果要简单的达到数据可视化目的，可以用spark或es之类的；要精准到每一笔行为，就比较麻烦了，一般都是用一些sql的lambda，按粒度有长有短，如果楼主是行内行外不同类型的业务估计就是重复做eval，然后再集成一下es之类的，看数据源，一般在分行内设置一个用户端的lazadaapi就可以实现sql取数。最后，有时间可以去给个简单的ppt，里面包含这方面的内容。