解读:深圳的话可以看一下龙之谷，主打采集工具

　　解读:深圳的话可以看一下龙之谷，主打采集工具

　　自动采集系统目前市面上已经算是成熟了，有些公司已经采用自动采集方式将大数据从一些小程序以及网站上采集下来，并且自动转化成为大数据应用和挖掘的一个数据源。大数据的发展离不开大数据采集器的大力支持，市面上的自动采集器多如牛毛，就不列举了，以免引起误会。但是现在都支持批量采集工具。深圳的话可以看一下龙之谷，主打采集工具。

　　推荐python的pyrequest

" />

　　大数据引擎之前有bigquant阿里云存储的storm都是比较成熟的系统阿里云有自己的ids存储比较稳定另外python的skywalking也不错把数据导入阿里云存储的python接口的比较成熟可以和传统的hadoop搭配使用百度的hadoop也不错框架可以看看sparkgolang的hadoop好像没有pythontensorflow的python接口不支持但是支持rtype的文件。

　　python可以看看《xpy高性能python》

" />

　　说到数据采集，推荐你一个工具datagirls，能够将自己的爬虫爬来的数据导入到tensorflow模型里边，你可以看看他们在各自领域上做的成果。

　　阿里巴巴polardb，拥有公共服务以及特定业务相关的专有服务，上可以提供服务，下可以管理存储，阿里巴巴内部有对外提供polardb的接口，能够方便管理其中的数据。

　　说一个我知道的:apachehadoophdfs[12]datastax[13]toronto[14]etc.【这些可以从网上去搜】/