采集系统(采集系统多大？获取多少数据？有没有计算机模块可以用来处理查询和加工一些结构变量？)

　　采集系统(采集系统多大？获取多少数据？有没有计算机模块可以用来处理查询和加工一些结构变量？)

　　采集系统多大？获取多少数据？有没有计算机模块可以用来处理查询和加工一些结构变量？

　　1、专业专攻的人员肯定能够控制单个字段，毕竟这个是他们业务能力的体现，好学者，也可以搞定算法和查询字段，

　　2、如果是以上专业人员可以使用搜索引擎抓取数据并作数据分析，

　　3、爬虫和查询引擎是否有直接的应用价值?我看好，是否有成熟的落地的模块还需要进一步观察对于最新的数据，一般会有一些预处理和模型优化方面的考虑，

　　4、考虑到加工方面和利用规则库进行联合，

　　5、谈谈想法，关于把很多统计模型来作为文档，

　　6、想介绍下经验

　　说实话，这个事情大部分项目都不需要这么好搞。数据分析师可以看着写爬虫，找到某个表或字段下的所有数据，然后爬虫按照统计学意义做了一个检测，这个结果基本可以反映大部分类似的表和字段的数据统计意义。然后机器学习算法，甚至python基本语法都可以在excel里面直接编写，实现，优化。如果要省事，给机器学习加个逻辑漏斗，优化一下过滤算法，检测爬虫，说不定可以下载出很多免费的统计学数据。

　　这件事对数据分析师没有太大用处，这应该是个项目经理管理一下工作；对统计学家有用，能节省时间，解决效率和时间的矛盾；对大部分人来说，sql里面最值钱的是做序列处理的部分，基本各种函数数据库都能加载出来，自己无法进行操作。