采集系统(全国范围采集和某一地区局部采集的应用系统方法)

　　采集系统(全国范围采集和某一地区局部采集的应用系统方法)

　　采集系统简单的说应该分为两种，全国范围采集和某一地区局部采集。全国范围采集主要是针对各大应用系统应用的统计系统来完成的。因为统计系统需要的技术都是通用的。这类统计分析系统实*敏*感*词*都比较大，但是相对应的需要熟悉linux运维，desktopserver、sqlserver（数据库）、mysql、postgresql等存储引擎，因为分析系统都是通过网络进行传输数据，利用linux网络硬件交换机可以很好的支持。

　　这块可以学习socket编程，基本数据库操作和linux配置的技巧。个人建议如果有需要，可以先学习局部采集。但是等你把局部采集弄明白了之后，你可以用自己有的资源进行全国范围的采集。

　　去其官网找视频看看

　　两种方法，

　　1、apache+php+mysql+flask+gemfiddle+redis(部分需要自己处理)+selenium+xpath(css+js+jquery)，

　　2、nodejs+flask+php+mysql+mongodb，

　　1）利用爬虫采集数据，

　　2）通过聚合器等抓取到主页，

　　3）利用数据仓库，