大家一起讨论常见的数据采集技术

　　大家一起讨论常见的数据采集技术

　　小编总结了几种常见的数据采集技术供你们参考，主要分为以下几类：

　　CS软件数据采集技术。

　　C/S架构软件属于比较老的构架，能采集这种软件数据的产品比较少。

　　一、常见的是博为小帮软件机器人，在不需要软件厂商配合的情况下，基于“”所见即所得“的方法采集界面上的数据。输出的结果是结构化的数据库或则excel表。如果只须要业务数据的话，或者厂商倒闭，数据库剖析困难的情况下， 这个工具可以采集数据，尤其是详情页数据的采集功能比较有特色。

　　值得一提的是，这个产品的使用门槛太低，没有 IT背景的业务朋友也能使用，大大拓展了使用的人群。

　　二、网络数据采集API。通过网路爬虫和一些网站平台提供的公共API(如Twitter和新浪微博API)等方法从网站上获取数据。这样就可以将非结构化数据和半结构化数据的网页数据从网页中提取下来。

　　互联网的网页大数据采集和处理的整体过程收录四个主要模块：web爬虫（Spider）、数据处理（Data Process）、爬取URL队列（URL Queue）和数据。

　　数据库形式

　　两个系统分别有各自的数据库，同类型的数据库之间是比较便捷的：

　　1）如果两个数据库在同一个服务器上，只要用户名设置的没有问题，就可以直接互相访问，需要在from后将其数据库名称及表的构架所有者带上即可。 select * from DATABASE1.dbo.table1

　　2）如果两个系统的数据库不在一个服务器上，那么建议采用链接服务器的方式来处理，或者使用openset和opendatasource的形式，这个须要对数据库的访问进行*敏*感*词*服务器的配置。

　　不同类型的数据库之间的联接就比较麻烦，需要做好多设置才会生效，这里不做详尽说明。

　　开放数据库形式须要协调各个软件厂商开放数据库，其难度很大；一个平台假如要同时联接好多个软件厂商的数据库，并且实时都在获取数据，这对平台本身的性能也是个巨大的挑战。

　　欢迎你们一起讨论。