基于网页版的数据采集解决方案——基于请求式样采集

　　基于网页版的数据采集解决方案——基于请求式样采集

　　1.什么是采集

　　2.为什么需要采集

　　3.场景分析

　　4.解决方案：

　　--------------------------------------------------- -------------------------------------------------- -------------

　　1.什么是采集

　　在通用的分层业务系统中，数据采集是非常重要的部分：它主要负责数据输入。

　　2.为什么需要采集

　　在传统的管理系统中，一般的业务系统是采集，存储，显示，报告，这是传统的分层模型架构下的业务功能；让我们关注数据采集部分；

　　3.场景分析

　　1.第一种数据类型采集基于请求样式采集，这意味着请求为采集。常见的情况是HTTP请求，大量请求作为数据源存储在数据库中。

　　2.第二种类型是基于Web的数据采集。前端在一段时间后使用点技术来完成数据采集并将其存储在DB中。

　　３.最后一种方法是从中间表到DB的数据钻取，查询和存储

　　4基于ETL 采集导入的方法数据。

　　5.基于消息队列的数据采集，

　　4.解决方案：

　　第一种方案是通用程序采集。实现是实体类的映射并存储在数据库中，主要是实现Bear的映射和格式转换。分析自定义数据结构，例如xml，对象，配置文件等。

　　数组分析，配置文件读取，xml分析，对象分析，JSON分析以及其他基本数据类型和复杂数据类型分析。

　　xml的实现技术：Jaxb2

　　该配置文件可实现jdk属性，地图映射

　　xml解析：dom4j，JDOM，

　　对象：对象之间的映射，一对多，多对一等，通常在Herbernate，Mybatis等中使用。

　　JSON：Gson实现，fastjson等

　　第二种方案：它基于网页采集，常用的分压技术等。

　　第三种方案：比较常见的一种方案是启动计划任务到采集，我们可以转到中间库采集，查询中间库的数据，并定期采集进行业务桌子。

　　第四个解决方案：在DB之前使用迁移工具，例如Oracle导入泵，RMAN工具等。

　　第五种方案：基于消息队列，例如Kafka监视并使用它并将其存储在DB中。

　　开源解决方案处理数据的方式采集：

　　使用最新的解决方案：