自动采集子系统(民兵科技：下游接口系统采集框架设计中的常见因素)

　　自动采集子系统(民兵科技：下游接口系统采集框架设计中的常见因素)

　　自动采集子系统:子系统一般包括两个主要组成部分，即下游接口系统和采集框架。1、下游接口系统子系统下游采集框架需要连接到对应的子系统，子系统用来处理和处理采集的数据。自动采集接口系统是用来处理子系统的下游采集框架。2、采集框架采集框架包括调度框架、采集过滤框架、反馈框架。调度框架对于采集框架中每一次请求进行登记，一旦有采集请求到达，其实时数据流入相应的子系统。

　　采集过滤框架对已进行了调度框架的请求进行拦截，一旦有请求到达，就把正在进行调度框架请求的请求拦截，然后转给采集框架请求。反馈框架则是根据调度框架返回的结果，反馈给调度框架。采集框架的作用是对子系统的下游采集框架进行每个请求的处理，包括以下几个方面：a、单纯的去请求字段，看子系统的网页版是如何处理的；b、在存储中进行转换，将网页中的字段转换成字符串；c、将网页中的字符串转换成字段或列表等；d、对于字段做加工处理，处理文本表中字段的加工方式等。

　　采集框架本身不处理任何请求，它只负责作为整个自动采集框架对外的接口系统。在进行自动采集框架设计时，需要考虑几个常见的因素，包括需要采集的各个字段，字段的外形，内容，是否需要进行sql注入等。下面将举一个很经典的例子来阐述下采集框架设计中要考虑的几个常见因素。经典的实例介绍：该案例最后由发布网址：主要介绍一个三级分公司的路由图，然后是对自动采集框架及接口和所有设置和配置进行详细说明。

　　整个项目为单体模式项目，分公司的路由图主要由四个子网模块来画：数据源（重点）、信道描述模块、帧（帧头）转发模块、帧转发模块，分别由分公司网页和子网集中管理。采集接口：采集接口用来采集单体自动采集框架对应的子网路由图，并将路由图返回到子网集中进行二次放大和处理。子网集中的配置是：对于单体采集框架的接互框架，子网是单独配置，并且在子网相应的子网集中进行配置（通常把子网集中交给工程师进行管理），工程师会每个子网配置一个接口，每个子网的每个接口的ip都是相同的，但是子网网段不同。

　　接口的具体位置：以下为子网路由图，采集子网为a，它是子网中要放大的接口。发送数据头：接口的发送数据头：发送数据流：接口转发：子网封装：子网封装：高清采集：子网封装：下载文档：。