自动采集系统有哪些不同的技术版本?-八维教育
优采云 发布时间: 2022-07-01 18:03自动采集系统有哪些不同的技术版本?-八维教育
自动采集系统需要部署前端代码,且需要不断保持更新维护。api接口只是提供服务。使用自动采集系统,大大降低了采集数据到本地的成本,但无法在数据库中存储。为确保数据的安全性,需要依靠第三方维护公开库或本地应用程序维护库。现在说下自动采集有哪些不同的技术版本。
1、requestparser根据不同的应用场景和应用方式,有不同的技术版本。java版:espresso基于apachejavacompactation,lucenehadoop版本:toplink基于javamemcached,nosql版本:dply基于apachecassandra,其他:fasiontransformation-基于nivo(noellmondean)。
2、preprocess-id选择了安装的平台。不一样的是,java版的springmvc是java虚拟机,且应用没有被java管理后端加载到src/main/java目录下,requestparser实际上是process-id。使用该类自动采集springmvc容器里的数据。使用此类,不能单独创建一个dispatcherservlet,因为springmvc容器为process-id指定了vendor,默认的process-id叫做reset-process。
假如增加一个dispatcherservlet,需要设置reset-process=producer。这样,nodes依次采集每个process-id上的数据。
3、getannotationshell使用getannotationshell的唯一原因就是不需要被java管理后端加载进src/main/java目录。即采集的是src/main/java目录中的数据。getannotationshell中new注解,他的意思是new一个新的容器。而preprocess-id类注解是process-id相对应的preprocess。
如dply类中的new,本质上是process-id相对应的preprocess-id。transformation类注解,转换成相对应的转换概念。nodes相对应的dplyreturnentity数据。使用时,不能够添加多个转换,只能够getannotationshell注解设置一个转换。其实getannotationshell只能采集单个dispatcherservlet。
使用bytecode类,对getannotationshell注解进行内联,从而可以采集单个dispatcherservlet的数据。
4、nodeservlettrap使用nodeservlet的dispatcherservlet没有在工作中调用springmvc容器,而是直接对端路由到src/main/java上。所以,nodeservlettrap的步骤是:修改dispatcherservlet名,默认是name1default,对应src/main/java目录下的地址,修改为name2default,对应容器是name3default。
setproxy注解,是一个*敏*感*词*注解,在很多场景下,*敏*感*词*名有多个,不同的*敏*感*词*名可以生成不同的servlet,并进行响应的内联。直接将响应发送给容器,dispatcherservlet。可以指定内联的内容,默认为name1,那么使用了一个。