无需规则自动采集(数据采集类型vps数据量的*敏*感*词*部署不会遇到)

　　无需规则自动采集(数据采集类型vps数据量的*敏*感*词*部署不会遇到)

　　无需规则自动采集大数据量，解决多数依赖etl工具需要人工编写采集代码和对数据仓库操作计算工作量大，业务逻辑复杂等问题。一键采集，自动计算，自动建模，多维分析，全自动分析；有效降低人力成本，提高管理效率，是it从业者的利器。数据采集类型vps数据采集vps是新型集群化部署方式，用于电子政务、企业信息化等需求。

　　通过vps集群能力提供的超大容量（100tb/mw）、超大吞吐量（每秒3transactions,每iops10万次/秒）、超低延迟（server端延迟150-1000毫秒，client端低至50毫秒），从而保证采集数据速度、准确、及时。超大容量，超大吞吐量：一般性企业基本上不会遇到2g容量*敏*感*词*部署的情况；根据性能，io算法选择大小容量即可，如hp全价支持16tb/mw的pv-d,因此基本的13-17tb/mw级容量的*敏*感*词*部署不会遇到。

　　amazonwebserver机器运算能力最大可提供200tb/mw的容量，自动采集容量只能支持到10tb/mw，小规模部署下，一般20tb/mw足够，目前只有创业团队/规模单干的个人或小公司开始尝试部署vps或者使用aws的drive来部署。超低延迟，自动采集：首先需要申请到ciscossp/dscp机器，可通过在soc中申请。

　　接着按照tcp/ip协议，进行高速入接入、降低地址成本等一系列操作，获取ip即可；本地部署为爬虫、server端数据准备操作即可。本地部署下采集方式也是采用tcp/ip协议，入接口、出接口均为443端口（数据服务器的接口一般为443端口，后期可设置为80、17266或443）。总结：vps作为主要部署方式，约占vps所有数据接入接口容量60%-70%。

　　配置类型云存储：如果业务量较大的话，因为储存容量、成本考虑，需要从机房获取存储空间（基本500gb）、保证每日容量使用量；同时，可能需要考虑机房提供的带宽。解决方案：cdn，如果需要采集其他应用，保证容量方面；如果只做文件爬取，采集整个业务包一般性等同vps。hadoop、yarn等mapreduce数据处理中心：不同于vps采集需要一个完整的数据中心，hadoop云存储存放包括数据库文件、hadoop集群操作包、hive操作包等在内的容量大于10tb/mw及以上的数据；需要将不同应用（如地推、精准营销、招聘等）对相应数据存放到不同的数据中心。

　　解决方案：docker。本地控制台（服务器）：数据采集、获取、存储、排重等。dockeron-pc：本地控制台配置为datasourceserver连接serverlog、数据库层配置为schemaidentifier、metricserver连接hdfs（关键是path在具体端口执行，本文以23009端口。