自动采集子系统(多建一个接口不为过自动采集子系统的ip问题)

　　自动采集子系统(多建一个接口不为过自动采集子系统的ip问题)

　　自动采集子系统有很多，手动采集代价又太大，那我们最常用的还是基于redis的自动采集软件了。对于非专业人士，最好在系统初始化时就要安装对应的redis库，否则到后期可能会有一些性能上的压力。建议在采集进程之前，先进行数据预处理，比如你就必须要有一个sql语句的处理过程。在使用redis时建议多建一个接口，例如在采集进程中，还要使用下单接口，其他类似接口等。总之多建一个接口不为过。

　　0.性能--云采集环境1.代码先讲下我的业务场景，我做的是销售通知查询，渠道归纳为以下内容：公司id：*敏*感*词*号码，销售单号数量：*敏*感*词*号码，渠道id码数量，渠道信息，是否开*敏*感*词*公司名称：公司名称电话：公司名称地址：地址由于为了更好的利用redis的性能，使用zookeeper+redis,由于数据量较大，于是考虑使用redis设计网络代理的方式来减少服务器io。

　　下面说下本地搭建环境的时候遇到的一些问题：第一，是环境配置，从百度上一堆配置说的很复杂，我这边就是简单配置。.1zcs:首先更改为对象存储（推荐）listitem:获取该对象每个ip对应的状态标记endkeylistitem:获取该对象每个ip对应的值binary:获取该对象每个ip对应的值onekey:获取该对象每个ip对应的值twokey:获取该对象每个ip对应的值threekey:获取该对象每个ip对应的值第二，redis配置的对应服务器时，我没有安装hadoop，下面我不使用hadoop来作为对象存储使用。

　　这边就是我们不是web服务，采用nginx作为web服务。搭建环境的时候没有考虑到ip问题。具体使用nginx+redis+zookeeper+spring4。配置教程（摘录）详细搭建过程，可查看：阿里开源的aliyun大数据采集系统搭建-irwin云采集环境搭建。