解决方案:采集内容管理平台的研发工作根据项目进展会启动新项目

　　解决方案:采集内容管理平台的研发工作根据项目进展会启动新项目

　　采集内容管理平台的研发工作根据项目进展会启动新项目，新项目会很快启动，因为研发团队最主要的开发工作就是平台的采集定制化开发。研发团队最初会分配给多个不同的分布式爬虫，从需求的频道和订单来采集到订单信息。最初采集，都是基于自己的业务进行的，但是需要进行一些调整，否则容易遇到这样的问题，需要定制服务。比如我们服务的网站做订单是周一到周五的，周一到周五会不断从网站爬取查询周一到周五所发出订单订单。

　　而一些特殊的业务周末也会爬取查询，比如从微信接收验证码登录就会采集一个周一到周五验证码登录。而这些获取的验证码信息后续需要和主业务结合，比如查询周末的订单要结合周末调度问题以及验证码。所以定制化设计要在每天之前做好设计定制，先在项目中做最基础的需求设计，可以自己开发，也可以采用第三方服务。因为项目开发有可能一部分线上线下的设计不同步，客户又要对一些重要的功能进行增加或扩展，导致用户体验打折扣。

　　服务商的选择有很多种，基本原则是客户对需求有明确需求，方便接受定制式服务。定制要做好售前沟通，尽量降低调研的难度。定制必须满足尽量节省人力成本，以满足小规模业务为主。后续项目在启动时，可以提供一套查询功能，这一套查询功能是一个模块串联成一个功能。查询这一套功能一般会有若干的预期功能，比如采集外省的业务功能，按单元订单来查询。

　　核心功能如订单查询、标签查询、组合查询、加减号查询、字符库查询、高级查询等功能；基础功能如分类查询，行、列查询，特殊查询等功能。一套模块的基础功能能够满足客户的业务需求，一套模块的功能不需要客户去开发自己没有要求的功能。定制式开发需要把后期所有的定制升级周期进行缩短，定制转化为功能，通过模块的对接升级周期可以压缩为3~5天时间的升级周期。

　　平台要求一套采集定制好的分布式爬虫，需要连接数据库来达到基本的采集功能。爬虫一般要采集的数据信息有订单id、日期、商品id、订单类型、订单地区、收货地区、验证码验证方式等。定制化爬虫应该有一个快速部署的设计方案，不需要开发或者定制。平台要求有一个统一的接口接入到各个server来提供线上的需求，数据收集端的对接server，数据处理和分析端的对接server，以及跟业务系统接口对接的对接server。