持续集成和持续部署基于cd（centraldelivery）的软件开发

　　持续集成和持续部署基于cd（centraldelivery）的软件开发

　　采集采集系统主要功能包括：自动抓取目标用户、自动控制每个被采集数据量级、自动启动采集器。目前主流的采集系统的响应时间均为15s以内。基于return的cookie同步采集，大幅缩短响应时间，响应时间为1s以内已经是基本的采集效率。对于交互型采集，比如活动页，因为可以录制人和人的交互动作，响应时间可以降低为7s左右。

　　这样采集效率更高的同时又避免了tcp连接是传输慢的问题。etl分析整合海量数据，将前端、后端两边海量的数据信息转换成可视化层级数据层结构，同时给数据一个明确的分级形态。分析一般分为描述性统计、数据预处理、数据可视化分析和数据挖掘，其中描述性统计、数据预处理和数据可视化分析占到75%的工作量。软件工程：解决领域驱动和建模方法对可复用的产品、方法体系和工具进行整合的过程。

　　现代软件工程被广泛认为是企业软件工程的核心。最早的软件工程建立在人类的直观经验和工业交流上，到上世纪九十年代左右才逐渐过渡到精密的分析和设计上。这个过程在产业界广泛被称为软件方法体系的work-outbuilding：“work-out”是一个舶来词，通过领域驱动设计规则（如j2ee体系，vde体系等）促进软件开发。

　　在这个过程中，可复用的软件开发平台是核心，然后才是高质量的软件实现。在软件定义的地方，模块化开发的机会也比较多。qualcomm的vde平台就是推崇使用开放的软件平台自己设计软件，而不是用完整的分布式软件体系来快速实现软件。持续集成和持续部署基于cd（centraldelivery）原则，在整个生命周期，即软件实现之前、软件实现之后到运行期间持续维护，以提高产品的质量和可靠性。

　　持续集成工作会驱动整个生命周期中的每个环节都在自动化和持续开发状态。自动化很好理解，是指持续按照迭代策略来迭代软件，即使是在可测试的环境中开发，一个软件一旦出错也无法再更新，会被抛弃掉，需要手动处理所有的错误。持续部署则是指软件没有部署到最终用户手中之前，都保持在一个可用的状态，以便于重新部署更新；可以保证其扩展性，甚至可以实现自动编译。

　　异步处理在测试阶段会全量打包，运行时会做分包分批次打包，重构完以后全量打包后打包重构，高性能的系统在测试阶段测试数据量过大导致非常慢而难以维护的问题。异步会在测试之前、在运行阶段、在整个生命周期中不断保持高可用。总之异步在任何时候、任何地方保持着高可用。机器学习分类机器学习可以对目标数据点做预测分析，常见的方法为聚类分析和降维算法，其中之一或者之多都比较有局限性。聚类分析需要定义好聚类划分。