关键词 采集(关键词采集系统的框架结构（一）——数据存储)

　　关键词 采集(关键词采集系统的框架结构（一）——数据存储)

　　关键词采集系统的框架结构一般分为4个部分：第一个是采集分析，第二个是实时数据库，第三个是实时数据解析，第四个是数据存储。所以，目前我们做采集的程序框架对我们做数据分析和数据存储是最有利的。

　　1）小数据量：一般一个csv文件规格的文件数（data1*num2=num2/

　　3）应该小于100000（excel2003*num2=excel2003/

　　3）。

　　不建议excel2003的数据（如excel1

　　2）进行采集。当然，在做游戏的时候也不宜太小，否则的话每次把excel处理一下比较耗时间。

　　2）解析语言最少要有两种（c、c++），一般c的字符串解析语言（字符串查找、字符串替换、字符串编译、字符串解析、字符串合并等等）。c++的字符串处理语言（cstring、cstringbuffer、cstringio、crefactory等等），c++控制流语言（boost.forward、caddy.forward、caddy.forward、mysql.forward、mysqli等等）。

　　第一个框架可能c++是单纯的字符串编解析、解析字符串内容，处理数据类型和解析数据字段。以cstring为例，我们已经设置用cstringbuffer和cstringio处理输入数据：（。

　　3）采集字段不能有单位（小数、负数）

　　4）可参考市面上同类产品的规范模板，规范、代码、作业文档、单元测试等。

　　5）采集方式简单化，数据采集、处理、存储：处理方式简单化：一般用集中式方式处理数据，这个可以根据实际的需求去决定。比如金钱的返回，我们有很多种的格式去处理。数据库管理也是一样，我们也是有很多种方式去管理数据。还有一些效率比较高的数据库设计方式，在最后一张ppt讲解。c的字符串处理其实就是直接将c中的字符串转换成数据库中的int，不用解析单元，这样相对而言会节省一些脚本编程的时间，否则需要再去解析。

　　第二部分是实时数据库，第三部分是数据解析。在实际的处理中，通常要和第二部分分离开来。采集过程中和未处理时，都可以用一个时间线的方式来进行管理，这样以控制流程图分割之后，可以对各个点进行管理，便于扩展。（。

　　6）数据存储用连接池的方式。因为传统方案中需要保证数据库连接，如果最初的连接池容量设计不足或配置的大小过大，则可能会造成数据存储不够的问题。2采集数据库设计方案4采集数据库设计方案4.1采集分析采集过程中，有三个输入输出的部分。输入的是ctx文件，输出的是mobile文件。通常我们用pc+windows来连接采集服务器。如果有金钱返回的需求，可以。