解决方案:分布式kv存储系统的十个特点及特点

　　解决方案:分布式kv存储系统的十个特点及特点

　　采集系统上云的变革力度已经放缓了，仅仅是采集系统前端几个模块的进化。大流量计费、*敏*感*词*服务、授权接入采集系统的进化路径也不仅仅是采集方式的增加。过去的手工采集技术、人工单采集技术和*敏*感*词*化方案受制于成本，现在互联网的发展，和大流量计费、*敏*感*词*服务和授权接入已经不再是什么新鲜事，那么高效地获取内容也不再是技术壁垒，发展的方向应该是更高效的服务。

　　低配的机器成本在不断下降，更高效的服务等等，也许是更好的采集应该遵循的方向。alluxio是databricks公司打造的分布式kv存储系统。alluxio在获取内容方面尤其有优势，也是非常重要的方向。我们也很乐于将redis等传统kv存储的思路应用到alluxio中，希望和业界公司一起探索更多可能性。

" />

　　redisburst是什么？redisburst将计算为基础地对不同层面的数据进行迁移和管理，并提供类似于phoenix的数据库服务。redisburst有以下十个特点：首先，基于redis的集群已经被广泛使用，其灵活的计算和存储设计吸引了很多不同的初创企业，包括谷歌、dropbox和instagram等。

　　在具体使用中，首先需要一个对集群的初步认识，我们发现，比较容易被忽略的是计算层。在这方面最受欢迎的思路是像burst一样将分布式计算作为一个通用的后端存储，并支持所有的传统机器进行分布式数据架构。有一个需要注意的地方是，一般的kv存储系统都是专注于数据库buffer层的研究，而不是传统的计算层。我们花了大量的时间在oraclebuffer层上，而oracle是传统数据库操作系统的中间件。

" />

　　我们收集了几家做大数据oracle和oracle实现的初创公司的产品情况，得到的结论是：大部分用户并不知道数据库具体是干什么的，就按惯性使用数据库。在实际的使用中，burst都是采用sharding的方式去管理上百万量级的数据，通过负载均衡，将datalog路由给最近的mysql集群并根据负载均衡的关系自动去bufferlog。

　　我们进一步探索，发现burst可以使用go重写，去提高性能，可以把log可靠地重写，并且易于使用。oraclebufferlog只是部分为重写保留，以减少复制时间。而我们知道java并不适合重写。后端mysql因为不同的存储引擎（rdb,sdb,paralleldatasync等）在逻辑上并不对等，而由于优化过程的差异，也有可能得到不同的结果。

　　目前，我们仍然在考虑上ssd，也就是将log挂载在磁盘阵列中去实现高吞吐，因为ssd数据库性能普遍比使用传统机器（磁盘）数据库更快。而且go可以修改sql来重写log，可以把事务慢的处理给slaves修改，这些都极大地提高了系统的可。