hadoop与websphere文件系统数据接入的架构设计(组图)

　　hadoop与websphere文件系统数据接入的架构设计(组图)

　　自动采集数据的，我用过的包括extractor和ae2marker。extractor支持的数据库很全，还可以生成excel，挺方便的，也很快。ae2marker数据库更多，但有些数据在测试版上面不支持。extractor还有一个优点就是插件丰富，支持的语言也多，但这是用来和其他软件共享资源的，你自己玩玩用来练手还可以。以上。

　　可以参考我写的这篇文章：hadoop与websphere文件系统数据接入的架构设计

　　tcoff-iot文件系统hdfs

　　我最近在做hadoop系统和redis系统数据交互过程中有一个环节要数据持久化，看了一圈tcoff-iothdfs-openwrt或者大数据或者exts-android或者chromium的方案，最后还是决定选择tcoff的架构解决方案。因为初步了解到双系统隔离是现在业界比较难解决的一个问题，有很多model不能满足wireless-os不能经受动态变化环境，还要具有易扩展和服务端可以并发请求等，数据持久化对tcoff来说真的是个很大的痛点，目前只有一些内置model方案来简单解决相应问题，而且某些内置model只能满足基本要求。

　　我对hadoop-openwrt还是挺有好感的，所以在考虑方案的时候还是多方面研究了一下，看看是否有什么可以改进的地方，最后选择tcoff不仅仅是因为他的双系统架构，双系统适合在windows和linux之间进行文件移动，在方便tcoff文件系统运维与管理方面也是个好的方式。还有一个原因是这是一个开源项目，对于入门级的人来说比较容易接受，数据接入架构也不用像exts那么复杂，只需要简单的添加一下权限即可，然后插件多集成也比较方便，简单来说这个项目就是基于tcoff-iot实现的一个开源linux环境下对hadoop数据交互的解决方案，且一直非常受欢迎，所以我觉得tcoff-iot在hadoop本地接入环境下是个不错的选择。本人还是有自己的一套代码，多与大家一起讨论。相关论文地址：，欢迎交流。