解决方案:五十款阿里开源软件说明介绍

　　解决方案:五十款阿里开源软件说明介绍

　　阿里巴巴的Github代码托管地址：

　　通过写这篇文章，我在开源中国网站上查阅了很多资料，并将开源软件的基本介绍和下载地址复制到文章中。总体感觉阿里的开源太强大了，太需要了。花很多时间去了解。今天写这篇文章主要是因为本人对阿里的开源项目比较陌生，通过这篇文章有了一个大概的了解。每个人一天都有24小时，但大部分时间我们不能专心学习和做事，而时间对我们来说是非常宝贵的，原因是人的能量是有限的，我们不能像学习和进行频繁的机械动作机器。懒惰是人类的天性。如果我不写这篇文章，我想我明天可能会忘记阿里的东西，并让他们陷入我脑海中的“黑洞”。为了挽回记忆，不留遗憾，这篇文章还是很重要的。有必要写。通过梳理，我们可以大致看到阿里发展过程中技术更新的轨迹。阿里的很多中间件和开源方案也值得我们学习，所以很多时候我们不仅要低头做事，还要时不时看看天。

　　的

　　1. JDBC连接池，监控组件Druid

　　Druid是一个JDBC组件，包括三部分：（1）DruidDriver代理Driver，可以提供基于Filter-Chain模式的插件系统；(2) DruidDataSource 高效可管理的数据库连接池；(3) SQL解析器；

　　德鲁伊能做什么？

　　1）可以监控数据库访问性能。Druid 内置了一个强大的 StatFilter 插件，可以对 SQL 的执行性能进行详细的统计，有助于在线分析数据库的访问性能。

　　2) 替换 DBCP 和 C3P0。Druid 提供了一个高效、强大、可扩展的数据库连接池。

　　3) 数据库密码加密。将数据库密码直接写在配置文件中是一种不好的行为，容易导致安全问题。DruidDruiver 和 DruidDataSource 都支持 PasswordCallback。

　　4) SQL执行日志。Druid 提供了不同的 LogFilters，可以支持 Common-Logging、Log4j 和 JdkLog。您可以根据需要选择相应的LogFilter来监控您的应用程序的数据库访问。

　　扩展JDBC，如果需要对JDBC层进行编程，可以使用Druid提供的Filter-Chain机制，轻松编写JDBC层的扩展。

　　下面是基于Druid内置扩展StatFilter的监控实现：

　　git地址：javascript:void(0)

　　2.分布式文件系统FastDFS

　　FastDFS 是一个开源的分布式文件系统。它管理文件。其功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适用于以文件为载体的在线服务，如相册网站、视频网站等。

　　Github地址：

　　3.通用React兼容渲染引擎Rax

　　Rax是阿里开源的一个通用的JavaScript库，主要是兼容React的API。使用 React 的任何人都应该已经知道如何使用 Rax。

　　特点： Fast：快速的虚拟DOM；微型：min + gzip 后只有 8.0kb；通用：跨浏览器、Weex 和 Node.js。

　　Github地址：

　　4. Java的JSON处理器fastjson

　　fastjson是阿里巴巴工程师开发的一款性能良好的Java语言实现的JSON解析器和*敏*感*词*。

　　主要特点：快速 FAST（比任何其他基于 Java 的解析器和*敏*感*词*都快，包括 jackson）；强大（支持常见的 JDK 类，包括任何 Java Bean 类、集合、映射、日期或枚举）；零依赖（不依赖除 JDK 之外的任何其他类库）。

　　git地址：javascript:void(0)

　　5.七天学习NodeJS文档

　　七日学NodeJS是阿里巴巴国际站前端技术部编写的学习Node.js的开源文档。

　　Github地址：

　　6.服务框架Dubbo

　　Dubbo是阿里巴巴开源的一个高性能、优秀的服务框架，可以让应用通过高性能的RPC实现服务的输出和输入功能，并可以与sprig框架无缝集成。

　　主要核心部件：

　　Dubbo 的工作原理

　　Github地址：

　　7.开源数据库AliSQL

　　AliSQL是基于MySQL正式版的一个分支，由阿里云数据库团队维护，目前也在阿里巴巴集团业务和阿里云数据库服务中使用。该版本在社区版的基础上进行了大量的性能和功能优化改进。特别适用于电商、云计算、金融等行业环境。

　　据阿里云数据库资深专家丁奇介绍，AliSQL版本在实力和广度上都经历了极大的考验。最新的AliSQL版本不仅吸取了其他开源分支如Percona、MariaDB、WebScaleSQL等社区的精华，还积累了阿里巴巴在MySQL领域多年的经验和解决方案。AliSQL新增更多监控指标，针对电商闪购、物联网大数据压缩、金融数据安全等场景提供个性化解决方案。

　　“在一般的benchmark测试场景下，AliSQL版的性能比MySQL官方版提升了70%，在秒杀场景下，性能提升了100倍。” 丁奇说道。

　　阿里云高级总监李进表示，“AliSQL的发展得到了很多智慧的支持，我们希望将过去几年积累的技术回馈社会，帮助更多的个人和企业使用MySQL。”是社区健康发展的必由之路。我们也欢迎更多的开发者和技术团队加入AliSQL开源项目，让它在行业中发挥更大的价值。”

　　与Oracle数据库的性能对比：

　　Github地址：

　　8.跨平台移动开发工具Weex

　　2016年4月21日，阿里巴巴在Qcon大会上宣布开源跨平台移动开发工具Weex。Weex 可以完美平衡性能和动态，让移动开发者通过简单的前端语法编写出 Native 级的性能体验，支持 iOS、Android、YunOS 和 Web 等多终端部署。

　　对于移动端开发者，Weex主要解决版本发布频繁、研发多端两大痛点，同时解决前端语言性能差、展示效果受限等问题。开发者可以通过Weex官网申请内测。( )

　　开发者只需要在自己的APP中嵌入Weex SDK，就可以通过编写HTML/CSS/JavaScript来开发Native级别的Weex界面。Weex接口生成的代码其实就是一小段JS，可以像发布网页一样简单的部署在服务端，然后在APP中请求执行。

　　与现有的开源跨平台移动端开放项目如Facebook的React Native、微软的Cordova等相比，Weex更加轻量和紧凑。由于基于Web组件标准，开发更加简洁规范，使用方便。原生组件和API都可以横向扩展，方便根据业务灵活定制。Weex渲染层性能优异，可以跨平台实现一致的布局效果和实现。对于前端开发，Weex可以实现组件化开发，数据自动绑定，拥抱Web标准。

　　显着特点：

　　9.消息中间件Apache RocketMQ

　　【Apache RocketMQ】RocketMQ为Apache捐赠那些鲜为人知的故事

　　阿里巴巴开源消息中间件RocketMQ的前世今生

　　Apache基金会宣布接受阿里消息中间件RocketMQ作为孵化项目

　　RocketMQ是一个分布式、队列模型的消息中间件，具有以下特点：

　　Github地址：

　　10、淘宝Hadoop运行平台Zeus Zeus

　　Zeus 是一个完整的Hadoop 运行平台。Zeus支持从Hadoop任务调试运行到生产任务周期调度的任务全生命周期。

　　在功能上，它支持：

　　Github地址：

　　11.淘宝分布式数据库OceanBase

　　OceanBase是一个支持海量数据的高性能分布式数据库系统。实现千亿记录、百TB数据的跨行、跨表事务。部门协同工作。在设计和实现OceanBase时，暂时放弃了临时表和视图（view）等非紧急DBMS功能。研发团队将有限的资源集中在关键点上。目前OceanBase主要解决数据更新一致性和高性能的问题。跨表读取事务、范围查询、连接、全量和增量数据转储以及批量数据导入。

　　目前，OceanBase已经应用于淘宝采集

，用于存储淘宝用户采集

商品和具体商品、店铺信息，每天支持40~5000万次更新操作。待上线的应用还有CTU、SNS等，每天更新超过20亿次，更新数据量超过2.5TB，将逐步在淘宝内部推广。

　　12.分布式key/value存储系统Tair

　　Tair是淘宝网自主研发的Key/Value结构数据存储系统，在淘宝网有*敏*感*词*应用。当您登录淘宝、查看商品详情页，或与您在淘江湖的好友“发贴”时，您都在直接或间接地与Tair进行互动。

　　Tair 是 Key/Value 结构化数据的解决方案。它默认支持基于内存和文件两种存储方式，分别对应我们通常所说的缓存和持久化存储。

　　除了常用的Key/Value系统提供的get、put、delete、batch接口等功能外，Tair还额外增加了一些实用的功能，使其适用于更广泛的场景，包括：

　　13.系统信息采集

与监控工具Tsar

　　沙皇是淘宝的一款采集

工具。主要用于采集

服务器系统信息（如cpu、io、mem、tcp等）和应用数据（如squid haproxy nginx等）。信息！

　　它类似于sar，可以监控和采集

服务器和关键应用信息，支持实时终端显示和数据库集中存储查询，也可以向Nagios发送告警信息。Tsar的模块化设计，方便通过新模块的开发扩展新功能，非常方便。

　　Github地址：

　　14.模块加载框架SeaJS

　　Sea.JS是一个遵循CommonJS规范的模块加载框架，可以用来轻松愉快地加载任意JavaScript模块。

　　SeaJS支持的标准模块遵循Modules/Wrappings规范的定义形式，可以运行在Web浏览器、node.JS等环境中。

　　Github地址：

　　15.阿里巴巴分布式数据库同步系统otter

　　Otter基于数据库的增量日志分析，准实时同步到本地或远程机房的mysql/oracle数据库。分布式数据库同步系统。

　　工作原则：

　　

" />

　　原理说明：

　　1、基于Canal开源产品获取数据库增量日志数据。什么是Canal，请点击

　　2、典型的管理系统架构，manager（web管理）+node（工作节点）

　　一个。manager运行时将同步配置推送到node节点

　　b. node节点向manager反馈同步状态

　　3、基于zookeeper，解决分布式状态调度，让多node节点协同工作。

　　Github地址：

　　16.分布式消息中间件蜕变

　　Metamorphosis（MetaQ）是一个高性能、高可用、可扩展的分布式消息中间件，类似于LinkedIn的Kafka。具有消息存储顺序写入、高吞吐量、支持本地和XA事务等特点。适用于大吞吐量、顺序消息、广播、日志数据传输等场景，已在淘宝、支付宝广泛使用，现已开源。

　　整体结构：

　　内部结构：

　　主要特征：

　　Github地址：

　　17.HTML5交互游戏引擎Hilo

　　Hilo是阿里巴巴集团开发的HTML5跨端游戏解决方案，可以帮助开发者快速创建HTML5游戏。

　　主要特点

　　Github：

　　18.自动化测试解决方案Macaca

　　官网： 链接

　　Macaca 是一个完整的自动化测试解决方案。

　　特征：

　　客户：

　　客户端工具的安装和使用详见macaca-cli。

　　持续集成：

　　reliable 是一个分布式持续集成服务，可以和macaca无缝集成。

　　具体部署和使用请参见reliable-slave、reliable-master。

　　Github地址：

　　19. JavaScript模板引擎Velocity.js

　　Velocity.js 是速度模板语法的 javascript 实现。Velocity 是基于Java的模板引擎，广泛应用于阿里集团各子公司。Velocity模板适用于使用大量模板的场景，支持复杂的逻辑运算，包括基本数据类型、变量赋值、函数等功能。Velocity.js 支持 Node.js 和浏览器环境。

　　特征

　　Github地址：

　　20. Oracle数据迁移同步工具yugong

　　yugong是阿里巴巴推出的数据迁移到Oracle的同步工具（全量+增量，目标支持MySQL/DRDS）

　　2008年左右，阿里巴巴开始尝试MySQL相关研究，开发了基于MySQL分库分表技术的相关产品Cobar/TDDL（目前为阿里云DRDS产品），解决了单机Oracle无法扩展的问题不符合。当时也掀起了一股去IOE项目的热潮，愚公项目也因此诞生。其目标是帮助用户完成从Oracle数据到MySQL的迁移，完成走向IOE的第一步。

　　整个数据迁移过程分为两部分：

　　全量迁移 增量迁移

　　进度解析：

　　增量数据采集（创建oracle表的增量物化视图）进行全量复制 增量复制（可以并行进行数据校验）停止写入原数据库，切换到新数据库

　　建筑学

　　阐明：

　　一个Jvm Container对应多个实例，每个实例对应一个表迁移任务实例分为三部分

　　一个。extractor（从源数据库中提取数据，可分为全量/增量实现）

　　b. translator（根据目标库的需要自定义源库上的数据）

　　C。applier（更新数据到目标库，可分为全量/增量/对比实现）

　　Github地址：

　　21.企业级流式计算引擎JStorm

　　JStorm是参考Apache Storm实现的实时流计算框架。在网络IO、线程模型、资源调度、可用性和稳定性等方面不断改进，被越来越多的企业所采用。JStorm可以看作是storm的java增强版。除了核心的纯java实现外，还包括thrift、python、facet ui。从架构上看，其本质是一个基于zk的分布式调度系统

　　JStorm 的性能是 Apache Storm 的 4 倍，并且可以在行模式和小批量模式之间自由切换：

　　Github地址：

　　22. 非侵入式运行时AOP框架Dexposed

　　Dexposed是阿里巴巴无线事业部首款重量级Andorid开源软件。Dexposed是在ROOT社区知名开源项目Xposed的基础上，对ROOT部分进行了改造和剥离，演化为服务于应用本身的AOP框架。支持阿里大部分应用的在线分钟级客户端bugfix和在线调试能力。

　　Deexposed 的 AOP 是完全非侵入式实现的，没有任何注释处理器、编织器或字节码重写器。Dexposed的集成非常简单，就像加载一个JNI库一样，只需要在初始化的时候插入一行代码即可。

　　经典用例

　　Github地址：

　　23.自动化测试解决方案UI Recorder

　　UI Recorder是一个零成本的整体自动化测试解决方案。一次自测等于多次测试，测试一个浏览器等于测试多个浏览器！

　　以下是该产品的特点：

　　自测=自动化测试：对于开发者来说，自测是开发过程中必不可少的一个过程。干扰记录：所有操作不需要交互干扰，鼠标、键盘、alert框、文件上传完全可以按照正常的自检流程进行操作（以下操作除外：悬停事件、断言、变量） 本地generated scripts：录制的脚本 存储在用户本地机器，用户可以在录制的基础上进行修改和定制，更加自由和开放 Rich assertions：支持以下断言类型，val, text, displayed, enabled, selected, attr, css, url, title, cookie , localStorage, sessionStorage 支持数据Mock：我们支持Faker变量函数，支持强大的数据Mock 支持公共用例：

　　视频教程：

　　Github地址：

　　24.安卓应用热修复工具AndFix

　　AndFix是阿里巴巴开源的安卓应用热修复工具，帮助安卓开发者修复应用在线问题。Andfix是“Android hot-fix”的首字母缩写。

　　AndFix 支持 Android 2.3 - 6.0、ARM 和 x86 架构、dalvik runtime 和 art runtime。AndFix 的分支是 .apatch 文件。

　　AndFix 方法的主体取代了实施规则：

　　错误修复过程：

　　Gitbub地址：

　　25. 设计语言&前端框架Ant Design

　　

" />

　　Ant Design 是一种企业级的前端设计语言，是蚂蚁金服开发并目前使用的基于 React 的前端框架实现。

　　特征

　　26.分布式SQL引擎Lealone

　　Lealone 为 HBase 提供了分布式 SQL 引擎，该项目试图结合 BigTable（HBase）和 RDBMS（H2 数据库）。

　　Lealone发音 ['li:ləʊn] 这是我创造的一个新英文单词，灵感来自淘宝时办公桌上的一种室内植物叫green radish，一直想做一个以它命名的项目。Luluo的拼音是lv luo，有点类似于Lealone的英文发音。Lealone是lea+lone的组合（lea草原/草原，lone lonely），可以看成是现在的心境：思路开阔但孤独。反过来读会更有趣。

　　应用场景：

　　27. 淘宝 React 框架 React Web

　　React Web是淘宝前端团队的一个开源项目，通过与React Native一致的API构建Web应用。

　　Github：

　　28. 基于Node.js的自动化持续集成 Reliable

　　Reliable是一个分布式架构的持续集成系统，由Macaca团队成员开发。适用于一体化建设、一体化建设等场景。她是一个典型的master-slave结构，分为reliable-master和reliable-slave两部分。

　　特征：

　　同时，她与猕猴融为一体。

　　使用Macaca + Reliable为您的团队和公司搭建开源自动化集成平台是一个不错的选择。

　　Github地址：

　　29. Java APNS苹果推送通知服务开源库apns4j

　　apns4j 是 Apple 推送通知服务的 Java 实现！

　　Github地址：

　　30.Ali-Kernel，Linux内核的阿里巴巴分支

　　阿里巴巴内核起源于亚洲最大的电子商务网站阿里巴巴。它基于RHEL6源码，收录

阿里巴巴需要的一些更新和新特性。更多信息和文档，请查看

　　特征：

　　Github地址：

　　31.淘宝网服务器Tengine

　　Tengine是由淘宝网发起的一个web服务器项目。在Nginx的基础上，针对大流量网站的需求，增加了很多高级的功能和特性。Tengine的性能和稳定性在淘宝、天猫等大型网站上得到了很好的检验。其最终目标是打造一个高效、稳定、安全、易用的Web平台。

　　Tengine自2011年12月起开源，Tengine团队积极开发维护。Tengine团队核心成员来自淘宝、搜狗等互联网公司。Tengine是社区协作的成果，我们欢迎大家参与和贡献。

　　下面是项目首页的功能介绍：

　　Github地址：

　　32.Web通用UI库kissy

　　issy 是淘宝的开源 JavaScript 库。包括：日历、图片放大镜、卡片开关、弹窗、输入建议等组件。

　　愿景：小巧灵活，简单实用，好用。

　　支持的浏览器：IE 6+、Firefox 3.5+、Safari 4+、Chrome 2+、Opera 10+

　　Github地址：

　　33. Bug管理系统BugFree-禅道

　　BugFree - 借鉴微软的软件开发理念，免费开源，精简的基于Web的bug管理系统。

　　项目已经停止维护，开发团队做了一个新的禅道项目。

　　34. Nginx开发从入门到精通

　　由于其出色的性能，nginx越来越受到全世界人们的关注，在淘宝内部得到了广泛的应用。很多开发和运维同学都渴望了解nginx模块的开发及其相关知识，但是国内没有这方面的书籍，所以我们决定自己写一本。本书作者是淘宝核心系统服务器平台组成员。本书的写作思路是从模块开发逐步过渡到nginx原理分析。本书内容会在这里定期更新。我们欢迎您提出宝贵意见。无论是本书内容的问题还是文字错误，欢迎大家提交issue（章节标题左侧有评论按钮），我们会及时跟进。

　　Github地址：

　　35.分布式数据层TDDL

　　淘宝根据自身业务特点，开发了TDDL（淘宝分布式数据层昵称：头太大©_Ob）框架，主要解决分库分表应用的透明化和异构数据库之间的数据复制。基于集中配置的jdbc数据源实现，具有主备、读写分离、数据库动态配置等功能。

　　TDDL（tddl通用数据访问层，部署在客户端的jar包，用于将用户的SQL路由到指定数据库）的位置：

　　淘宝长期在数据库中处理数据。上层系统连接多个数据库，中间有一个叫做DBRoute的路由统一访问数据。DBRoute 进行多库操作和数据整合，让上层系统像操作一个数据库一样操作多个数据库。但是随着数据量的增加，对数据库表的划分也有了更高的要求。比如当你的产品数据达到百亿级别的时候，任何数据库都存不下，所以分为2、4、8、16、32……直到1024、2048。嗯，分为这样很多，而且数据可以存储，那怎么查询呢？这时，数据查询中间件就必须能够担当起这个重任。对于上层，它必须像查询数据库一样查询数据，而且必须和查询数据库一样快（每次查询都在几毫秒内完成），TDDL就承担了这样的工作。外面的一些系统也用DAL（Data Access Layer）的概念来命名这个中间件。

　　下图是一个简单的分库分表数据查询策略：

　　主要优势：

　　1、数据库主备与动态切换

　　2.加权读写分离

　　3.单线程读重试

　　4.数据源信息集中管理和动态变化

　　5.剥离稳定的jboss数据源

　　6.支持mysql和oracle数据库

　　7、基于jdbc规范，方便扩展支持jdbc规范实现的数据源

　　8.没有server，client-jar形式，应用直接连接数据库

　　9.读写次数，并发过程控制，动态变化

　　10、可分析的日志打印，日志流控，动态变化

　　TDDL必须依赖diamond配置中心（diamond是淘宝用来管理持久化配置的系统，目前淘宝大部分系统的配置都是由diamond管理的，diamond也已经开源）。

　　TDDL动态数据源使用示例说明：

　　*敏*感*词*介绍与快速使用：%E4%B8%93%E9%A2%98/

　　TDDL源码：

　　TDDL复杂度比较高。目前公开的文档很少，只有动态数据源是开源的。分表分库部分还没有开源，还需要依赖diamond，不推荐。

　　Github地址：

　　36.分布式文件系统TFS

　　TFS（Taobao FileSystem）是一个高扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量非结构化数据。

　　目前国内自主研发的文件系统并不多见。淘宝在这方面进行了有效的探索和实践。淘宝文件系统（TFS）作为淘宝内部使用的分布式文件系统，专门针对海量小文件的随机读写访问性能进行了优化。数据存储，例如图片和产品描述。

　　文章首先总结了TFS的特点：近日，淘宝核心系统团队工程师初才（李真）在其官方博客上写了一篇文章（《TFS简介》，以下简称文章）简单介绍了TFS的基本情况系统，引起了社会的关注。

　　目前TFS在淘宝的应用规模已经达到“百台PCServers，PB级数据量，百亿级数据量”。关于其性能参数，初才透露：

　　TFS在淘宝的部署环境中有两层前端缓冲。对TFS系统的请求是非常离散的，所以TFS内部没有任何数据的内存缓冲，包括传统文件系统的内存缓冲。基本上我们可以达到单盘随机IOPS（I/O per second）理论最大值的60%左右，整机的输出量随盘数线性增长。

　　TFS的逻辑架构如图1所示：

　　图 1. TFS 逻辑架构图（来源：淘宝核心系统团队博客）

　　楚才根据架构图做了进一步的解释：

　　TFS目前还没有向终端用户提供传统的文件系统API，需要通过TFSClient访问接口。TFS现有的JAVA、JNI、C、PHP客户端的NameServer作为中控节点，监控所有数据节点的运行状态，并负责读写调度。TFS的DataServer作为数据节点，负责数据的实际负载均衡和数据冗余，管理二级元数据，帮助客户端获取真实的业务数据。

　　解决方案:2020轻量级PHP泛站群系统源码(符合搜索引擎算法/泛站群/泛站群源码)

　　轻量级PHP搜索引擎泛站群程序源码，完美SEO优化符合搜索引擎搜索引擎算法，无需任何采集

，放关键词即可，超强的全屏搜索引擎泛站群程序源码。

　　本套站群源码仿照聚合搜索，搜索引擎搜索的程序源码，安装源码后修改关键词和你的域名即可使用！

　　程序采用入口代码跳转，摒弃了以往的JS跳转方式，更加方便灵活。

　　跳转模板，可以自定义模板样式。

　　

" />

　　入口判断是否来自搜索引擎搜索，如果来自搜索引擎搜索，则加载跳转页面模板。

　　搜索引擎蜘蛛劫持，UA来自搜索引擎蜘蛛，加载内容页面。

　　长尾词首页霸屏，无需其他排名程序辅助，自然排名直接上首页。只需要一个新的cn即可操作。案例是使用spider pool，如果不使用spider pool，只会慢慢收录。

　　文件不能用txt打开直接修改。应该用编辑器nootpad++工具打开

　　

" />

　　安装说明：

　　数据写入修改权限

　　data/huoduan.diykey.txt put关键词

　　huoduan.domain.txt 放域名

　　文件不能用txt打开直接修改