全球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于北京时间 2021年4月9日在官方渠道宣布Apache DolphinScheduler 毕业成为Apache顶级项目。这是首个由国人主导并贡献到 Apache 的大数据工作流调度领域的顶级项目。

DolphinScheduler 已经是联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等 400+ 公司在使用的分布式可视化大数据工作流调度系统。

DolphinScheduler于2019年8月29日由易观捐赠给 Apache 并启动孵化。之后在导师的指导下,由孵化器管理委员会成员进行辅导和孵化,在 2021年2月19日在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。3月18日,Apache 董事会通过DolphinScheduler毕业决议,结束了为期 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。

2021 年 4 月 9 日由 Apache 市场副总裁 Sally Khudairi 在 Apache 软件基金会各渠道官号上发布官方通告。

关于 Apache DolphinScheduler

Apache DolphinScheduler 是一个分布式易扩展的带有强大可视化 DAG 界面的新一代工作流调度平台,自 2017 年在立项之初就确定了使命“解决大数据任务之间错综复杂的依赖关系,使整个数据处理过程直观可见”,从此配置工作流程再也不需要写代码啦!

DolphinScheduler 架构

作为强大的带有有向无环图(DAG)可视化界面的分布式大数据工作流调度平台,DolphinScheduler解决了复杂的任务依赖关系和简化了数据任务编排的工作。它以开箱即用的、易于扩展的方式将众多大数据生态组件连接到可处理 100,000 级别的数据任务调度系统中来。

Apache DolphinScheduler是全球顶尖架构师与社区认可的数据调度平台,把复杂性留给自己,易用性留给用户,整体有如下特征:

  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持K8s Docker部署与扩展,性能上可以线性增长,在用户测试情况下最高已经支持10万的并行任务控制;

  • 高可用:去中心化的多Master/Worker的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下可以具有完整性完成整体调度;

  • 用户友好的界面:可视化的DAG图,包括子任务,条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理,批数据处理,暂停、恢复、多租户等,对于spark,hive,MR,flink,clickhouse等等平台都可以方便直接调用。

DolphinScheduler在短短一年半孵化时间里就能收获如此多用户和其一直倡导的Slogan是分不开的:

最终Apache DolphinScheduler获得大量用户,例如中国联通、IBM中国,京东物流,联想,新东方,顺丰快递等等,400多个用户都在线上使用:

是的,调度用的对,半夜真能安心睡!

Apache DolphinScheduler开始了新的起点!

DolphinScheduler 在设计之初就秉承着大道至简、产品易用易维护的核心理念,以高可用、易扩展作为架构底座,经过诸多打磨,获得了用户群体的肯定,然后才在 2019年 3 月正式对外开源,8 月 29 日成功进入到 Apache 孵化器,成为国内首个 Apache 大数据调度项目,多次登陆 github 月度趋势榜并引起 Hacker News 上的热烈讨论。在 2020 年, DolphinScheduler 也获得了诸多赞誉,InfoQ 中国技术力量年度榜单评其为 “十大开源新锐项目” 和 “最具人气开源新锐项目”,荣获开源中国年度 “最佳技术团队” 等称号。DolphinScheduler社区已经有庞大的 4000+ 人的用户群,据不完全统计,截止 2020 年 10 月,已经有 400+ 家公司将 DolphinScheduler 用在生产环境,DolphinScheduler 在各个领域上持续发光发热!

DolphinScheduler 发展历程

在 Apache 孵化过程中,学习并实践 Apache Way, 真正体会到了 Apache 文化的精髓 “Comuunity Over Code”,社区基于代码,却又大于代码,需要在代码之上去思考如何协作、如何沟通,如何让 Community 健康持续的向前发展。正是这不断的思考,使得 DolphinScheduler 在结束孵化投票上没有遇到任何 challenge,可以说是出乎意料的顺利。

毕业成为顶级项目见证了过去一年半以来来自 Apache DolphinScheduler 社区众多贡献者和用户的日日夜夜的努力,自从进入 Apache 孵化器以来,DolphinScheduler 社区共加入了 14 位 Commiter、2 位 PMC,也在社区的共同努力下发布了 8 个 Apache Releases,感谢给予辛勤支持和无数帮助的各位导师、贡献者、用户和及 Apache 孵化器的支持。

成为顶级项目,只是Apache DolphinScheduler新的起点,还有更多的挑战等待着各位社区的小伙伴和用户多多的支持,我们希望未来可以让中国优秀的开源项目走向世界,让世界都了解国内也有顶尖的开源项目,最后也感谢各位大咖对于 Apache DolphinScheduler 项目的帮助和祝福。我们也在此拜谢各位,也希望各位一如既往的支持 Apache DolphinScheduler 项目走向全球!

在成为顶级项目佳机,DolphinScheduler 社区先后获得各路大神和各开源社区的贺词与祝福:

  • 我很荣幸能从孵化的第一天起就开始指导DolphinScheduler社区。在过去的 1.5 年中,社区非常快速而健康地生长。他们很快学会了Apache文化,并具有出色的执行能力。很高兴看到该项目从孵化器中毕业,并拥有一个多元化而活跃的社区。成为顶级项目来说是一个新的起点,期待成为一个全球性且强大的项目。

——Sheng Wu. DolphinScheduler Incubator Champion. Apache board director

  • 很荣幸见证了 DolphinScheduler 从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目的整个过程;在这一年多的时间里, DolphinScheduler 社区的同学们,秉承开源精神,不断创新、不断进取;社区开发者贡献者源源不断的加入,使得 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走向了良性循环发展之路。期待她从孵化器毕业以后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。

——史少锋,Apache Kylin & Incubator PMC

  • 祝贺DolphinScheduler开源项目从Apache孵化器中毕业成为ASF顶级开源项目,DolphinScheduler一直按照Apache Way来发展社区,吸引了众多开源开发者加入,在社区成员共同努力下,项目越来越成熟,祝愿DolphinScheduler社区越来越好

——Apache CarbonData VP 陈亮

  • 在 DolphinScheduler 从 Apache 基金会孵化成功、毕业成为顶级项目之际,谨代 Apache Pulsar 社区送上祝福,祝 DolphinScheduler 项目和社区发展越来越好!也希望 Pulsar 和 DolphinScheduler 社区多多合作,共同推进国内开源发展。

—— Apache Pulsar 社区

  • 恭喜 Apache DolphinScheduler 从 Apache 基金会毕业,非常高兴看到又一来自中国的开源项目成为 Apache 基金会顶级项目。恭祝 DolphinScheduler 社区发展壮大,服务更多开发者。

—— Apache ECharts VP 羡辙

  • 恭喜 DolphinScheduler 顺利毕业成为 Apache 软件基金会的顶级项目!DolphinScheduler 在进入 Apache 孵化器后,按照 Apache Way 快速发展,已经拥有了很多的外部贡献者,也有非常多的公司在使用,构建了健康的社区生态。期待 Apache DolphinScheduler 成为顶级项目后,能够吸引更多的开发者参与进来。

—— Apache APISIX VP 温铭

  • DolphinScheduler 是非常靠谱的国产开源项目,祝越来越好!

—— Apache pegasus ppmc 吴涛

  • 恭喜 Apache DolphinScheduler 毕业,

DolphinScheduler是一款非常优秀的开源项目,社区一直遵从Apache Way,孵化期间,已经吸引了大量的用户、贡献者。

我在此谨代表 Apache Dubbo 社区送上祝福,衷心祝愿DolphinScheduler社区越来越好!

——Apache Dubbo PMC - YuHang Xiu

  • 我非常高兴看到 DolphinScheduler 毕业成为 Apache 顶级项目,DolphinScheduler 社区在孵化器中以 Apache way 的方式发展的非常快。我对我们2个社区共同举办的co-meetup上参与者的热情印象非常深刻。希望将来能有更多的合作。我为你感到骄傲,Congratulations!

——LiangZhang, Apache member & Apache ShardingSphere PMC Chair

  • 恭喜 Apache DolphinScheduler 从 Apache 基金会毕业成为 Apache 基金会顶级项目。恭祝 DolphinScheduler成为新时代Scheduler标准,为更多的企业和开发人员带来开箱即用的体验。

——Apache Griffin VP 郭跃鹏

  • 祝贺DolphinScheduler毕业!进入Apache孵化器以来,DolphinScheduler发展非常迅速,建立了非常活跃的社区。期待DolphinScheduler越来越好,也非常期待IoTDB能够与DolphinScheduler集成,成为时序分析的数据源。

——Apache IoTDB VP 黄向东

此次顺利毕业,DolphinScheduler 也获得了开源社创始人 - 刘天栋Ted 的高度评价:“Apache DolphinScheduler 是一个真正践行 Apache 之道-亦即由社区驱动的开源项目。它成功地由 Apache 孵化器毕业为顶级项目,标志了第一个源自中国的中小企业开源项目一样可以立足中国、贡献全球。恭喜 Apache DolphinScheduler! ”

毕业之际,DolphinScheduler 社区也获得了用户代表的赞誉:

  • 提供了一个优秀的调度产品,节省了近百人月的开发成本。友好的社区沟通环境,提供了强大的后援支持。

——联通数字科技 架构师 尹正军

  • 面向物流领域的解决方案,DS作为数据底座基础组件,可配合多个京慧智能产品应用对外销售,可根据业务实际需求灵活选择。可快速高效定制化开发,新功能新需求支持敏捷开发,短时间内即可完成产品方案的快速交付,具有良好的、完整的技术保障。另外运用开源DS,便于业务实际需求扩展和二次开发。如外接SAP hana数据共享和Hadoop最新版本源码快速迭代。DS 社区一年来,汇集了很多业界专家,输出了很多高质量的讲座和文档资源,在社区中学习到很多,收获很大。祝DS社区发展越来越好,能够凝聚更多的有识之士,共谱开源DS的美好未来。

——京东物流JDL  数据架构师 顾喜德

  • 恭喜~~ 小海豚已经是我们数据项目开发管理的利器,非常好用,希望保持初心,越来越好~

——奇安信 数据总监 姜旭

  • 从EasyScheduler到DolphinScheduler,有幸见证了小海豚的成长 —— 越来越简单,越来越易用。DS已作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望DS社区生态越来越完善,每个用户都能得益于社区,贡献于社区!

——长安汽车 数据平台工程师 黄立

新一代大数据调度 - DolphinScheduler 的相关资源

  • DolphinScheduler 官网: https://dolphinscheduler.apache.org

  • DolphinScheduler github:https://github.com/apache/incubator-dolphinscheduler

  • DolphinScheduler Gitee:https://gitee.com/dolphinscheduler/DolphinScheduler

  • DolphinScheduler Twitter: https://twitter.com/dolphinschedule

  • DolphinScheduler Slack 讨论频道: https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-omtdhuio-_JISsxYhiVsltmC5h38yfw

  • DolphinScheduler 微信公众号: 海豚调度

  • 微信用户群添加微信号: easyworkflow

彩蛋:

DolphinScheduler 社区获得了 Apache Pulsar 社区的视频祝福:

https://www.bilibili.com/video/BV1oi4y1w7yk

官宣!DolphinScheduler 毕业成为 Apache 软件基金会顶级项目的更多相关文章

  1. Apache 软件基金会顶级项目 Pulsar 达成新里程碑:全球贡献者超 300 位!

    各位 Pulsar 社区小伙伴们: 今天我们高兴地宣布Pulsar 达成新里程碑,全球贡献者超 300 位! 距离 Pulsar 实现 200 位贡献者里程碑,仅仅间隔 8 个月! 作为 Apache ...

  2. 对于学习apache软件基金会顶级项目源码的一点思路(转)

    ASF的开源项目,为软件行业贡献了太多好的产品和软件思维.学习ASF的项目源码能很大的提升自身的能力.程序运行在服务器上的流程:执行启动脚本(start.sh) -> 指向程序的主方法 -> ...

  3. Apache软件基金会核心项目Tomcat的那些事

    Tomcat 服务器是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器,在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发和调试JSP 程序的首选.今天就来为大家介绍一下关于T ...

  4. Apache软件基金会项目百度百科链接

    Apache软件基金会 顶级项目 ▪ ActiveMQ ▪ Ant ▪ Apache HTTP Server ▪ APR ▪ Beehive ▪ Camel ▪ Cassandra ▪ Cayenne ...

  5. 官宣!ASF官方正式宣布Apache Hudi成为顶级项目

    马萨诸塞州韦克菲尔德(Wakefield,MA)- 2020年6月 - Apache软件基金会(ASF).350多个开源项目和全职开发人员.管理人员和孵化器宣布:Apache Hudi正式成为Apac ...

  6. 【翻译】Apache软件基金会1

    最近有点看不进去书,所以就找点东西翻译下,正好很想了解Apache基金会都有什么开源项目,每天找点事时间翻译翻译,还可以扩展下视野. 今天就看了两个,第一个是关于.NET的,不再兴趣范围内.第二个还挺 ...

  7. Apache 顶级项目 Apache Pulsar 成长回顾

    关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支 ...

  8. 【Apache开源软件基金会项目】

    因为想要继续巩固一下外语,并且扩展下java的知识面,翻译一下Apache软件基金会的各个项目是个不错的选择. 2014-10-19 1 [Apache .NET Ant Libary] .net A ...

  9. apache基金会开源项目简介

    apache基金会开源项目简介   项目名称 描述 HTTP Server 互联网上首屈一指的HTTP服务器 Abdera Apache  Abdera项目的目标是建立一个功能完备,高效能的IETF ...

随机推荐

  1. 【Azure 应用服务】NodeJS Express + MSAL 实现API应用Token认证(AAD OAuth2 idToken)的认证实验 -- passport.authenticate('oauth-bearer', {session: false})

    问题描述 在前两篇博文中,对NodeJS Express应用 使用MSAL + AAD实现用户登录并获取用户信息,获取Authorization信息 ( ID Token, Access Token) ...

  2. vscode远程调试c++

    0.背景 最近在学习linux webserver开发,需要在linux下调试自己的C/C++代码,但是linux下不像在windows下,直接Visio Studio或者其它集成开发环境那么方便,现 ...

  3. (1)《QT+OpenGL学习之我见》初始化窗口及三个重要函数 vs+Qt

    本章前言:本章讲如何利用VS和QT来创建一个基本的QOpenGLWidget窗口和有关联的三个核心函数,因为版本更新可能会有大同小异,但基本的不会有变换,有了QT的帮助,我们不需要下载opengL.g ...

  4. 在公网服务器搭建CobaltStrike4.0

    因为工作需要使用cs,正好之前腾讯云薅了一把羊毛,就把VPS装起来cs. 选的环境是centos7.6 cs运行需要java环境 先使用yum -y list java* 查看yum存在的java库 ...

  5. 修改jupyter notebook文件保存目录

    我们安装好jupyter notebook之后,打开的默认地址是在C盘,文件保存的文字也是C盘,会有其它乱七八糟的东西放一起,很不方便,所以可以换一个保存位置 1. 首先,在要存放文件的位置新建文件夹 ...

  6. sublime_text 3安装Emmet时出现PyV8警告

    使用Emmet是需要在PyV8依赖下才可以的.1. 下面是下载网址:PyV8下载地址 下载自己系统版本的压缩包,然后解压,自己创建一个名为PyV8文件夹.将解压后的文件放入该文件夹里. 打开首选项里的 ...

  7. SAP -熟练使用T-Code SHD0

    SHD0 业务顾问和开发顾问都非常熟悉的一个T-Code, 如果能合理使用它,可以省去许多增强和程序修改工作. 当我需要时,我在这里找不到任何相关文档,这就是为什么我想借此机会向我们自己的SCN提供内 ...

  8. SAP 实例 13 Random Grouping with LOOP

    REPORT demo_loop_group_by_random. CLASS demo DEFINITION. PUBLIC SECTION. CLASS-METHODS: main, class_ ...

  9. 利用IDEA搭建SpringBoot项目,整合mybatis

    一.配置文件.启动项目 生成之后这几个文件可以删掉的 配置application spring.datasource.url=jdbc:mysql://localhost:3306/test?serv ...

  10. JavaScript知识梳理

    JS内功修炼 专业术语 类,封装,继承, 专业术语 babel 块级作用域 函数 扩展对象的功能性 解构 set和map js的类 改进的数组功能 Promise与异步编程 代理和反射 用模块封装代码 ...