Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的,但是在用户层面.技术层面都存在一些痛点问题难以被解决.比如在用户层面缺少任务可视化编辑界面.补数等必要功能,导致用户上手难体验差.在技术层面,架构过时,持续迭代难度大.基于这些情况,经过竞品对比和调研后,Fordeal数据平台新版系统决定基于Apache DolphinScheduler进行升级改造.那整个迁移过程中开发人员是如何让使用方平滑过渡到新系统,又做出了哪些努力呢? 5月 Apache Dolphinschedul…

在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数.为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战.如今,新网银行多个项目已经完成了实时与准实时的跑批,指标管理系统的离线跑批,应用于离线数据开发和任务调度.准实时数据开发和任务调度,以及其他非 ETL 用户定义数据跑批三类场景中. 为了更好地适应业务需求,新网银行是如何基于Apache DolphinScheduler 做改造的呢?在 Apache Dolphin…

点击上方 蓝字关注我们 社区的小伙伴们,经过精心筹备,我们很高兴地宣布,Apache DolphinScheduler Meetup 2021 将于 2021 年 11 月 27 日到来! 在 Meetup 上,来自 DolphinScheduler 社区的积极贡献者和深度用户将带来关于 DolphinScheduler 的最新进展和一线用户实践分享.也许你是对 DolphinScheduler 抱有兴趣和好奇的小伙伴,也许你在生产环境中遇到了难以解决的困难,都可以来到这里,与贡献者交流接触,寻…

参与人员 @chengshiwen.@hailin0.@wanghong1314.@ruanwenjun.@xxjingcd.@zhangguohao.@zhuangchong.@syb853553110.@wangdazhong001.@CalvinKirs.@AlleriaWindrunner.@597365581 .@lenboo .@yakcy 感谢各位的参与,让Apache DolphinScheduler更加茁壮的成长,期待更多的小伙伴可以加入进来. 加入方式可以参考文章末尾的相关介…

关于 DolphinScheduler社区 Apache DolphinScheduler(incubator) 于17年在易观数科立项,19年3月开源, 19 年8月进入Apache 孵化器,社区发展非常迅速,目前已有IBM.美团.腾讯.360等 400+ 公司在生产上使用,代码+文档贡献者近200位,社区用户4000 +人.DolphinScheduler (简称DS) 致力于使大数据任务调度开箱即用,它以拖拉拽的可视化方式将各种任务间的关系组装成 DAG(有向无环图),并实时监控整个数据p…

关于 Apache DolphinScheduler社区 Apache DolphinScheduler(incubator) 于17年在易观数科立项,19年3月开源, 19 年8月进入Apache 孵化器,社区发展非常迅速,目前已有 400+ 公司在生产上使用,代码+文档贡献者近200位,社区用户4000 +人.DolphinScheduler (简称DS) 致力于使大数据任务调度开箱即用,它以拖拉拽的可视化方式将各种任务间的关系组装成 DAG(有向无环图),并实时监控整个数据pipeline…

点亮 ️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler 精彩回顾 近期,初灵科技的大数据开发工程师钟霈合在社区活动的线上 Meetup 上中,给大家分享了<基于 Apache DolphinScheduler 对千亿级数据的应用实践>主题演讲. 我们对于千亿级数据量的数据同步需求,进行分析和选型后,初灵科技最终决定使用DolphinScheduler进行任务调度,同时需要周期性调度 DataX.SparkSQL…

经 10000+ 开发者公开票选,20+专家评审. 10+ 主编团打分,历经数月打磨,11 月 19 日,由InfoQ 发起并组织的[2020中国技术力量年度榜单评选]结果正式揭晓. 2020 年度十大开源新锐项目囊括了最近三年内,开源领域活跃度最高.最具创新性和发展潜质的项目,Apache DolphinScheduler(incubator) 经过层层环节的选拔,成功获得[十大开源新锐项目] InfoQ 海报 除了DolphinScheduler获奖外,还有 9 个优秀项目也同时获奖,值此机…

经 10000+ 开发者公开票选,20+专家评审. 10+ 主编团打分,历经数月打磨,11 月 19 日,由InfoQ 发起并组织的[2020中国技术力量年度榜单评选]结果正式揭晓. 2020 年度十大开源新锐项目.2020 年度十大开源杰出贡献人物.2020 年度十大云原生创新技术方案以及 2020 年度十大云原生行业落地典范四大榜单,其中 2020 年度十大开源新锐项目囊括了最近三年内,开源领域活跃度最高.最具创新性和发展潜质的项目,年度开源新锐项目评选受欢迎程度更是成为四大榜单之最.Apa…

本周伊始,Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K.目前,Apache DolphinScheduler 社区已经拥有 Contributor 345+,fork 数 3k+,社区发展呈现出一片欣欣向荣. 既 Apache DolphinScheduler 项目荣登 GitHub Java Trending 周月度榜单之后,Apache DolphinScheduler 的社区活力与开发热度再一次得到了印证.3.0.0…