紧跟之前Hadoop 开源调度系统zeus(一) 本节主要介绍一下zeus的架构: 先给一个zeus的架构图 无论Master还是Worker都有一套WEB UI,无论从哪个上面去看,看到的结果都是一样的,实际上一般仅仅看主 Master:调度内核,在启动时启动一个TCP服务,同一时候将全部任务读到内存中,在任务能够运行时,加到运行队列,下发到client Worker:启动后连接Master,并定时向Master发送心跳,当收到Master的任务后,封装任务运行shell,并将任务运行结果通知…

在由 openLooKeng 社区主办,Apahce DolphinScheduler社区.Apache Pulsar 社区.示说网协办的联合 Meetup 上,来自联通数字科技的王兴杰老师分享了DolphinScheduler 在联通的实践和二次开发经验分享. 视频分享请参见 B 站 兴杰老师也总结了本次分享的文字版,欢迎阅读! 2020 年 3 月在完成一套服务监控治理系统的时候,我们接触到了 DolphinScheduler,发现 DolphinScheduler 的功能和我们的业务场景匹…

在这个金灿灿的收获季节,经过 Apache DolphinScheduler PPMC 们的推荐和投票,Apache DolphinScheduler 收获了 5 位新Committer .他们是:nauu(朱凯).Rubik-W(温合民).gabrywu.liwenhe1993.clay4444.对于成为 Committer ,小伙伴们说道: 朱凯: 非常荣幸能够成为DolphinSchedule 的 Committer.这既是一份喜悦,也是一份责任.我将以终为始,继续打怪升级,助力 DS 早…

经过 Apache DolphinScheduler PPMC 们的推荐和投票,我们高兴的宣布:Apache DolphinScheduler 迎来了 2 位 PPMC .他们是(github id):Tboy 和 khadgarmage.对于成为 PPMC ,两位小伙伴说道: Tboy: 社区在 dev 邮件列表通知被选为 PPMC 时,非常的激动.从19年10月参与 ds,到19年12月选为 committer,到20年4月选为ppmc,每一天都在为荣誉奋斗. PPMC 不是开源的终点,而是…

点击上方蓝字关注 Apache DolphinScheduler Apache DolphinScheduler(incubating),简称"DS", 中文名 "海豚调度"(海豚聪明.人性化,又左右脑可互相换班,终生不用睡觉).DolphinScheduler 正在像它的名字一样,努力成为一个"开箱即用"的灵活易用的大数据任务调度系统. 金秋十月,秋风送爽,伴随着盛大的 1024 程序员节及 Apache Roadshow-China 的圆满落…

作者 | 胡泽康 鄞乐炜 作者简介 胡泽康 联通(广东)产业互联网公司  大数据工程师,专注于开源大数据领域,从事大数据平台研发工作 鄞乐炜 联通(广东)产业互联网公司 大数据工程师,主要从事大数据平台的应用与引擎端开发 01 背景介绍 我们是联通医疗团队,一直践行 "服务医改,惠及民生" 的使命,全面驱动医疗健康产业数字化.智能化转型. 在调度系统选型初期,我们团队技术栈以 JVM 语言为主,由于 Airflow 的结构体系无法进行充分的改造和融合,因此在开源调度系统的选择上,我们主…

大家下午好,我是来自当贝网络科技大数据平台的基础开发工程师 王昱翔,感谢社区的邀请来参与这次分享,关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用. 本次演讲主要包含四个部分: 平台建设的背景 大数据平台重构 大数据调度平台建设 下一步规划 王昱翔 当贝大数据平台基础开发工程师 毕业于电子科技大学,主要是做大数据平台的构建.集成及组件的运维的工作. 01 背景 在当贝网络科技使用 Apache DolphinScheduler 作为大数据调度平台之前,我们在…

杭州思科已经将 Apache DolphinScheduler 引入公司自建的大数据平台.目前,杭州思科大数据工程师 李庆旺 负责 Alert 模块的改造已基本完成,以更完善的 Alert 模块适应实际业务中对复杂告警的需求. PROFILE 李庆旺杭州思科 大数据工程师,主要负责 Spark.调度系统等大数据方向开发. 我们在使用原有的调度平台处理大数据任务时,在操作上多有不便.比如一个对数据进行处理聚合分析的任务,首先由多个前置 Spark 任务对不同数据源数据进行处理.分析.最后的 Spa…

点击上方 蓝字关注我们 2021 年 10 月 22 日,Apache DolphinScheduler 正式发布 1.3.9 版本.时隔一个半月,在社区贡献者的共同努力下,Apache DolphinScheduler  1.3.9 为大家带来了 StandaloneServer,这是本版本的一项重大更新,也意味着其在易用性上又迈出了一步,详情将在下文介绍.另外,本次升级还修复了 1.3.8 的两个重要 bug. 1.3.9 下载地址:https://dolphinscheduler.apac…

摘要:Apache DolphinScheduler 目前是 Apache 孵化项目,目前正在快速发展中.加入Apache DolphinScheduler社区已一年多,已有 400+ 公司在生产上使用,代码+文档贡献者近200位,社区用户4000 +人.本篇文章主要介绍我在Apache DolphinScheduler的经历及收获. 主人翁介绍 姓名:陈兴春 个人简介:易观数科大数据平台测试工程师,Apache DolphinScheduler Commiter,拥有5年测试经验,平常主要负责…