本周伊始,Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K.目前,Apache DolphinScheduler 社区已经拥有 Contributor 345+,fork 数 3k+,社区发展呈现出一片欣欣向荣. 既 Apache DolphinScheduler 项目荣登 GitHub Java Trending 周月度榜单之后,Apache DolphinScheduler 的社区活力与开发热度再一次得到了印证.3.0.0…

在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数.为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战.如今,新网银行多个项目已经完成了实时与准实时的跑批,指标管理系统的离线跑批,应用于离线数据开发和任务调度.准实时数据开发和任务调度,以及其他非 ETL 用户定义数据跑批三类场景中. 为了更好地适应业务需求,新网银行是如何基于Apache DolphinScheduler 做改造的呢?在 Apache Dolphin…

2022年1月,科学技术部高新技术司副司长梅建平在"第六届中国新金融高峰论坛"上表示,当前数据量已经大大超过了处理能力的上限,若信息技术仍然是渐进式发展,则数据处理能力的提升将远远落后于指数级增长的数据量.因此,在一段时期内,数据处理能力与效率的提升仍将是大数据发展要面对的技术难点. 随着5G.物联网等网络信息技术的快速发展以及应用的快速增长,数据量也呈指数级增长,纵观运营商整个大数据开发的链路上,在各个环节都会出现各种严峻的问题,随着数据任务调度量级日益增大,阻碍数据正确且高效地发挥…

截止2022年,中国联通用户规模达到4.6亿,占据了全中国人口的30%,随着5G的推广普及,运营商IT系统普遍面临着海量用户.海量话单.多样化业务.组网模式等一系列变革的冲击. 当前,联通每天处理话单量超过400亿条.在这样的体量基础上,提高服务水平,为客户提供更有针对性的服务,也成为了联通品牌追求的终极目标.而中国联通在海量数据汇集.加工.脱敏.加密等技术与应用方面已崭露头角,在行业中具有一定的先发优势,未来势必成为大数据赋能数字经济发展的重要推动者. 在 Apache DolphinSche…

| 本文编辑:朱桐 新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1.3.4 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.3 发现的 10 多处 bug,其中多数 bug 是测试伙伴在极端环境下发现的.1.3.4 重要的修复需要关注下面这个: 1 个重要修复 现象: 任务实例(taskInstance) 状态更改错误:[#4084][server] fix t…

经过 Apache DolphinScheduler PPMC 们的推荐和投票,我们高兴的宣布:Apache DolphinScheduler 迎来了 2 位 PPMC .他们是(github id):Tboy 和 khadgarmage.对于成为 PPMC ,两位小伙伴说道: Tboy: 社区在 dev 邮件列表通知被选为 PPMC 时,非常的激动.从19年10月参与 ds,到19年12月选为 committer,到20年4月选为ppmc,每一天都在为荣誉奋斗. PPMC 不是开源的终点,而是…

点击上方蓝字关注 Apache DolphinScheduler Apache DolphinScheduler(incubating),简称"DS", 中文名 "海豚调度"(海豚聪明.人性化,又左右脑可互相换班,终生不用睡觉).DolphinScheduler 正在像它的名字一样,努力成为一个"开箱即用"的灵活易用的大数据任务调度系统. 金秋十月,秋风送爽,伴随着盛大的 1024 程序员节及 Apache Roadshow-China 的圆满落…

在这个金灿灿的收获季节,经过 Apache DolphinScheduler PPMC 们的推荐和投票,Apache DolphinScheduler 收获了 5 位新Committer .他们是:nauu(朱凯).Rubik-W(温合民).gabrywu.liwenhe1993.clay4444.对于成为 Committer ,小伙伴们说道: 朱凯: 非常荣幸能够成为DolphinSchedule 的 Committer.这既是一份喜悦,也是一份责任.我将以终为始,继续打怪升级,助力 DS 早…

云霞出海曙,梅柳渡江春. 2022 年的早春在疫情中显得格外生机勃勃,虽然接下来寒流仍有可能造访国内部分地区,但开源的世界,早已热闹非凡! 2022 年 3 月 26 日(星期六), Apache DolphinScheduler 和 Apache ShenYu(Incubating) 两大新生开源力量将携手,邀请来自 YY直播.自如.政采云等团队的实战型专家,更有 Apache ShenYu 创始人 & PPMC  & Dromara 开源组织创始人,以及Apache ShenYu Co…

DolphinScheduler是什么? Apache DolphinScheduler 是一个分布式.易扩展并带有强大的可视化界面的大数据工作流调度系统. 2021 年 03 月 18 日正式成为 Apache 顶级项目,是首个由国人主导并贡献到 Apache 基金会的大数据工作流领域的顶级项目. DolphinScheduler 致力于在数据工作流编排中 "解决复杂的大数据任务依赖及触发关系,让各种任务开箱即用".截止 2020 年 10 月,已有 400+ 公司在生产上使用. 我…