Apache Dolphin Scheduler 3.0.1 发布,对核心及UI相关进行优化
点亮 ️ Star · 照亮开源之路
GitHub:https://github.com/apache/dolphinscheduler

版本发布
感谢本次的 Release Manager --@zhuangchong,是他主导了我们这个版本的发布流程,引导社区进行版本内容沟通,发版前的问题跟踪,blocking issue 处理,版本质量管理等,感谢@zhuangchong为社区的付出,也期待其他 Committer 和 PMC 能够一起参与到 Release Manager 的角色中来。
在3.0.0 正式版本发布1个多月之后,期间社区也紧锣密鼓的进行着新版本的迭代的筹备,通过用户访谈对一线的建议、意见反馈进行收集,作为3.0.1版本的核心开发点,我们约谈了多个企业,社区收集了上百条 issue PR,近30位贡献者参与,推出了大家期盼已久的3.0.1版本,该版本对于UI以及调度内核做了些许调整,同时也修复了一些3.0.0版本存在的bug,非常欢迎社区的小伙伴参加到社区的共建中。
Release note:
https://github.com/apache/dolphinscheduler/releases/tag/3.0.1
核心相关 Core Related
工作流执行可运行将面临无限循环
升级时提示数据库字段存在问题
普通用户不能创建依赖任务
任务、工作流实例优先级导致 NPE
Dependent 下游错误触发
修复工作流实例可能多次故障转移
任务组获取任务状态为运行错误
修复worker 杀任务触发 OOM
UI相关优化 UI-related optimization
工作流列表名称显示重叠
工作流实例不支持运行
数据源修改端口报错
工作实例操作不在同一行
显示工作流名称
资源中心 Resource Center
资源中心 defaultFs 配置失效问题
文档相关 Documentation Related
增加了部分提醒性语言,如上传文档时候的全路径、standalone 默认资源中心的使用;
更正了原本错误的文档,如 工作流相关描述、创建 worker group相关、 python api 跳转链接、部分拼写错误、社区 email slack 链接;
Python API
本次主要增加了python 10 和 python 11-dev 支持,修复了 switch 任务类型,sql 任务 truncate 语法识别错误问题。同时修复了 python api 只有最新版文档的问题
BUG Fix
[Improvement][UI] Unified local parameters UI #11190
[Fix][UI] Fix bug where icons are displayed in one line. #11320
[Improvement-11386][UI] Concise the logic available for task action buttons #11419
[Fix][UI] Fix the preTask options are unavailable when creating a tas… #11501
S3 Resource center supports bucket customization (#12022)
fix status check issue (#11580) (#12030)
[LDAP] Config value should return real null instead of 'null' string (#12031)
[3.0.1-preapre][cherry-pick]3.0.1 UI (#12020)
[Fix][UI] Fix bug where crontab special of month and year #11661
[UI] Enable highlight and auto-complete for SQL scripts #11659
[Fix][UI] Fix the problem that the pagination component is not centered in the environment management. #11646
[Fix][UI] Fix the port in the datasource edit. #11624
[Fix][UI] Fix the table header in the workflow instance. #11487
[Fix][UI] Fix bug where warn group name not display #11429
[Feature-10117][UI] Hide node execution when start from the workflow definition list page #11372
[Fix-11366][UI] Workflow instance should not support right-click running #11367
[fix-10961][alert server]Change the content of alert to an array (#11033)
[Fix][UI] Fix workflow name overlaps bug (#11862) (#12019)
[Bug] [Worker] Optimize the getAppId method to avoid worker OOM when kill task (#11994)
fix heartBeatTaskCount bug (#12024)
Fix kill task failed will cause the taskGroup cannot release and add taskGroup log (#11469) (#12013)
Workflow Definition Name Change Validation Optimization. (#11986)
add unit test ci timeout (#11655) (#12021)
[helm] fix worker template persistentVolumeClaim link (#11248) (#12018)
Set master's task running status in runTask to avoid the task group acquire failed, but the task status is in running (#11451) (#12011)
[python] Refactor structure to avoid cycle import (#11167)
[python] Add support interpreter version 310 and 311-dev (#11170)
[bug][python] Fix task switch error when default branch not defined last (#11606)
[fix][python] Sql pattern add truncate. (#11666)
Add dependent task instance log (#11541) (#12014)
If the task processor is not found need to throw error rather than exception (#11461) (#12012)
Fix workflow instance may failover many times due to doesn't check the restart time (#11445) (#12010)
Fix find last process instance in dependent task is not correct (#11424) (#12009)
Fix quartz threadPriority config name error (#11596) (#12015)
[Fix-11413] Cannot set task status to kill if the task is not in running(#11414) (#12007)
Clear thread name in BaseTaskProcessor (#11422) (#12008)
Bug Dependent downstream trigger error when schedule cycle not day. (#11987)
[CI] Fix cluster test abnormal (#11688) (#11985)
[Improvement-11380][scp-host.sh] Set StrictHostKeyChecking=no option to ssh (#11382) (#11995)
optimize the process instance query, change the date time range (#11719) (#11991)
[Fix-11051][Task]Fix the process exitValue exception when the process times out and th… (#11099) (#11983)
[fix-11404]: make the common.properties to configurable on values.yaml (#11441) (#11967)
][fix-11452][Bug] [Logger Server] Incorrect password regular expression (#11993)
Remove logger header in task log file (#11555) (#11968)
[Bug] [API] The task priority and process instance priority might be null and cause NPE (#11969)
[Bug] [spark-sql] In spark-sql, select both SPARK1 and SPARK2 versions and execute /bin/spark-sql (#11971)
Update dolphinscheduler_ddl.sql (#11974)
[fix-#11815] fix ck column names contain special characters (#11973)
[Bug][Workflow Definition] fix ordinary users can not create depend task (#11961) (#11976)
[Fix-11877][UI] Fix the problem that the environment cannot be delete (#11934)
[fix-10938]: use dot to replace source and make the default env work in shell (#11937)
fix hdfs defaultFs not working (#11823) (#11936)
[Quartz] cron did not work as expected (#11932)
[Bug] [Master] WorkflowExecuteRunnable will face a infinite loop #11838 #11864 (#11949)
[Bug-#11650][worker] #11650 fix SQL type task, stop task does not take effect (#11938)
[Fix][db] fix init&upgrade mysql-meta-schema bugs #11887 (#11933)
Process definition length too long when copy or import #10621 (#11893)
DOC
[Doc] Upgrade license. (#9967)
[Doc] Update README. (#9970)
[Doc] Fix Doc deadlink in readme (#9972)
[Doc] Update the Document picture to new UI (#9953)
[Doc] Add example and notice about task type Conditions (#9945)
[Doc] Fix Docker link. (#9998)
[Doc] Add the description about execute type in SQL task (#9987)
[Doc] Add example and notice about task type Dependent (#10001)
[Doc] Correct kubernetes (#9985)
[Doc] Correct Doc of development-environment-setup (#9995)
[Bug][Document] Fix task group management Document link error (#10062)
[Fix-10083][Doc]Change Docker cmd && Change WebexTeams Chinese Translation (#10084)
[improvement-#11630]fix document about common.properties (#11653)
update PyDolphinScheduler documentation link. (#11474)
[doc] Correct E2E Doc, fix WorkerGroupPage typo (#11629)
Fix homepage email subscription link (#11622)
[DOC] should notice that need setting the full path when call the resource file #11620 (#11621)
[Doc][Bug] Fix resource center docs for standalone mode (#11600)
feat: update slack (#11578)
[Improvement-11550] [Doc]Document content update (#11577)
[Doc][Security] Update instructions on worker groups (#11483)
[Doc][DSIP] Move DSIP docs to the right place (#11442) (#11443)
[Doc][Resources] Instruct users to use local storage if they have remote storage mounted to local (#11435)
feat: Modifying Slack Links (#11416)
[python] Add multiple version of document (#11391)
[doc] Refine the deployment documentation (#11361)
[Fix-11217] [Doc] add postgresql config in doc: datasource-setting (#11326)
[doc] Improve the document introduction of complement (#11275)
[DOC] improve zk digest doc (#11703) (#11992)
[Doc] Remove re-upload file function in the 3.0.0's doc (#11804) (#11984)
[doc] Add how obtain IP address from network card in FAQ (#11311) (#11982)
fix doc about sub-process's child node describe (#11972)
[fix][doc] Update the registry related configuration in values.yaml (#11444) (#11980)
致谢 Acknowledgement
感谢所有 3.0.1 版本的贡献者(按首字母排序),是你们的不懈努力让社区不断进步
106umao、Amy0104、ChrisYuan、DarkAssassinator、EricJoy2048、EricGao888、HeZean、JinyLeeChina、MonsterChenzhuo、SbloodyS、WangJPLeo、abzymeinsjtu、devosend、fengjian1129、fuchanghai、guodongym、hiSandog、huage1994、insist777、jackfanwan、jieguangzhou、labbomb、limaiwang、liqingwang、lishiyucn、luoyedeyi、rickchengx、ruanwenjun、shangeyao、sketchmind、songjianet、stalary、wendongdi、yutianaiqingtian、zhangshuocn、zhongjiajie、zhuangchong、zhuxt2015

最后非常欢迎大家加入 DolphinScheduler 大家庭,融入开源世界!
我们鼓励任何形式的参与社区,最终成为 Committer 或 PMC,如:
将遇到的问题通过 GitHub 上 issue 的形式反馈出来。
回答别人遇到的 issue 问题。
帮助完善文档。
帮助项目增加测试用例。
为代码添加注释。
提交修复 Bug 或者 Feature 的 PR。
发表应用案例实践、调度流程分析或者与调度相关的技术文章。
帮助推广 DolphinScheduler,参与技术大会或者 meetup 的分享等。
欢迎加入贡献的队伍,加入开源从提交第一个 PR 开始。
- 比如添加代码注释或找到带有 ”easy to fix” 标记或一些非常简单的 issue(拼写错误等) 等等,先通过第一个简单的 PR 熟悉提交流程。
注:贡献不仅仅限于 PR 哈,对促进项目发展的都是贡献。
相信参与 DolphinScheduler,一定会让您从开源中受益!
参与贡献
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。
参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:
贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A"volunteer+wanted"
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。
添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。
Apache Dolphin Scheduler 3.0.1 发布,对核心及UI相关进行优化的更多相关文章
- Apache Dolphin Scheduler - Docker Compose 详解
Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统.简称 DS,包括 Web 及若干服务,它依赖 PostgreSQL 和 Zookeep ...
- Apache Dolphin Scheduler - Dockerfile 详解
Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统.简称 DS,包括 Web 及若干服务,它依赖 PostgreSQL 和 Zookeep ...
- PHPRAP 1.0.2 发布,修复安装失败 Bug 和优化细节
PHPRAP,是一个PHP轻量级开源API接口文档管理系统,致力于减少前后端沟通成本,提高团队协作开发效率,打造PHP版的RAP. 更新记录 [修复]修复在MySQL5.5版本下安装数据初始化sql文 ...
- Dolphin Scheduler 1.1.0升级1.2.0避坑指南
本文章经授权转载 组件介绍 Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开 ...
- Dolphin Scheduler 1.2.0 部署参数分析
本文章经授权转载 1 组件介绍 Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程 ...
- Dolphin Scheduler秒级别工作流异常处理
本文章经授权转载 1 组件介绍 Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程 ...
- Apache HttpComponents Client 4.0快速入门/升级-2.POST方法访问网页
Apache HttpComponents Client 4.0已经发布多时,httpclient项目从commons子项目挪到了HttpComponents子项目下,httpclient3.1和 h ...
- Apache Storm 1.1.0 发布概览
写在前面的话 本人长期关注数据挖掘与机器学习相关前沿研究.欢迎和我交流,私人微信:846731084 我自己测试了一下这个版本,总的来说更加稳定,新增的特性并没有一一测试,仅凭kafk-client来 ...
- Apache Flume 1.7.0 发布,日志服务器
Apache Flume 1.7.0 发布了,Flume 是一个分布式.可靠和高可用的服务,用于收集.聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型.这是一个可靠.容错的服务. 本次更 ...
随机推荐
- MyBatis-通用Mapper-tk.mybatis的使用
MyBatis-通用Mapper[更新中] tk.mybatis的使用 前言 使用MyBatis开发,如果是普通是同MyBatis进行开发,那么就需要在xml文件中编写大量的SQL.当数据库表结构发生 ...
- Java语言的跨平台性
2.1 Java虚拟机 -- JVM JVM:Java虚拟机,简称JVM,是运行所有java程序的假想计算机,是java程序的运行环境,是java最具吸引力的特性之一,我们编写的java代码都运行在J ...
- 使用Python3.7+Django2.0.4配合vue.js2.0的组件递归来实现无限级分类(递归层级结构)
原文转载自「刘悦的技术博客」https://v3u.cn/a_id_133 所谓的无限极分类是啥?其实简单点说就是一个人类可以繁衍出多个后代,然后一个后代又可以分另外多个后代这样无限繁衍下去(可以想象 ...
- 抖音 滑块验证方案 s_v_web_id 参数分析
本文所有教程及源码.软件仅为技术研究.不涉及计算机信息系统功能的删除.修改.增加.干扰,更不会影响计算机信息系统的正常运行.不得将代码用于非法用途,如侵立删! 抖音web端 s_v_web_id 参数 ...
- 产品 | GreatSQL,打造更好的MGR生态
欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答 GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 用 ...
- mybatis 05: mybatis中的动态代理
mybatis中动态代理存在的意义 图示 图示分析 分层说明:界面层为第一层,业务逻辑层(接口层 + 实现层)为第二层,数据访问层(接口层 + 实现层)为第三层 业务逻辑层和数据访问层:分别分两层来开 ...
- BZOJ4569 [Scoi2016]萌萌哒(并查集,倍增)
类似\(ST表\)的思想,倍增\(log(n)\)地合并 你是我家的吗?不是就来呀啦啦啦.还有要来的吗?没了!那有多少个家就映射多少答案呀 倍增原来这么好玩 #include <iostream ...
- Redis 06 哈希
参考源 https://www.bilibili.com/video/BV1S54y1R7SB?spm_id_from=333.999.0.0 版本 本文章基于 Redis 6.2.6 哈希就是 ke ...
- Spring源码 10 IOC refresh方法5
本文章基于 Spring 5.3.15 Spring IOC 的核心是 AbstractApplicationContext 的 refresh 方法. 其中一共有 13 个主要方法,这里分析第 5 ...
- Fiddler抓包工具下载安装及使用
一.Fiddler简介 简介: Fiddler是一款强大的Web调试工具,他能记录所有客户端和服务器的HTTP/HTTPS请求 工作原理: Fiddler是以代理web服务器的形式工作的,它使用代理地 ...