Apache DolphinScheduler 3.2.2 版本正式发布!
Apache DolphinScheduler 3.2.2 版本正式发布!
近日,Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复,新增若干特性,并进行了众多改进和 Bug 修复,以及文档修复等。
3.2.2版本下载:https://dolphinscheduler.apache.org/zh-cn/download/3.2.2
⚙️Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.2.2
主要更新
增加参数类型
为了更有效地提升用户体验,本版本针对工作流启动参数、全局参数等参数类型进行拓展,把原有的固定 VARCHAR 数据值类型参数,拓展成为用户能够自行选择的多种类型。
作业数量统计
增加 Master&Worker 的忙碌状态,且增加 alert-server 服务监控,对页面 UI 显示进行优化,便于用户更为直观地监控核心服务状态。另外,增加工作流启动命令和失败命令的展示页面,方便用户直观地掌握工作流启动命令执行情况。
其他重要问题修复
- 完善了remote shell文档
- 对工作流操作增加依赖提示
- 页面交互优化(项目偏好设置)
- 替换云环境中Java任务依赖环境为jdk
- 对文件操作的全路径检测
- 增加记录项目参数的操作详情
- 优化告警服务启动时加载bean范围
- 修复参数丢失问题
- 分页查询时总页数错误问题
- 修复任务终止后异常调度问题
- 修复普通用户授权项目问题
- 修复任务组执行异常导致OOM问题
- 优化Switch节点检查分支是否存在
新增Feature
- [DSIP-39][参数] 改进启动参数/全局参数/项目参数数据类型 ( #15967 )@sdhzwc
- [Improvement][监控] 显示 Master&Worker 忙碌或正常状态并显示命令表列表 ( #15978 )@qingwli
- 添加 ETCD/JDBC 注册指南链接 ( #15597 )@pegasas
Improvement
将schema 330 合并到 321 并更改文档 ( #15582 ) ( #15586 )@zhongjiajie
[Improvement][API] 添加 PageInfo UT ( #15622 )@Gallardot
[Improvement-15603][API] 删除、修改工作流时,系统可以检查是否有任何任务依赖于它。(#15681)@calvinjiang
[Improvement-15694][UI] 保存任务表单后,任务节点使用错误的背景颜色。( #15695 )@calvinjiang
[Improvement-15707][Master] 解决有任务依赖的工作流无法正常运作的问题( #15712 )@calvinjiang
[Improvement-15723][UI] 解决项目偏好设置替换遗漏问题( #15724 )@calvinjiang
[Improvement-15725][UI] 项目偏好设置的默认选项可以清除。( #15727 )@calvinjiang
[CI] 合并前需要传递前端 ci ( #15735 )@SbloodyS
[Improvement][RemoteLogging] 将 init 移至 loghandler ( #15780 )@pegasas
[Improvement] 添加资源全路径检查 ( #15786 )@caishunfeng
[Improvement-15744][parameter] 项目参数增加更新时间及更新用户id ( #15745 )@sdhzwc
从 dolphinscheduler-task-dataquality 中删除 dolphinscheduler-data-quality (#15791)@ruanwenjun
[Improvement-15713][api]DataSource 和 UdfFunc 列表查询使用枚举代码值而不是ordinal ( #15714 )@songwenyong
[Improvement] 修复 ProcessServiceImpl 的拼写错误 ( #15817 )@qingwli
[Improvement][Api] 删除无用的 batchUpdateUdfFunc 方法 ( #15844 )@qingwli
[Fix-15866][Doc] 更新taobao npm 镜像地址 ( #15867 )@xxzuo
添加 DSIP 模板(#15871)@ruanwenjun
[DSIP-28] 不要扫描类路径下的整个目录 bean(#15874)@ruanwenjun
[DSIP-31] 减少 hikari 的连接池大小 ( #15890 )@ruanwenjun
[Improvement] 修复警报代码坏味道 ( #15892 )@qingwli
使用 workerNodeInfoWriteLock 更新工作节点信息 ( #15903 )@DaqianLiao
[Improvement-15919][datasource] Improvement数据源获取名称 ( #15920 )@sdhzwc
[Improvement-15910][UI] 使用并行执行模式时,应为自定义并行度提供默认值。( #15912 )@calvinjiang
优化 RPC 基类的范围(#15946)@ruanwenjun
[DSIP-35][Alert] 重构警报线程模型 ( #15932 )@ruanwenjun
[Improvement] 修复 pytorch 任务中的 git url 命令注入问题( #15873 ) ( #15950 )@cntigers
添加注册模块统一集成测试 ( #15981 )@ruanwenjun
[Improvement] 使用带有 snake yaml 的安全构造函数 ( #15758 )@EricGao888
[Improvement][监控] 为监控器添加 UT ( #15998 )@qingwli
弃用 2.0.9/3.0.6 升级测试(#16012)@ruanwenjun
[Improvement][Doc]修正 appendix.md 中文文档中的错别字 ( #16033 )@TianXinCoord
[Improvement][Helm] 制作 api/master/worker/alert 配置的 configmap ( #16058 )@pegasas
[Improvement-16125][dolphinscheduler-dist] 减少二进制分发 tarball 文件的大小 ( #16192 )@zhuxt2015
Bugfix
修复恢复暂停工作流实例可能会生成故障转移任务实例问题(#15611)@ruanwenjun
[FIX] 修复审计日志的 parma 拼写错误 ( #16077 )@qingwli
修复 out 参数可能丢失问题 ( #15617 )@ruanwenjun
[Bug][API] 列表分页缺少总页数 ( #15619 )@Gallardot
修复 Hive jdbc url(#15627)@xxzuo
[Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 ( #15621 )@cqutwangyu
[Bug] 修复可以修改不在资源路径下的文件的问题 ( #15652 )@ruanwenjun
[Bug] 修复即使任务已被终止也可能会被调度的问题(#15662)@ruanwenjun
[Bug] [Worker] 修复:创建具有主目录的 Linux 用户 ( #15670 )@zero-element
[Fix-15639] [Master] paramterPassing 为空情况 NPE ( #15678 )@liuchunhua
[Fix-15679][UI] 修复开关状态按钮显示不正确问题 ( #15686 )@liuchunhua
[Fix][Master] 修复 worker 故障转移时的潜在危险 ( #15689 )@ZhongJinHacker
[bug][插件]修复 readme.md 中的单词拼写错误 ( #15716 )@ZhongJinHacker
修复“启动参数覆盖全局参数”时出现的 NullPointerException 问题 ( #15677 )@wustlz
[CI] 修复 UI 构建错误 ( #15732 )@SbloodyS
[Fix-15698][UI] 在新标签页中打开时关闭定义 ( #15736 )@arlendp
[CI] 修复前端 ci 不触发问题 ( #15749 )@SbloodyS
[Bug] 当特定工作流版本下存在未完成的工作流实例时,禁止删除该版本(#15730)@ruanwenjun
[Bug] 修复延迟执行任务永远不会被调度的问题 ( #15751 )@ruanwenjun
[Bug] 修复 Switch 任务不检查分支是否存在问题 ( #15755 )@ruanwenjun
[Fix] 添加资源全名检查 ( #15757 )@caishunfeng
[Fix-15771] 修复普通用户可以授予项目权限的问题 ( #15772 )@silentxingtian
[bug][ui] 添加缺失的数据源并更新数据源 ID ( #15776 )@whhe
[Bug] 修复 TaskGroupCoordinator 在有大量等待 TaskGroupQueue 时可能导致 OOM 的问题 ( #15773 )@ruanwenjun
[Bug] 修复依赖任务逻辑 ( #15795 )@abzymeinsjtu
[Bug] [Common] 修复 common.properties 上的拼写错误(#15806)@pegasas
修复无法构造 StreamingTaskTriggerResponse 实例的问题(#15816)@atjiucheng
[Improvement] 异常字符检查 ( #15824 )@pinkfloyds
[Improvement] 修改 python-gateway: enabled 默认为 false。( #15825 )@pinkfloyds
[Fix-15787] 重用代码并解决复杂 SQL 解析异常的问题... ( #15833 )@xinxingi
修复 ErrorCommand 丢失 Command 中的某些字段 ( #15847 )@ruanwenjun
绑定 processId 来构造 CodeGenerator ( #15848 )@ruanwenjun
禁止强制成功运行正在运行的工作流实例中的任务实例 ( #15855 )@ruanwenjun
[Bug] 修复 QUARTZ 表顺序在初始化模式中不正确的问题 ( #15857 )@ruanwenjun
将 ssh 心跳类型更改为 IGNORE(#15858)@ruanwenjun
[FIX] 修复恢复已停止实例失败的问题 ( #15880 )@privking
修复 queryByTypeAndJobId 可能因多个结果而出错的问题 ( #15883 )@ruanwenjun
修复终止动态任务不会终止等待运行的工作流实例问题 ( #15896 )@ruanwenjun
修复自动并发创建 Tennat 会导致任务失败的问题 ( #15909 )@ruanwenjun
修复 java 任务中 jar 路径不正确的问题 ( #15906 )@ruanwenjun
[修复] 已完成的任务无法在工作流实例中重新执行(#15884)@privking
[Fix-15937] 将 tenantCode 传播添加到 DynamicCommandUtils.createCommand(#15956)@stoplyy
[fix-15907] 修复获取远程 shell 退出代码不正确的问题 ( #15911 )@Zzih96
[Fix-15969] [Helm] 不存在 DB 节点 ( #15970 )@Gallardot
EMR 任务支持替换参数占位符 ( #15975 )@ruanwenjun
修复 ci 中 pg 数据库架构变更检查失败问题 ( #15995 )@ruanwenjun
[Fix-15992] 通过有序迭代 MasterPriorityQueue 来维护slot index(#15993)@coldestlin
修复由于 varpool 中的重复键导致工作流实例重新启动失败问题(#16001)@ruanwenjun
在注册表 IT 中使用随机端口 ( #16014 )@ruanwenjun
修复并发操作导致的 rpc channel 泄漏 ( #16021 )@ruanwenjun
修复 WorkerTaskExecutorThreadPool#isOverload 不正确的问题 ( #16027 )@ruanwenjun
[Fix][CI] 修复 E2E-K8S-Execute 的 ci 错误 ( #16031 )@rickchengx
[Hotfix] 修复 NettyRemotingClient 可能抛出 IllegalMonitorStateException 的问题 ( #16038 )@ruanwenjun
[Fix-16046][SqlTask] 修复 Sql 任务使用时间类型不正确的问题 ( #16050 )@yinxiaolog
[helm] 从通用标签中删除 AppVersion ( #16066 )@Gallardot
恢复“[Improvement] 异常字符检查”(#16102)@ruanwenjun
修复状态为 dispatch 的任务实例不会进行故障转移 ( #16107 )@ruanwenjun
修复切换任务下的任务节点不会被跳过 ( #16108 )@ruanwenjun
[Bug] 修复条件任务会导致工作流实例失败 ( #16152 )@ruanwenjun
[Fix-16063] 修复升级到 v3.2.1 后管理员登录租户未指定的问题 ( #16064 )@tinglink
[Fix-16174] 集群安装指南不正确。(#16208)@SbloodyS
[Fix-16222] 修复 worker 过载导致任务失败的问题 ( #16221 )@ruanwenjun
[Fix-16211] 删除 buildJarCommand 中的 ExecutePath 以修复 Jar 模式下的 Java 任务(#16238)@lanxing2
[Fix-16253] 修复 JDBCRegistry 刷新锁错误 ( #16252 )@ruanwenjun
[Fix-16272][警报服务器] 警报服务器发送警报失败 ( #16275 )@wangbowen1024
[CP-16252] 修复 JDBCRegistry 刷新锁定错误 ( #16252 ) ( #16273 )@ruanwenjun
[Fix-16191] 修复任务无法使用工作流的环境 ( #16199 )@ruanwenjun
[Bug][Worker] 将 jre 替换为 jdk ( #15764 )@Gallardot
Document修复
[DSIP-32][Master] 为master获取命令添加命令获取器策略 ( #15900 )@ruanwenjun
[Doc] 修复 CNCF logo(#15634)@Gallardot
[Doc][远程 shell] 缺少版本 3.2.1 的远程 shell 文档 ( #15660 )@pegasas
[Doc] 修复 ci 文档检查超时问题 ( #15664 )@SbloodyS
[Doc] 修复资源配置存在拼写错误 ( #15988 )@dongyu6
文档:修复 contribute.md 中的类型(#16022)@jxbwhe
Chore
琐事:修改一些 CODEOWNERS(#15654)@zhongjiajie
[HotFix] [CI] 暂时跳过可合并检查 ( #15958 )@SbloodyS
[Chore] 撤销 3.2.2 版一些不兼容的更改 ( #16214 )@SbloodyS
[Chore] 报警服务器发送报警失败 ( #16275 ) ( #16284 )@SbloodyS
[Chore] [Cherry-Pick] 挑选一些 pr 到 3.2.2 ( #16215 )@SbloodyS
[Hotfix] 修复 dsip 名称问题 ( #15876 )@ruanwenjun
致谢贡献者
感谢本次发版人@wangxj3 主导本次发版工作,@Kerwin、@ruanwenjun和@SbloodyS 对本次发版工作的指导,以及以下 Contributor 的支持(排名不分先后):
DaqianLiao, EricGao888, Gallardot, SbloodyS, TianXinCoord, ZhongJinHacker, Zzih96, abzymeinsjtu, arlendp, atjiucheng, caishunfeng, calvinjiang, cntigers, coldestlin, cqutwangyu, dongyu6, jbampton, jxbwhe, lanxing2, liuchunhua, pegasas, pinkfloyds, privking, qingwli, rickchengx, ruanwenjun, sdhzwc, silentxingtian, songwenyong, stoplyy, tinglink, wangbowen1024, whhe, wustlz, xinxingi, xxzuo, yinxiaolog, zero-element, zhongjiajie, zhuxt2015
本文由 白鲸开源 提供发布支持!
Apache DolphinScheduler 3.2.2 版本正式发布!的更多相关文章
- Apache Pulsar 2.6.1 版本正式发布:2.6.0 功能增强版,新增 OAuth2 支持
在 Apache Pulsar 2.6.0 版本发布后的 2 个月,2020 年 8 月 21 日,Apache Pulsar 2.6.1 版本正式发布! Apache Pulsar 2.6.1 修复 ...
- 特性速览| Apache Hudi 0.5.3版本正式发布
1. 下载连接 源代码下载:Apache Hudi 0.5.3 Source Release (asc, sha512) 0.5.3版本相关jar包地址:https://repository.apac ...
- Apache DolphinScheduler 2.0.1 来了,备受期待的一键升级、插件化终于实现
✎ 编 者 按:好消息!Apache DolphinScheduler 2.0.1 版本正式发布! 本版本中,DolphinScheduler 经历了一场微内核+插件化的架构改进,70% 的代码被重构 ...
- 论语音社交视频直播平台与 Apache DolphinScheduler 的适配度有多高
在 Apache DolphinScheduler& Apache ShenYu(Incubating) Meetup 上,YY 直播 软件工程师 袁丙泽 为我们分享了<YY直播基于Ap ...
- 感谢有你!Apache DolphinScheduler 项目 GitHub star 突破 8k
本周伊始,Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K.目前,Apache DolphinScheduler 社区已经拥有 C ...
- Apache DolphinScheduler 1.3.9 发布,新增 StandaloneServer
点击上方 蓝字关注我们 2021 年 10 月 22 日,Apache DolphinScheduler 正式发布 1.3.9 版本.时隔一个半月,在社区贡献者的共同努力下,Apache Dolphi ...
- Apache DolphinScheduler 1.3.8 发布
小伙伴们 Apache DolphinScheduler 1.3.8 发布 2021年9月7日,正式发布 在 1.3.8 版本中,我们在 Docker&k8s 这里做了许多优化,Docker ...
- Apache DolphinScheduler 1.2.1 发布说明
Apache DolphinScheduler 于2020年2月24日正式发布 1.2.1 版,发布内容如下: 新特性: [#1497] 通过 API 创建的工作流在前端展示时自动调整布局. [#74 ...
- Apache DolphinScheduler 是如何诞生的
作者 | 代立冬,李岗 排版 | 开源之道小助理 Apache DolphinScheduler,简称"DS", 中文名 "小海豚调度"(海豚聪明.人性化,又左 ...
- Apache Flink 1.9.0版本新功能介绍
摘要:Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能.目前,Apache Flink 1.9 ...
随机推荐
- Android程序获取鸿蒙手机设备信息(是否鸿蒙手机、版本号、小版本号等)
1.效果图 鸿蒙手机 --> 关于手机的截图: Android程序获取鸿蒙手机设备信息的截图: 2.实现 本案例DEMO的实现主要借鉴了网上现有的资料: https://blog.csdn.ne ...
- 简约-Markdown教程
##注意 * 两个元素之间最好有空行 * 利用\来转义 我是一级标题 ==== 我是二级标题 ---- #我是一级标题 ##我是二级标题 ##<center>标题居中显示</cent ...
- webdav协议及我的笔记方案(私有部署)
背景 用markdown用于文章写作,有几年时间了,不是很喜欢折腾,主要就是在电脑上写,用的笔记软件就是typora.由于里面有很多工作相关的,以及个人资料相关的(包含了各种账号.密码啥的),所以不敢 ...
- nn.Conv2d()中dilation参数的作用
nn.Conv2d()中dilation参数的作用 下面这张图很好的描述了这个参数的作用 优点: 这样每次进行单次计算时覆盖的面积(感受域)增大,最开始时3*3 = 9 然后是5*5 = 25最后是7 ...
- 3568F-翼辉SylixOS国产操作系统演示案例
- python 转换PDF 到 EPS
from win32com.client.dynamic import ERRORS_BAD_CONTEXT as ebc from win32com.client import DispatchEx ...
- Mysql 日期查询今天、昨天、近7天、近30天、本月、上一月、本季
今天 select * from 表名 where to_days(时间字段名) = to_days(now()); 昨天 SELECT * FROM 表名 WHERE TO_DAYS( NOW( ) ...
- c 语言学习第五天
break 语句 在循环体中使用 break,可以跳出循环 打印 10 以内的数. #include<stdio.h> int main(){ int i,j = 20; for(i = ...
- 基于 Vagrant 手动部署多个 Redis Server
环境准备 宿主机环境:Windows 10 虚拟机环境:Vagrant + VirtualBox Vagrantfile 配置 首先,我们需要编写一个 Vagrantfile 来定义我们的虚拟机配置. ...
- 2024 Selenium10个替代品
随着自动化测试需求的不断增长,Selenium作为广泛使用的自动化测试工具,虽然功能强大,但也存在一些限制和挑战.在2024年, 越来越多的替代工具涌现,它们提供了更高效.更易用的解决方案.那么,哪些 ...