Apache DolphinScheduler 3.0.0 正式版发布!
版本发布 2022/8/10
- 更快:重构了 UI 界面,新 UI 不仅用户响应速度提高数十倍,开发者构建速度提高数百倍;
- 更强:带来了许多振奋人心的新功能,如数据质量保证、自定义时区、新增多个任务支持和多个告警插件;
- 更现代化:新 UI 除了更快外,大到页面布局,细到图标样式都更加现代化;
- 更易维护:后端服务拆分更加符合容器化和微服务化的发展趋势,还能明确各个服务的职责,让维护更加简单。
新功能和新特性
AWS 支持
- 针对 Amazon EMR,我们创建了一个新的任务类型,并提供了其 Run Job Flow 的功能,允许用户向 Amazon EMR 提交多个 steps 作业,并指定使用的资源数量。
- 对于 Amazon Redshift,我们目前在 SQL 任务类型中扩展了对 Amazon Redshift 数据源的支持,现在用户可以在 SQL 任务中选择 Redshift 数据源来运行 Amazon Redshift 任务。
- 对于 Amazon S3,我们扩展了 Apache DolphinScheduler 的资源中心,使其不仅能支持本地资源、HDFS 资源存储,同时支持 Amazon S3 作为资源中心的储存。详情可见:https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/resource.html 中的 `resource.storage.type`
服务拆分
- master-server: master服务
- worker-server: worker服务
- api-server: API服务
- alert-server: 告警服务
- standalone-server: standalone用于快速体验 dolphinscheduler 功能
- ui: UI资源
- bin: 快速启动脚本,主要是启动各个服务的脚本
- tools: 工具相关脚本,主要包含数据库创建,更新脚本
`bin/dolphinscheduler-daemon.sh`
数据质量保证
任务组
自定义时区
任务定义列表
新告警类型支持
Python API 新功能
# environment variable
export PYDS_JAVA_GATEWAY_ADDRESS="192.168.1.1"
export PYDS_WORKFLOW_USER="custom-user"
# file change
Directly change ~/pydolphinscheudler/config.yaml
# CLI
pydolphinscheduler config --set java_gateway.address 192.168.1.1
pydolphinscheduler config --set java_gateway.address 192.168.1.1 --set java_gateway.port 25334
# version
pydolphinscheduler verison
# 3.0.0
# config
pydolphinscheduler config --get java_gateway.address --get java_gateway.port
# The output look like below:
# java_gateway.address = 127.0.0.1
# java_gateway.port = 25333
pydolphinscheduler config --set java_gateway.address 192.168.1.1 --set java_gateway.port 25334
此前版本未公布的功能和特性更新
支持 Flink 任务类型
新增 Zepplin 任务类型
Bash 传参功能
lines_num=$(wget https://raw.githubusercontent.com/apache/dolphinscheduler/dev/README.md -q -O - | wc -l | xargs)echo "#{setValue(set_val_var=${lines_num})}"
允许用户上传没有后缀的文件
其他功能增强
主要优化项
- 任务后端插件优化,新插件只需要修改插件自带的模块
- 在工作流下提交/创建 cron 时验证结束时间和开始时间
- Dependent 添加依赖时可以选择全局项目
- AlertSender 优化及关闭优化,如 MasterServer
- 增加 slot 条件查询数据库, 减少返回数据记录
- 通过将 python gatewar 迁移到 apiserver 来精简 dist 包
- [python] 将 pythonGatewayServer 迁移到 api 服务器
- [python] 添加缺失的配置和连接远程服务器文档
- [Master/Worker] 将任务 ack 更改为运行回调
- [Master] 添加任务事件线程池
主要 Bug 修复
- 修复使用 S3a Minio 创建租户失败的问题
- 修复文本文件 busy 的问题
- 修复项目授权时生成一个重复授权项目的问题
- 修复因无法连接到 postgresql 而启动服务器失败的问题
- 修复消息显示找不到数据源插件“Spark”的问题
- 修复 MapReduce 生成的命令内置参数位置错误的问题
- 解决更改参数用户,队列在 ProcessDefinition 中失效的问题
- 解决使用依赖组件的进程无法在测试和生产环境之间迁移
- 解决了资源文件删除条件的问题
- 修复编辑复制节点的表单时影响原始节点数据的问题
- 解决了 Worker 资源耗尽并导致停机的问题
- 解决了某些类型的警报无法显示项目名称的问题
- 3.0.0 各个部署方式出现的问题
- 任务组为空时页面报错问题
- treemap 视图深度错误问题
- 告警信息不明确问题:告警组为空时报错信息不明确,批量删除工作流有异常时报错信息不明确,租户内容错长的错误提示,删除
- 参数校验问题:数据源中心的参数校验问题,修改密码时密码不一致提示,发告警前校验 alert scriptb
- Python api:不能设置 release state 问题,本地参数有值但是校验失败问题
- token 查询不遵循时区问题
- 修复 HTTPS 和 HTTP 字符串识别问题
- 修复 alert server 健康监测失效问题
- 修复 condition 任务分支失败问题
- 修复 docker 镜像不支持多平台问题
- 修复带有任务组优先级的工作流创建时不能正确写数据库的问题
- master 任务的失效问题
- 修复串行等待不运行的问题
- 时区问题:调度时区错误问题,日志增加时区支持
- 重新运行、暂停工作流实例失败问题
- 资源中心实例化失败问题
- 修复邮件告警模板分隔线问题
- 修复Standalone模式下数据初始化问题
- 修复监控中心DB不存在时的页面展示问题
- 修复创建工作流参数无效问题
- 修复K8S部署时zookeeper端口异常问题
- 修复Standalone模式下服务启动失败问题
- 修复LDAP登录失败问题
- Python api: 修复同一个项目下不同工作流的任务组件名称不支持重名问题
- Python api: 修复SQL任务组件SQL类型错误问题
- 修复资源文件重命名表单异常问题
- 修复根据定时设置获取工作流可执行时间错误问题
- 升级了Logback、Log4j等模块依赖
- 修复任务失败问题
- 修复好HDFS NPE 问题
- 修复任务组异常导致master死锁问题
- 修复一些列稳定性问题
文档修改
- 更正部署文档
- 修复、更新部分使用文档:WebexTeams 中文文档,本地参数、全局参数文档,Kubernetes FAQ 文档,Spark 注意事项文档,DataX 使用文档,删除 Flink API 文档,修复 open-api 的错误,修复数据质量中的错误文档;新增 stand-alone 切换数据库文档;新增 shell 中判断 Yarn 运行状态文档;新增更新系统截图; 参数传递、全局参数、参数优先级文档,告警组件向导、Telegram、钉钉告警文档,告警FAQ文档,Shell组件文档,Switch任务组件文档,资源中心配置详情文档,工作流定义补数文档
- 更正部分开发文档:明确支持的操作系统,修复开发环境搭建文档,新增自己构建 docker 镜像文档
Release note
感谢贡献者
参与贡献
Apache DolphinScheduler 3.0.0 正式版发布!的更多相关文章
- Zend Studio 12.0.2正式版发布和破解方法,zend studio 12.0.1汉化,相式设置为Dreamweaver,空格缩进为4个, 代码默认不折叠的设置,Outline中使用的图形标志,代码颜色之eot设置。
背景:zend studio 12.0.2 修复了一个12.0.1的: Fixed problem with referenced variables marked as undefined,我都说 ...
- PDF 补丁丁 0.5 正式版发布
经过了两年的测试,新版本的 PDF 补丁丁已经比较稳定了.在农历新年前发布这个 0.5 版,作为正式稳定版吧. 新的 PDF 补丁丁比旧的 0.3 版增加了许多功能: PDF 可视化编辑文档书签,可从 ...
- KmdKit4D 0.01正式版发布了(0.02版已放出)(Delphi做驱动)
此版本较0.01预览版已经有了脱胎换骨的变化,主要表现在以下几个方面: 1.对程序的结构进行了调整,将原来的ntutils.dcu分成fcall.dcu.halfcall.dcu和macros. ...
- Redis 3.0正式版发布,正式支持Redis集群
Redis是一个开源.基于C语言.基于内存亦可持久化的高性能NoSQL数据库,同时,它还提供了多种语言的API.近日,Redis 3.0在经过6个RC版本后,其正式版终于发布了.Redis 3.0的最 ...
- Appium路线图及1.0正式版发布
Appium更新的速度极快,从我试用时候的0.12到1.0(0.18版本后就是1.0),完全符合移动互联网的节奏. 更新可能会慢,可以多试几次 整理了testerhome上思寒发表的帖子,让我们来看下 ...
- Java 开源博客——B3log Solo 0.6.1 正式版发布了!
Java 开源博客 —— B3LOG Solo 0.6.1 正式版发布了!欢迎大家下载. 该版本主要是改善细节体验,并加入了一款 Metro 风格的皮肤. 特性 基于标签的文章分类 Ping Goog ...
- RestServer 2.0 正式版发布
RestServer 2.0 正式版发布 使用许可&版权说明 在保持本软件完整的情况下可以将本软件用于任何商业用途. 本软件可以自由传播,但是请保持软件相关文件和说明文档完整. 未经许可不得将 ...
- React Suite v3.0 正式版发布
React Suite v3.0 正式版发布 相信很多人会好奇,React Suite 是什么? React Suite 是 HYPERS 前端团队和 UX 团队开源的一套基于 React 的 UI ...
- Xcode 7.0正式版发布了
Xcode 7.0正式版发布了 下载地址:链接: http://pan.baidu.com/s/1FNkPS 密码: ee42 本文由大学霸整理,转载请注明出处,尊重IT人!
- Java 开源博客 —— Solo 0.6.8 正式版发布了!
Java 开源博客 -- Solo 0.6.8 正式版发布了,欢迎大家下载.另外,欢迎观摩我们的另一个产品,在线 Golang IDE--Wide! 特性 基于标签的文章分类 博客/标签 Atom/R ...
随机推荐
- autoit 脚本开发踩坑点
原文 1. 获取不到点击 <input type='file'/> 后弹出的window 根本原因是 _IEAction 阻塞,见第4点 解决办法: ;bad code $oIE = _I ...
- 『忘了再学』Shell基础 — 28、AWK中条件表达式说明
目录 1.AWK的条件表达 2.条件表达式说明 (1)BEGIN (2)END (3)关系运算符 (4)说明AWK中条件表达式的执行过程 (5)AWK中使用正则表达式 (6)A~B练习 1.AWK的条 ...
- 16.Nginx优化与防盗链
Nginx优化与防盗链 目录 Nginx优化与防盗链 隐藏版本号 修改用户与组 缓存时间 日志切割 小知识 连接超时 更改进程数 配置网页压缩 配置防盗链 配置防盗链 隐藏版本号 可以使用 Fiddl ...
- BUUCTF-[BJDCTF2020]藏藏藏
[BJDCTF2020]藏藏藏 打开图片发现存在压缩包,使用foremost分离一下. 得到压缩包,直接可以解压. 解码一下就可以得到flag
- DotNET程序员面向API编程的正确姿势
原文:https://blog.csdn.net/u013201439/article/details/49981071 补充:按照步骤成功加载文档后,选择索引可以快速发现相关的内容,如图
- UiPath文本操作Get Text的介绍和使用
一.Get Text操作的介绍 从指定的UI元素提取文本值 二.Get Text在UiPath中的使用 1. 打开设计器,在设计库中新建一个Sequence,为序列命名及设置Sequence存放的路径 ...
- 用Python实时获取Steam特惠游戏数据,我看看谁的钱包还有钱
前言 大家好鸭, 我是小熊猫 Steam大家应该不陌生吧?不知道的话就让我们来了解一下吧~(一下简称"S") S是由美国电子游戏商Valve于2003年9月12日推出的数字发行平台 ...
- MYSQL索引的建立、删除以及简单使用
一.前期数据准备 1.建表 CREATE TABLE `user` ( `uid` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(50) DEFAUL ...
- C语言中限定符的作用
C语言中常用的一般包括const.static.extern.register和volatile这几个.这些是C语言标准中规定的关键词,所有的编译器都必须支持这些关键词,它们的作用如下: 1.cons ...
- 虚拟机启动时报’A start job is running for /etc/rc.local .. Compatibility错误。
虚拟机启动时报'A start job is running for /etc/rc.local .. Compatibility错误. 问题已经存在很长时间了,但是不影响ssh登录,遂置之未理. 经 ...