Apache DolphinScheduler 4月简报:社区发展与技术革新速递
各位热爱 DolphinScheduler 的小伙伴们,4 月份的 DolphinScheduler 社区月报更新啦!这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注!
月度 Merge 之星
感谢以下小伙伴 4 月为 Apache DolphinScheduler 所做的精彩贡献(排名不分先后):
@alei1206,@caishunfeng,@qingwli,@sdhzwc,@ruanwenjun,@pegasas,@songwenyong,@privking,@zhongjiajie,@xinxingi,@Gallardot,@abzymeinsjtu,@DaqianLiao,@atjiucheng,@calvinjiang,@xxzuo,@pinkfloyds
apache/dolphinscheduler功能更新及优化
Fix
- [FIX]修复无法恢复已停止实例的问题 @privking
- [Hotfix]修复dsip名称 @ruanwenjun
- [Fix-15866][Doc]更新淘宝npm镜像地址 @xxzuo
- [Bug][Helm]修复 image.registry @Gallardot
- [Bug]在初始化模式下,QUARTZ表的顺序不正确。 @ruanwenjun
- [Fix-15706]SeaTunnel的优化 @xinxingi
- [Fix-15787]重用代码,解决...中复杂SQL解析异常的问题。 @xinxingi
- [Bug] [Common]修复common.properties中的拼写错误 @pegasas
- [Fix]将cpuUsage拆分为systemCpuUsage和jvmCpuUsage。 @ruanwenjun
- [Bug]修复依赖任务逻辑 @abzymeinsjtu
Improve
- [Improvement-15919][datasource]优化数据源获取名称 @sdhzwc
- [Improvement-15910][UI]假设在并行执行模式下,应为自定义并行度提供一个默认值。 @calvinjiang
- [Improvement]修复警报代码异味 @qingwli
- [Improvement][Audit]将时间改为创建时间 @qingwli
- [Improvement][Api]删除无用的batchUpdateUdfFunc方法 @qingwli
- [Improvement]将python-gateway的默认设置改为false。 @pinkfloyds
- [Improvement]检查异常字符 @pinkfloyds
- [Improve]修正
ProcessServiceImpl
中的拼写错误 @qingwli - [improvement-15760][datasource-plugin]修复SQL任务拆分错误#15760 @songwenyong
- [Improvement]添加完整资源名称检查 @caishunfeng
- [Improvement-15744][parameter]项目参数添加更新时间及更新用户ID @sdhzwc
- [Improvement-15713][api]数据源和UDF函数的列表查询应使用枚举代码值,而不是顺序号。 @songwenyong
- [Improvement][Spark]支持本地Spark集群 @pegasas
Others
- [TEST]增加项目偏好的服务测试覆盖率 @abzymeinsjtu
- [DSIP-34]将 required_approving_review_count 设置为 2 @ruanwenjun
- 并发修复自动创建tennant可能会导致任务失败。 @ruanwenjun
- 在Java任务中,jar路径不正确。 @ruanwenjun
- [TEST]增加项目参数服务测试的覆盖率 @abzymeinsjtu
- 使用workerNodeInfoWriteLock更新工作节点信息 @DaqianLiao
- [DSIP-32][Master]为master拉取命令添加获取策略 @ruanwenjun
- 修复 kill 动态任务不会终止等待运行的工作流实例 @ruanwenjun
- [DSIP-31]减少Hikari连接池的大小 @ruanwenjun
- 修复了queryByTypeAndJobId可能因返回结果过多而引发的错误。 @ruanwenjun
- 重構記錄审计日志的邏輯 @qingwli
- [DSIP-28]不要扫描classpath下的整个项目bean。 @ruanwenjun
- 添加DSIP模版 @ruanwenjun
- [TEST]增加日志服务的覆盖率 @abzymeinsjtu
- 修复写入审计日志的错误会导致请求失败。 @ruanwenjun
- 修复 JDBC 注册表无法工作。 @ruanwenjun
- 将SSH心跳类型更改为.IGNORE @ruanwenjun
- Apache SeaTunnel中,禁止在运行中的工作流实例中强制完成任务实例。 @ruanwenjun
- 将进程ID绑定到CodeGenerator的构建过程中 @ruanwenjun
- 修复ErrorCommand在Command中丢失了一些字段 @ruanwenjun
- [TEST]增加环境服务的覆盖范围 @abzymeinsjtu
- 移除未使用的咖啡因缓存 @ruanwenjun
- 无法构建StreamingTaskTriggerResponse的实例。 @atjiucheng
- [TEST]增加数据源服务的覆盖范围 @abzymeinsjtu
- [TEST]预警插件实例服务的覆盖率增加 @abzymeinsjtu
- 从dolphinscheduler-task-dataquality中移除dolphinscheduler-data-quality @ruanwenjun
- 直接使用Quartz的API来初始化一个调度任务。 @ruanwenjun
- [DSIP-24][RemoteLogging]支持 AbsRemoteLogHandler @pegasas
- [Worker]修复了一个问题,即在停止远程shell任务时,不会意外杀死远端的子进程#15570 @alei1206
- [DSIP-26][Audit log]审计日志改进设计 @qingwli
apache/dolphinscheduler-sdk-python仓库功能更新与优化
- 这个问题与Apache SeaTunnel的兼容性和最新版本有关。 @zhongjiajie
- [ 这个问题是关于更新 setup-python 时遇到不支持的版本。在中文中,这可以表示为:"遇到 setup-python 不支持的旧版本,需要更新。" ]( https://github.com/apache/dolphinscheduler-sdk-python/pull/143 " 这个问题是关于更新 setup-python 时遇到不支持的版本。在中文中,这可以表示为:"遇到 setup-python 不支持的旧版本,需要更新。" ") @zhongjiajie
apache/dolphinscheduler-website
Improve
- [Improvement]添加建议使用的稳定版本 @xxzuo
本文由 白鲸开源 提供发布支持!
Apache DolphinScheduler 4月简报:社区发展与技术革新速递的更多相关文章
- 感谢有你!Apache DolphinScheduler 项目 GitHub star 突破 8k
本周伊始,Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K.目前,Apache DolphinScheduler 社区已经拥有 C ...
- 金融任务实例实时、离线跑批Apache DolphinScheduler在新网银行的三大场景与五大优化
在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数.为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战.如今,新网银行多 ...
- Apache DolphinScheduler 2.X保姆级源码解析,中国移动工程师揭秘服务调度启动全流程
2022年1月,科学技术部高新技术司副司长梅建平在"第六届中国新金融高峰论坛"上表示,当前数据量已经大大超过了处理能力的上限,若信息技术仍然是渐进式发展,则数据处理能力的提升将远远 ...
- 中国联通改造 Apache DolphinScheduler 资源中心,实现计费环境跨集群调用与数据脚本一站式访问
截止2022年,中国联通用户规模达到4.6亿,占据了全中国人口的30%,随着5G的推广普及,运营商IT系统普遍面临着海量用户.海量话单.多样化业务.组网模式等一系列变革的冲击. 当前,联通每天处理话单 ...
- 新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.4 发布,推荐下载
| 本文编辑:朱桐 新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1.3.4 作 ...
- Apache DolphinScheduler 迎来 2 位 PPMC
经过 Apache DolphinScheduler PPMC 们的推荐和投票,我们高兴的宣布:Apache DolphinScheduler 迎来了 2 位 PPMC .他们是(github id) ...
- 金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer
点击上方蓝字关注 Apache DolphinScheduler Apache DolphinScheduler(incubating),简称"DS", 中文名 "海豚调 ...
- 金灿灿的季节 - Apache DolphinScheduler收获5位新Committer
在这个金灿灿的收获季节,经过 Apache DolphinScheduler PPMC 们的推荐和投票,Apache DolphinScheduler 收获了 5 位新Committer .他们是:n ...
- Apache DolphinScheduler&ShenYu(Incubating) 联合 Meetup,暖春 3 月与你相约!
云霞出海曙,梅柳渡江春. 2022 年的早春在疫情中显得格外生机勃勃,虽然接下来寒流仍有可能造访国内部分地区,但开源的世界,早已热闹非凡! 2022 年 3 月 26 日(星期六), Apache D ...
- Apache DolphinScheduler 社区呼唤志愿者
DolphinScheduler是什么? Apache DolphinScheduler 是一个分布式.易扩展并带有强大的可视化界面的大数据工作流调度系统. 2021 年 03 月 18 日正式成为 ...
随机推荐
- 消息sms 邮箱/手机号/push发送的方案 & 定时任务xxlJob灵活度 & 泛型和发送的模板类设计
消息sms 邮箱/手机号/push发送的方案 & 定时任务xxlJob灵活度 & 泛型和发送的模板类设计 1.消息sms 邮箱/手机号/push发送的方案 1.判断收件人地址是否为空, ...
- mysql多表删除指定记录
在Mysql4.0之后,mysql开始支持跨表delete. Mysql可以在一个sql语句中同时删除多表记录,也可以根据多个表之间的关系来删除某一个表中的记录. 假定我们有两张表:Product表和 ...
- 我的 ZYNQ 系列总结
我的 ZYNQ 系列总结 背景 ZYNQ平台是我接触认识比较久的平台,还算不错,是工控.音视频各行业都可以使用中高端平台. 本文以ZYNQ-7000为例,其实更高级的MPSOC也是一样的. 先看看我自 ...
- 下载 Linux 内核的脚本
介绍 在 类UNIX 环境下运行比较好(基于wget) 包括了 2.6 ~ 4.x 内核的地址. 5.x 因为 还在更新因此不做记录. 脚本下载地址: https://files.cnblogs.co ...
- debian12 创建本地harbor镜像库
前言 harbor是一个docker/podman镜像管理库,可用于存储私人镜像.现将本人在debian12系统搭建harbor镜像库的过程记录下来,留作后续参考. 可以参考github harbor ...
- SpringBoot排查自动装配、Bean、Component、Configuration配置类
排除自动装配AutoConfiguration @SpringBootApplication( exclude = { DataSourceAutoConfiguration.class, Mybat ...
- C#事件总结
前言:C#的事件也是一项非常关键的技术,必须要深刻的理解,本质上是基于委托的: 事件模型的五个组成部分: 1.事件的拥有者-- event source,对象: 2.事件的成员--event,成员: ...
- 通俗讲解promise
JavaScript 中的 Promise 是一种特殊的对象,它用于解决异步编程中的复杂性问题,特别是回调的问题.我们可以把它比喻成现实生活中的一个"承诺": 想象一下,你 ...
- Docker下安装Nginx代理服务器【工作实操版】
一.Nginx下载 使用命令拉取nginx镜像到本地,此处我们获取排名第一的是官方最新镜像,其它版本可以去DockerHub查询 docker pull nginx 二.先启动一个nginx容器用于c ...
- 在Visual Studio Code中,鼠标双击PHP变量的时候,如何选择包括$在内的整个变量名
依次点击:文件->首选项->设置 并在"editor.wordSeparators"设置中为您的语言指定删除"$"符号: