| 本文编辑:朱桐

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1.3.4 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.3 发现的 10 多处 bug,其中多数 bug 是测试伙伴在极端环境下发现的。1.3.4 重要的修复需要关注下面这个:

个重要修复

现象:

任务实例(taskInstance) 状态更改错误:[#4084][server] fix taskInstance state change error

taskInstance 状态从 7 变为 1,用户观察到状态从“ SUCCESS”变为“ RUNNING”。主节点仍然循环检查 taskInstance状态,等待 taskInstance 状态完成。

原因:

master 向 worker 发送 task:
1. worker 接收到 task 后,会回复给 master一个“ack”,然后去执行task,执行结束之后给 master 发送任务执行结果 result。

2. master 接收到 ack 后将 taskInstance 的状态更新成 1,接收到任务结果 result 后将状态更新成 7。(假设 task 的状态是成功)

正常情况:
ack 和 result 根据 worker 执行的顺序,ack 会先发送到 master,task 状态从 0 -> 1, result 后发送到 master ,task状态从 1 -> 7。

异常情况:
在 ack 的 response 处理的时候出现阻塞,或者是在 netty 消息传输或消费的时候延迟,造成 result 更新数据库的时间早于 ack,导致状态变化 0 -> 7 -> 1. 而实际 worker 已经执行过 task 了,所以 master 就会阻塞住,一直循环查看当前节点的状态。

解决:https://github.com/apache/incubator-dolphinscheduler/pull/4097

其他 BUG FIX 请参考下列内容:

[ #2917 #4034 #4104 #4135 ] [sqoop] sqoop优化和错误修复
[  #3177 ] 任务时间参数解析错误
[  #3457 ] [flink] 修复flink args构建问题
[  #4034 ] [server] 修复sqoop导入失败
[  #3900 ] [server] 在一项工作中杀死多个yarn应用
[  #4054 ] [api] 修复本月的最后一周,添加/编辑时间,预览和保存时间将报告错误
[  #4054 ] [ui ] 修复每月的最后一个星期日
[  #4084 ] [server] 修复taskInstance状态更改错误
[  #4104 ] 修复sqoop任务jdbc字符串包含特殊字符
[  #4135 ] [worker] 修复sqoop导入配置单元错误
[  #4114 ] [server] 修复清除任务的执行路径与master相关。
[  #4084 ] [master] 修复taskInstance状态更改错误
[  #4090 ] dao在工作流中执行单个任务时抛出NullPointerException
[  #4190 ] [dao] 当json数据量很大时,进程列表页面显示缓慢。
[  #4218 ] [bug] 从具有NODE_PRE的设置节点开始将为NPE
[  #4223 ] [ui] 修复dag节点名称验证

除了 Bug 修复外,本次也做了几处功能改进,参考以下内容:

[#2925][server] init TaskLogger in TaskExecuteProcessor
[ambari-update] 将 DS 版本从 1.3.3 更改为 1.3.4
[sqoop-update] 修改 sqoop task 参数
[#4143][quartz-update] 升级 quartz 版本到 2.3.0

1.3.4 版本经过测试伙伴的大量测试,修复了不少极端情况下可能出现问题的情况,十分推荐大家下载部署 1.3.4 版本

此外,1.3.4 具体变化请参考:https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.4

1.3.4 下载地址:https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

1

DolphinScheduler 介绍

Apache DolphinScheduler(incubator) 于 17 年在易观数科立项, 19 年 3 月开源,

新一代大数据任务调度 -  Apache DolphinScheduler 继 11 月 19 日由 InfoQ 举办、在 300+ 参评项目中脱颖而出获得 “2020 年度十大开源新锐项目” 和 “2020 年度最具人气新锐项目” 以来,近期社区又荣获 OSCHINA 年度 “最佳技术团队” 称号,非常欢迎更多小伙伴加入到贡献队伍中来,为中国的开源崛起贡献自己的一份力量。

Apache DolphinScheduler(incubator) 于 17 年在易观数科立项, 19 年 3 月开源,8 月进入 Apache 孵化器, 据不完全统计,已有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系,使整个数据处理流程直观可见”。DolphinScheduler以 DAG(有向无环图) 的方式将 Task 组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。DolphinScheduler 专注于以下 6 个主要能力

Apache 组织崇尚 “社区大于代码”,DolphinScheduler 目前微信用户群近 4000 人,社区目前有  190 + 贡献者,来自 80+ 家公司、机构和高校(部分统计)

2

部分用户案例

据不完全统计,目前已经有 400 + 家公司及机构采用 DolphinScheduler 在生产环境使用,以下是部分案例(排名不分先后)

此外,还有 1700+ 用户注册了 demo 试用,欢迎大家先体验,十分欢迎对比哈。

3

参与贡献

随着国内开源的崛起,DolphinScheduler迎来了蓬勃发展,为了做更好用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,青春在开源上留下一点印记

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度

社区汇总了以下适合新手的问题列表:https://github.com/apache/incubator-dolphinscheduler/issues/4124

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

文档 github 地址:https://github.com/apache/incubator-dolphinscheduler-website

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的

如果您想参与贡献,却发现上述方法都搞不明白,也没关系,我们有个开发者种子孵化群,可以添加微信(dailidong66) 手把手教会您,添加时请说明想参与贡献哈

DolphinScheduler开源社区非常期待您的参与。

DolphinScheduler's Github Repo 传送门

↓↓↓

https://github.com/apache/incubator-dolphinscheduler

喜欢️ DolphinScheduler 的话,别忘了 Star 收藏一下哟~

新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.4 发布,推荐下载的更多相关文章

  1. 过年好,新一代大数据任务调度系统 - Apache DolphinScheduler 1.3.5 发布

    节后上班第一天,新一代大数据任务调度 - Apache DolphinScheduler(incubator) 就迎来了好消息 - 在社区 20 多位小伙伴的贡献与努力下,社区发布了 1.3.5 版本 ...

  2. 【喜讯】新一代大数据任务调度 - Apache DolphinScheduler 社区荣获OSCHINA年度 “最佳技术团队”...

    新一代大数据任务调度 -  Apache DolphinScheduler 继 11 月 19 日由 InfoQ 举办.在 300+ 参评项目中脱颖而出获得 "2020 年度十大开源新锐项目 ...

  3. 新一代大数据任务调度 - Apache DolphinScheduler喜提十大开源新锐项目 & 最具人气项目

    经 10000+ 开发者公开票选,20+专家评审. 10+ 主编团打分,历经数月打磨,11 月 19 日,由InfoQ 发起并组织的[2020中国技术力量年度榜单评选]结果正式揭晓. 2020 年度十 ...

  4. Apache DolphinScheduler 1.3.9 发布,新增 StandaloneServer

    点击上方 蓝字关注我们 2021 年 10 月 22 日,Apache DolphinScheduler 正式发布 1.3.9 版本.时隔一个半月,在社区贡献者的共同努力下,Apache Dolphi ...

  5. Apache Flink 为什么能够成为新一代大数据计算引擎?

    众所周知,Apache Flink(以下简称 Flink)最早诞生于欧洲,2014 年由其创始团队捐赠给 Apache 基金会.如同其他诞生之初的项目,它新鲜,它开源,它适应了快速转的世界中更重视的速 ...

  6. 玩转大数据系列之Apache Pig高级技能之函数编程(六)

    原创不易,转载请务必注明,原创地址,谢谢配合! http://qindongliang.iteye.com/ Pig系列的学习文档,希望对大家有用,感谢关注散仙! Apache Pig的前世今生 Ap ...

  7. Tech 助力Fin ,大数据风控系统赋能掌众金服!

    胡亚海 首席技术官  CTO 北京航空航天大学  博士 深耕互联网领域近20年,先后任职于普天信息技术研究院.摩托罗拉.宇龙酷派.百度等知名企业,曾主导宇龙酷派公司全员从WinCE向Android转型 ...

  8. 大数据BI系统挖掘企业业务上的价值

    ​相信关注过我们的肯定知道BI是什么,但是老话常谈以防新朋友不知道BI的含义,BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合 ...

  9. 重构、插件化、性能提升 20 倍,Apache DolphinScheduler 2.0 alpha 发布亮点太多!

    点击上方 蓝字关注我们 社区的小伙伴们,好消息!经过 100 多位社区贡献者近 10 个月的共同努力,我们很高兴地宣布 Apache DolphinScheduler 2.0 alpha 发布.这是 ...

随机推荐

  1. python之数据类型的内置方法(str, list)

    目录 字符串的内置方法 移除首尾指定字符 字母大小写相关操作 判断字符串的开头或结尾是否是指定字符 字符串特殊的输出方法 拼接字符串 替换指定字符 判断是否是纯数字 查找指定字符对应的索引值 文本位置 ...

  2. break、continue、return中选择一个,我们结束掉它

      在平时的开发过程中,经常会用到循环,在写循环的过程中会有很多判断条件及逻辑,你知道如何结束一个循环吗?在java中有break.continue.reture三个关键字都可以结束循环,我们看下他们 ...

  3. 【Linux系列】-Linux中用shell脚本从SFTP服务器下载文件

    银企直连的电子回单接口中,部分银行使用sftp服务作为文件服务器,通常只保留N天的文件内容,企业未在规定的时间范围下载文件之后就不能下载了,那么有一个自动下载的脚本岂不美滋滋. Linux安装SFTP ...

  4. WIN32 API 获取文件版本信息

    CString strVersion; CString strPath(_T("xxxxxxxx.exe")); // 读文件信息 DWORD dwVerHnd = 0; DWOR ...

  5. 一文澄清网上对 ConcurrentHashMap 的一个流传甚广的误解!

    大家好,我是坤哥 上周我在极客时间某个课程看到某个讲师在讨论 ConcurrentHashMap(以下简称 CHM)是强一致性还是弱一致性时,提到这么一段话 这个解释网上也是流传甚广,那么到底对不对呢 ...

  6. wappalyzer 上各种开源框架功能

    Underscore.js  官网地址:https://underscorejs.org/     一个JavaScript实用库,提供了一整套函数式编程的实用功能,但是没有扩展任何JavaScrip ...

  7. 名校AI课推荐 | UC Berkeley《人工智能导论》

    深度学习具备强感知能力但缺乏一定的决策能力,强化学习具备决策能力但对感知问题束手无策,因此将两者结合起来可以达到优势互补的效果,为复杂系统的感知决策问题提供了解决思路. 今天我们推荐这样一门课程--U ...

  8. 如何手动解析vue单文件并预览?

    开头 笔者之前的文章里介绍过一个代码在线编辑预览工具的实现(传送门:快速搭建一个代码在线编辑预览工具),实现了css.html.js的编辑,但是对于demo场景来说,vue单文件也是一个比较好的代码组 ...

  9. Linux for CentOS 下的 keepalived 安装与卸载以及相关命令操作之详细教程

    百度百科解释: keepalived 是一个类似于 layer3, 4 & 7 交换机制的软件,也就是我们平时说的第 3 层.第 4 层和第 7 层交换.Keepalived 的作用是检测 w ...

  10. RocketMQ 集群的搭建部署 以及rocketmq-console-ng仪表台的安装部署

    在 RocketMQ 主要的组件如下. NameServerNameServer 集群,Topic 的路由注册中心,为客户端根据 Topic 提供路由服务,从而引导客户端向 Broker 发送消息.N ...