Apache DolphinScheduler使用规范与使用技巧分享
本次分享来源2021年9月4日杨佳豪同学,给大家带来的分享是基于 Apache DolphinScheduler
使用规范与使用技巧分享,分享的内容主要为以下五点:
“
DolphinScheduler基本部署情况
DolphinScheduler使用规范
DolphinScheduler工作流维护
DolphinScheduler调度依赖划分
DolphinScheduler运维维护
1 基本部署情况
DolphinScheduler 部署情况:
目前采用1.3.3版本,于2020.11月开始使用
整套平台基础CDH 6.3.2 离线hive 进行调度,目前有三套独立调度平台环境 ,dev和test 共用在一起,uat ,prd,分别单独部署
dev 、 test 环境:
部署在一台 16C/64G 的服务器上
uat 环境:
部署在三台 32C / 64G 的服务器 ,部署了两台master 和 三台 worker
prd 环境
部署在 五台 32C / 64 G 的服务器,分开部署了两台master 和 三台worker
每天调度大概近1000+任务,主要用到的组件 【shell】、【sub_process】、【depend节点】,
目前使用稳定。
我们目前实现一套脚本,多环境调度。仅需细小参数更改,即可用于测试开发生产分别使用,
以及数据生命周期的管理。
2 DolphinScheduler 使用规范
DolphinScheduler 项目开发使用规范
租户管理:
目前多套环境都只创建了一个租户,所有服务器一个队列,开发人员无需过多选择,直接使用即可。
用户管理:
所有开发和测试的同学都由管理人员创建账户,用于统一管理。
告警组管理:
开发人员都被添加到告警组中,排班对任务报错进行排查处理
项目管理:
目前我们这采用不同迭代的方式和项目迭代项目保持一致,整体项目数据库,由dba进行定期备份。
DolphinScheduler 人员权限管理规范
开发同学:
开发的同学会授予自己负责的项目,只负责开发环境和测试的工作流配置,不接触uat和prd
测试同学:
测试的同学只授权test项目,用于测试工作流的相应报表,其他项目不予开放权限。
DolphinScheduler 上线流程使用规范
上线流程:
按照流程,负责维护的ds运维同学,对项目版本跟随git代码版本进行备份和新上线
3 DolphinScheduler 工作流维护
DolphinScheduler 工作流分类
主题分类:
ods 层 辖区主题,它们主要在一个相应的表,进行分类
DolphinScheduler 工作流节点配置
配置规范:
节点名称必须和脚本所调度文件名称保证一致
必须配置失败重试次数和间隔时间,默认3次,5分钟
描述信息开发环境必须描述清晰
脚本下线只采用禁止执行,不进行删除操作
全量表必须设置生命周期时间
配置规范:
开发同学在更改自己负责的工作流是需要添加具体描述。
DolphinScheduler 工作流节点扩展
离线sqoop 任务:
hive 任务:
全局参数:
4 DolphinScheduler 调度依赖的划分
DolphinScheduler 调度划分
项目调度:
DolphinScheduler 周期调度
周期任务:
DolphinScheduler 任务容错
任务失败容错机制:
5 DolphinScheduler 运维维护
DolphinScheduler 服务报警
对所在主机和服务进行监控:
DolphinScheduler 工作流质量监控
相关监控:
下面视频是分享演讲:
Apache DolphinScheduler使用规范与使用技巧分享的更多相关文章
- 4 亿用户,7W+ 作业调度难题,Bigo 基于 Apache DolphinScheduler 巧化解
点击上方 蓝字关注我们 ✎ 编 者 按 成立于 2014 年的 Bigo,成立以来就聚焦于在全球范围内提供音视频服务.面对 4 亿多用户,Bigo 大数据团队打造的计算平台基于 Apache Dolp ...
- 就在明天,Apache DolphinScheduler Meetup 2021 如约而至!
点击上方 蓝字关注我们 社区的小伙伴们,Apache DolphinScheduler Meetup 2021 如约而至,就在明天,等你来玩! 在此次 Meetup 线上直播中,不仅将有来自 Bigo ...
- 重构、插件化、性能提升 20 倍,Apache DolphinScheduler 2.0 alpha 发布亮点太多!
点击上方 蓝字关注我们 社区的小伙伴们,好消息!经过 100 多位社区贡献者近 10 个月的共同努力,我们很高兴地宣布 Apache DolphinScheduler 2.0 alpha 发布.这是 ...
- 议题征集令 | Apache DolphinScheduler Meetup 2021 来啦,议题征集正式开启!
点击上方 蓝字关注我们 社区的小伙伴们,经过精心筹备,我们很高兴地宣布,Apache DolphinScheduler Meetup 2021 将于 2021 年 11 月 27 日到来! 在 Mee ...
- Apache DolphinScheduler 1.3.9 发布,新增 StandaloneServer
点击上方 蓝字关注我们 2021 年 10 月 22 日,Apache DolphinScheduler 正式发布 1.3.9 版本.时隔一个半月,在社区贡献者的共同努力下,Apache Dolphi ...
- 手把手教你 Apache DolphinScheduler 本地开发环境搭建 | 中英文视频教程
点击上方 蓝字关注我们 最近,一些小伙伴反馈对小海豚的本地开发环境搭建过程不太了解,这不就有活跃的贡献者送来新鲜的视频教程!在此感谢@Tianqi-Dotes 的细致讲解 贡献者还贴心地录制了中英文两 ...
- Apache DolphinScheduler 架构演进介绍及开源经验分享 - eBay 阮文俊
引言 来自 eBay 的文俊同学在近期的上海开源大数据 Meetup 上做了十分精彩的 "Apache DolphinScheduler 的架构演进" 分享.本次分享有近 200 ...
- 社区之光:我和 Apache DolphinScheduler 的这一年
背景 没错,本文的主人翁就是那个在多个 DolphinScheduler 用户群超级活跃,"孜孜不倦" 地给用户各种答疑的小伙,如果你在群里问过问题,伯毅多半概率回答过,哈哈,今天 ...
- Apache DolphinScheduler 是如何诞生的
作者 | 代立冬,李岗 排版 | 开源之道小助理 Apache DolphinScheduler,简称"DS", 中文名 "小海豚调度"(海豚聪明.人性化,又左 ...
随机推荐
- Android——RelativeLayout
代码:<?xml version="1.0" encoding="utf-8"?><RelativeLayout xmlns:android= ...
- mui|mui.plusReady里面的函数不执行??
无论是在本地的浏览器还是在iPhone上真机运行都出现奇怪的错误,比如说子页面样式成为乱码,无法跳转子页面等等,一开始并没有意识到是mui.plusReady的问题,后来调试时发现是plusReady ...
- 2021.05.05【NOIP提高B组】模拟 总结
T1 给你一棵树,要求增加最少的边权是的从根到每一个叶子的长度相等 不能改变原有的最大长度 这是一个贪心:尽可能往深度小的边增加 先预处理出 \(mx_i\) 表示从 \(i\) 到叶子的最大长度 然 ...
- JS:自增和自减
自增自减是一元操作符运算 1.++: 前置++:先把取值,再把变量的值加1 后置++:先把变量的值加1,再取值 2.--: 前置--:先把取值,再把变量的值加1 后置--:先把变量的值加1,再取值 v ...
- JS:函数
Function:函数 1. 定义一个函数:function functionname(argument) { 代码块 return }: 调用此函数:fn() 2.函数是定义了一种方法,只有被调用才 ...
- Vuex的各个模块封装
一.各个模块的作用: state 用来数据共享数据存储 mutation 用来注册改变数据状态(同步) getters 用来对共享数据进行过滤并计数操作 action 解决异步改变共享数据(异步) 二 ...
- SAP Display picture
program sap_picture_demo. set screen 200. TYPE-POOLS cndp. ***************************************** ...
- MySQL根据表前缀批量修改、删除表
注意:请先调试好,以及做好备份,再执行操作. 批量修改表 批量给前缀为 xushanxiang_content_ 的表增加一个 username 的字段: SELECT CONCAT('ALTER T ...
- UiPath官方视频Level1
[UiPath官方视频Level1]第一课-UiPath简介https://www.bilibili.com/video/BV1zJ41187vB [UiPath官方视频Level1]第二课-变量和数 ...
- archlinux-小米pro15_2020款使用archlinux(MX350显卡驱动安装)
1.官网下载archlinux ISO镜像 https://archlinux.org/download/ 使用磁力链接下载 2.使用软碟通将镜像写入U盘,制作成U盘启动盘 3.进入BIOS 关掉 ...