当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况,团队在技术选型之后发现并不适合自己的需求,但是迁移成本和难度又比较大,甚至前团队还留下了不少坑,企业自有的开发能力又比较有限,导致后面的小伙伴上手难度高体验差。

俗话说“工具选得好,下班回家早;调度用得对,半夜安心睡”,面对各种难点和痛点:

  • 如何有效地评估数据调度工具?

  • 如何平滑的过渡到Apache DolphinScheduler?

  • 如何稳定高效的对已有的工具升级改造?

这几个问题是改善现有状况的重中之重,是保障企业和团队数据调度任务高效运行的引擎。

不论你是处在什么企业,如果你正为数据调度工具的选型或迁移而苦恼;缺乏任务可视化编辑界面、补数和重试等必要功能;甚至连监控和管理功能都没有;

这就说明,你是时候来参加本期Meetup活动啦 !

2022年5月28日,Apache DolphinScheduler 社区邀请了来自当贝科技、Fordeal、JuiceFS社区等企业的资深大数据工程师与开发者,分享他们在技术选型、平台迁移、场景探索、优化与改造 Apache DolphinScheduler 过程中遭遇的问题与挑战。

除此之外,我们还特别邀请到了JuiceFS社区技术专家,跟大家延伸探讨关于设计云文件系统和日志归档场景中Apache DolphinScheduler的实践。无论你是Apache DolphinScheduler的开发工程师还是个人爱好者,来到本次Meetup,你一定能听到一手的分享,得到一手的收获!

Apache DolphinScheduler作为新一代的大数据任务调度系统,致力于让调度变得更加容易。身为一款专门针对于大数据平台的工作调度系统,具有本土化风格和多样化的部署方式。

01 报名通道

Apache DolphinScheduler Meetup | 5 月线上直播报名通道已开启,赶快预约吧!

时间:2022-5-28 14:00-16:10

形式:线上直播

点击原文链接或扫码预约报名(免费): https://zhibo.51cto.com/liveDetail/126

扫码预约报名

扫码添加群聊

02议程介绍

王昱翔 当贝大数据平台基础开发工程师

毕业于电子科技大学,主要是做大数据平台的构建、集成及组件的运维的工作

演讲时间:14:00-14:40

演讲题目:Apache DolphinScheduler在当贝大数据环境中的应用

演讲概要:之前当贝的大数据平台用的是Hadoop和CDH混合产物 ,调度用的是Oozie,主要问题是缺少补数和重试机制没有,导致用户上手难体验差,还存在hadoop集群部署混乱和clickhouse混合部署等问题,经过调研后,现在主要用Apache DolphinScheduler解决迁移集群、大数据平台重构、数据迁移、调度告警等问题!

卢栋    Fordeal 大数据开发工程师

5年的数据开发相关经验,目前就职于Fordeal

主要关注的数据技术方向包括:湖仓一体、MPP数据库、数据可视化等

演讲时间:14:40-15:30

演讲题目:数据平台调度升级改造,从Azkaban平滑过渡到Apache DolphinScheduler

演讲概要:Fordeal数据平台调度系统之前是基于Azkaban进行二次开发的,用户层面的问题是缺少任务可视化编辑界面、补数等必要功能,导致用户上手难体验差。技术层面的问题是架构过时持续迭代难度大。经过调研后,新版系统决定基于DolphinScheduler进行升级改造。整个迁移过程中面临最大的问题是如何让使用方平滑过渡到新系统,为了平滑迁移做了哪些升级改造?

15:30-15:35 填写问卷抽奖环节

苏锐Juicedata 合伙人

毕业于西安电子科技大学。在北航攻读硕士期间,作为早期工程师先后在傲游(Maxthon)浏览器、豆瓣任职。2014 年创立上门汽车服务品牌功夫洗车,并任 CEO 带领团队完成两轮融资。2017 年加入 Juicedata 开始新一次创业之旅,公司旗下的核心产品 JuiceFS 是一款面向云环境设计的分布式文件系统,以创新的设计定义了云时代文件存储的架构,服务数字化时代对海量数据、海量文件的存储与计算需求,已落地近百家领先科技企业。

演讲时间:15:35-16:05

演讲题目:设计云文件系统和日志归档场景中DolphinScheduler的实践

演讲概要:介绍什么是云文件系统;介绍设计架构与设计中的思考;如果用云文件系统做日志归档,分享在Nginx和Apache DolphinScheduler中的实践

欢迎大家参与5月28日Apache DolphinScheduler的线上交流会,下午14:00,我们不见不散!

海豚调度5月Meetup:6个月重构大数据平台,帮你避开调度升级改造/集群迁移踩过的坑的更多相关文章

  1. 倒计时0日!Apache DolphineScheduler4月 Meetup 大佬手把手教你大数据开发,离线调度

    随着互联网技术和信息技术的发展,信息的数据化产生了许多无法用常规工具量化.处理和捕捉的数字信息.面对多元的数据类型,海量的信息价值,如何有效地对大数据进行挖掘分析,对大数据工作流进行调度,是保障企业大 ...

  2. 从 Airflow 到 Apache DolphinScheduler,有赞大数据开发平台的调度系统演进

    点击上方 蓝字关注我们 作者 | 宋哲琦 ✎ 编 者 按 在不久前的 Apache  DolphinScheduler Meetup 2021 上,有赞大数据开发平台负责人 宋哲琦 带来了平台调度系统 ...

  3. 8月Meetup | “数据调度+分析引擎”解锁企业数字化转型之路

    ​ 编辑切换为居中 添加图片注释,不超过 140 字(可选)   大数据是一种规模大到在获取.存储.管理.分析方面大大超出了传统数据库软件工具能力范围的数据集合,而大数据作为企业运转的基础,只有经过提 ...

  4. 数据平台调度升级改造 | 从Azkaban 平滑过度到 Apache DolphinScheduler 的操作实践

    Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的,但是在用户层面.技术层面都存在一些痛点问题难以被解决.比如在用户层面缺少任务可视化编辑界面.补数等必要功能,导致用户上手难体验差 ...

  5. Kubernetes集群调度器原理剖析及思考

    简述 云环境或者计算仓库级别(将整个数据中心当做单个计算池)的集群管理系统通常会定义出工作负载的规范,并使用调度器将工作负载放置到集群恰当的位置.好的调度器可以让集群的工作处理更高效,同时提高资源利用 ...

  6. 容器服务kubernetes federation v2实践五:多集群流量调度

    概述 在federation v2多集群环境中,通过前面几篇文章的介绍,我们可以很容易的进行服务多集群部署,考虑到业务部署和容灾需要,我们通常需要调整服务在各个集群的流量分布.本文下面简单介绍如何在阿 ...

  7. TKE 用户故事 | 作业帮 Kubernetes 原生调度器优化实践

    作者 吕亚霖,2019年加入作业帮,作业帮架构研发负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 简介 调度系统的本质是为计算服务/任 ...

  8. Web集群调度器-Haproxy

    Web集群调度器-Haproxy 目录 Web集群调度器-Haproxy 一.Web集群调度器 1.常用的Web集群调度器 2. Haproxy应用分析 3. Haproxy的主要特性 4. 常用集群 ...

  9. js获取上一个月、下一个月格式为yyyy-mm-dd的日期

    /** * 获取上一个月 * * @date 格式为yyyy-mm-dd的日期,如:2014-01-25 */ function getPreMonth(date) { var arr = date. ...

随机推荐

  1. swiper使用

    swiper使用 初始化 var mySwiper = new Swiper ('容器区域类', { // 存放swiper属性 }) 属性 基本属性: 1.initialSlide 设定初始化时sl ...

  2. ruoyi前后端分离版:添加新页面,不需登录也可访问

    添加QRcode页面代码 <template> <div class="register"> <el-form ref="registerF ...

  3. GitHub 简介

    用详细的图文对GitHub进行简单的介绍. git是一个版本控制工具,github是一个用git做版本控制的项目托管平台. 主页介绍: overview:总览.相当于个人主页. repositorie ...

  4. 当运行npm install 命令的时候带上ignore-scripts,会发生什么?

    摘要:运行npm install 命令的时候带上ignore-scripts, 可以避免一个恶意包里的病毒. 本文分享自华为云社区<运行npm install 命令的时候带上--ignore-s ...

  5. 这篇SpringCloud GateWay 详解,你用的到

    点赞再看,养成习惯,微信搜索[牧小农]关注我获取更多资讯,风里雨里,小农等你,很高兴能够成为你的朋友. 项目源码地址:公众号回复 sentinel,即可免费获取源码 背景 在微服务架构中,通常一个系统 ...

  6. [自制操作系统] 第02回 初识MBR

    目录 一.前景回顾 二.写一个粗略的MBR 三.运行测试 一.前景回顾 上回说到,开机的启动过程就是当时Intel和BIOS等硬件厂商所制定的规则,现在我们来回顾一下有如下三点: 1.按下开机键后,C ...

  7. CSS 网页字体最佳实践

    一般在网页的字体设置中,可以将字体分类三类: 系统字体:使用系统自带的字体 兜底字体:当系统字体无法正常使用,而兜底的字体 Emoji 字体:显示网页中的表情字体 为了满足不同平台,以及 Emoji ...

  8. C++ 炼气期之算术运算符

    1. 前言 编写程序时,数据确定后,就需要为数据提供相应的处理逻辑(方案或算法).所谓逻辑有 2 种存在形态: 抽象形态:存在于意识形态,强调思考过程,与具体的编程语言无关. 具体形态:通过代码来实现 ...

  9. 建立QT工程的规范型,以及重要性

    当前管理开发多个项目,故名Projects 下一级目录,具体项目,故示例Project,根据实际情况自行取名 再下一级目录,有三个子目录 bin:生成的可执行文件或者动态链接库,build:编译源码时 ...

  10. 搭建uipath

    我对windows也不太熟,也是第一次安装Uipath Orchestrator,希望有问题指出一起交流,可以留言,Uipath中文qq交流群:4656303241. 下载镜像 windows ser ...