点击上方 蓝字关注我们 ✎ 编 者 按 2021 年,Apache DolphinScheduler 社区又迎来了新的蓬勃发展,社区活跃度持续提高.目前,项目 GitHub Star 已达 6.7k,贡献者达 250+,fork 数 2.4k+.仅在过去一个月内,社区就发布了两个新版本,并迎来 33 位作者向 dev 提交 85 次 commits,向所有分支提交 161 次 commits.在 dev 上,有 504 个文件发生了变化,共计新增 10,421 行代码,删除 12,376 行代码…

今天给大家带来的分享是基于 Apache DolphinScheduler 的数据质量检查实践,分享的内容主要为以下四点: " 为什么要做数据质量检查? 为什么要基于 DolphinScheduler 做数据质量检查? 基于 DolphinScheduler 的数据质量服务的设计和实现 不足和规划 1 为什么要做数据质量检查 在今天,数据已经成为企业的新型资产,有效的数据能够支撑企业的分析和决策,而错误的数据却可能会带来负面的影响,我们一起来看下数据质量差会带来什么问题: 数据可信度低 影响数据…

在由 openLooKeng 社区主办,Apahce DolphinScheduler社区.Apache Pulsar 社区.示说网协办的联合 Meetup 上,来自联通数字科技的王兴杰老师分享了DolphinScheduler 在联通的实践和二次开发经验分享. 视频分享请参见 B 站 兴杰老师也总结了本次分享的文字版,欢迎阅读! 2020 年 3 月在完成一套服务监控治理系统的时候,我们接触到了 DolphinScheduler,发现 DolphinScheduler 的功能和我们的业务场景匹…

点击上方蓝字关注我们 1 我是一名开源爱好者 我是李进勇,Github Id:JinyLeeChina,目前就职于政采云,专注于大数据平台及数仓领域,是开源项目爱好者. 2 我与小海豚的不解之缘 记得是在 2019 年的下半年,当时公司在做技术转型,由传统数仓转到大数据数仓.在选用调度系统时,我对比了 Azkaban.Airflow 和 DolphinScheduler(当时还叫 EasyScheduler)这三个大数据调度系统,对比哪个操作更便捷.部署更方便.由于当初只是小团队,技术积累有限,…

ASP.NET Core MVC TagHelper最佳实践HighchartsNET快速图表控件支持ASP.NET Core. 曾经在WebForms上写过 HighchartsNET快速图表控件-开源 Highcharts的ASP.NET Web自定义控件. 今天我就来改造它,将其使用最新的TagHelper 来实践,学习TagHelper 的使用也提供一个方便的图表控件在ASP.NET Core MVC中使用. 下面正式开始,使用之前的代码直接进行迁移升级. GitHub:https://…

在我的Linux刀耕开荒阶段,就想开始重拾C,利用C实现常用的基本数据结构和算法,而数据结构和算法的掌握的熟练程度正是程序的初学者与职业程序员的分水岭. 那么怎么开启这一段历程呢? 按照软件工程的思想,先从需求分析开始,用准确的共同的语言去表达需求,作出规格,到后面的设计,实现,维护. 基本数据结构和算法需求比较明朗,但提高沟通能力要用我们的语言表达出来,然后进行建模,画图分析,设计,最后到实现,优化维护. 对于画图工具,我选择Graphviz.刚开始使用Linux下的PhotoShop--GI…

商业转载请联系腾讯WeTest获得授权,非商业转载请注明出处. 12月14日,2019年度中国移动互联网测试开发大会(Mobile Testing Summit China,简称 MTSC)深圳站于深圳科兴科学园国际会议中心圆满落幕. 腾讯WeTest作为本届大会战略合作伙伴,携平台明星性能测试工具PerfDog参会,现场由腾讯测试开发专家周绍胜代表PerfDog研发团队,在大会现场作专题分享,揭秘PerfDog聚焦技术和实践,洞穿性能的演进之路. [PerfDog全球发布后首次公开亮相MTSC…

点击上方 蓝字关注我们 ✎ 编 者 按 在今年由中国科学院软件研究所主办的开源软件所供应链点亮计划-开源之夏活动中,有不少小伙伴提交了关于 DolphinScheduler 的项目,本期是来自成都信息工程大学的张树坤带来的项目经验分享. 项目总体设计为设置工作流为空跑状态,以测试整个工作流执行是否正确功能的开发.该功能通过 flag 标记在 Matser 与 Server 间的传递实现,同时考虑到系统的容错设计.难点在于涉及系统的核心处理流程,Master 执行 Scheduler 处理工作流的…

Github:https://github.com/Tencent/Tars 1. 介绍 Tars是基于名字服务使用Tars协议的高性能RPC开发框架,同时配套一体化的服务治理平台,帮助个人或者企业快速的以微服务的方式构建自己稳定可靠的分布式应用. Tars是将腾讯内部使用的微服务架构TAF(Total Application Framework)多年的实践成果总结而成的开源项目.Tars这个名字来自星际穿越电影人机器人Tars,电影中Tars有着非常友好的交互方式,任何初次接触它的人都可以轻松…

程序员们,在北上广你还能买房吗? >>>   推荐阅读: 可能是最火的开源项目 -- Java 篇 可能是国内最火的开源项目 -- PHP 篇 可能是国内最火的开源项目 -- Python 篇 截止目前开源中国收录了 44513 款开源项目,囊括了最热门的各类开源项目,而软件的评分在一定程度上代表了软件的质量和热度,而 C 和 C++ 语言作为最基础的语言,在各类编程语言排行榜中高居不下,因此本文整理了 C/C++ 语言中评分最高并且收藏量超过 100 的几款项目,以供开发者选择和交流,…

今天给大家推荐一批 BAT 公司常用的开发工具,个个好用,建议转发+收藏. 阿里篇 一.Java 线上诊断工具 Arthas Arthas 是阿里巴巴 2018 年 9 月开源的一款 Java 线上诊断工具. 使用场景: 这个类从哪个 jar 包加载的?为什么会报各种类相关的 Exception? 我改的代码为什么没有执行到?难道是我没 commit?分支搞错了? 遇到问题无法在线上 debug,难道只能通过加日志再重新发布吗? 线上遇到某个用户的数据处理有问题,但线上同样无法 debug,线下…

文章每周持续更新,「三连」让更多人看到是对我最大的肯定.可以微信搜索公众号「 后端技术学堂 」第一时间阅读(一般比博客早更新一到两篇) 单体式应用程序 与微服务相对的另一个概念是传统的单体式应用程序( Monolithic application ),单体式应用内部包含了所有需要的服务.而且各个服务功能模块有很强的耦合性,也就是相互依赖彼此,很难拆分和扩容. 说在做的各位都写过单体程序,大家都没意见吧?给大家举个栗子,刚开始写代码你写的helloworld程序就是单体程序,一个程序包含所有功能,…

❝ 文章每周持续更新,各位的「三连」是对我最大的肯定.可以微信搜索公众号「 后端技术学堂 」第一时间阅读(一般比博客早更新一到两篇) ❞ 单体式应用程序 与微服务相对的另一个概念是传统的「单体式应用程序」( Monolithic application ),单体式应用内部包含了所有需要的服务.而且各个服务功能模块有很强的耦合性,也就是相互依赖彼此,很难拆分和扩容. 说在做的各位都写过单体程序,大家都没意见吧?给大家举个栗子,刚开始写代码你写的helloworld程序就是单体程序,一个程序包含所有…

点亮 ️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler 精彩回顾 近期,初灵科技的大数据开发工程师钟霈合在社区活动的线上 Meetup 上中,给大家分享了<基于 Apache DolphinScheduler 对千亿级数据的应用实践>主题演讲. 我们对于千亿级数据量的数据同步需求,进行分析和选型后,初灵科技最终决定使用DolphinScheduler进行任务调度,同时需要周期性调度 DataX.SparkSQL…

点击上方 蓝字关注我们 ✎ 编 者 按 2021 年,Apache DolphinScheduler 社区又迎来了新的蓬勃发展,社区活跃度持续提高.目前,项目 GitHub Star 已达 6.7k,贡献者达 260+,fork 数 2.4k+.仅在过去一个月内,社区就发布了两个新版本,并迎来 33 位作者向 dev 提交 85 次 commits,向所有分支提交 161 次 commits.在 dev 上,有 504 个文件发生了变化,共计新增 10,421 行代码,删除 12,376 行代码…

2017年,机器学习.大数据.人工智能等词汇成为软件研发行业的主流,大前端.DevOps.区块链等技术方式成为热点方向:2017年,智能硬件开始成为新的焦点,这一年更被称为智能音箱井喷的一年:2017年,互联网更快速地发展,要求一切都变得更快,工程效率.交付速度.创新速度.还有软件重构.云平台搭建.多活改造.数据变现.大数据转型…… 11月9-12日,北京国家会议中心,第六届TOP100全球软件案例研究峰会.4天时间,洞察100位技术带头人所思所想的案例实践. 2017年TOP100summit…

涂鸦智能 dubbo-go 亿级流量的实践与探索 dubbo 是一个基于 Java 开发的高性能的轻量级 RPC 框架,dubbo 提供了丰富的服务治理功能和优秀的扩展能力.而 dubbo-go 在 java 与 golang 之间提供统一的服务化能力与标准,是涂鸦智能目前最需要解决的主要问题.本文分为实践和快速接入两部分,分享在涂鸦智能的 dubbo-go 实战经验,意在帮助用户快速接入 dubbo-go RPC 框架,希望能让大家少走些弯路. 另外,文中的测试代码基于 dubbo-go版本…

作者:字节跳动终端技术 -- 刘夏 前言 笔者来自字节跳动终端技术 AppHealth (Client Infrastructure - AppHealth) 团队,在工作中我们会对开源 LLVM 及 Swift 工具链进行维护和定制,推动各项编译器优化在业务场景中的落地.编译器作为一个复杂的软件也会有 bug,也会有各种兼容性和正确性的问题,这里我们分享一则开启 clang 的 -Oz 优化选项时发现的编译器缺陷. 问题 在 Xcode 中我们可以对 clang 编译器设置不同的优化等级,比如…

​  点亮 ️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler   ​ 版本发布 2022/8/10 2022 年 8 月 10 日,Apache DolphinScheduler 在经过 3.0.0 alpha.3.0.0-beta-1.3.0.0-beta-2 不断验证之后,终于迎来了社区期盼已久的第三个大版本! 3.0.0 正式版本发生了自发版以来的最大幅度变动,新增了众多全新功能和特性,旨在为用户带来全新的体…

本文作者至简曾在 2018 QCon 上海站以<Service Mesh 的本质.价值和应用探索>为题做了一次分享,其中谈到了 Dubbo Mesh 的整体发展思路是“借力开源.反哺开源”,也讲到了 Service Mesh 在阿里巴巴的发路径将经历以下三大阶段: 撬动 做透价值渗透 实现技术换代 Dubbo Mesh 在闲鱼生产环境的落地,分享的是以多语言为撬动点的阶段性总结. 文章首发于「QCon」,阿里巴巴中间件授权转载. 闲鱼场景的特点 闲鱼采用的编程语言是 Dart,思路是通过 Fl…

Filebeat + Redis 管理 LOG日志实践 小赵营 关注 2019.01.06 17:52* 字数 1648 阅读 24评论 0喜欢 2 引用 转载 请注明出处 某早上,领导怒吼声远远传来,空空的办公区放大吼声的“狰狞”程度.“xxxxxx ... ...重量级的日志管理工具不能用,xxxx不代表要自己造轮子.拥抱开源不只是口号,xxxx 要行动啊.... ...” 伴着少儿不宜哔哔哔声音,我开启了探索轻量级开源日志管理工具航程.Filebeat等一干开源日志管理软件进入我的视野.所…

导读:第七届TOP100全球软件案例研究峰会将于11月30日-12月3日在北京国家会议中心举办,本届峰会以“释放AI生产力 让组织向智能化演进”为开幕式主题,旨在推动企业在趋势下拥抱AI.探索和思考AI带来的力量.十八个主题专场,120个案例为组织形式,意在向参会者解读2018年软件研发设计创新案例. 会前TOP100组委会专访案例分享者当当网 架构部工程师林嘉琦老师,他将为我们带来<如何快速准确定位复杂系统中的链路性能瓶颈:APM在当当的实践>的话题 .讲述当当网往年大促经验教训,以及APM…

20145227鄢曼君<网络对抗>Web安全基础实践 实验后回答问题 1.SQL注入攻击原理,如何防御? SQL注入攻击指的是通过构建特殊的输入作为参数传入Web应用程序,而这些输入大都是SQL语法里的一些组合,通过执行SQL语句进而执行攻击者所要的操作,其主要原因是程序没有细致地过滤用户输入的数据,致使非法数据侵入系统. 根据相关技术原理,SQL注入可以分为平台层注入和代码层注入.前者由不安全的数据库配置或数据库平台的漏洞所致:后者主要是由于程序员对输入未进行细致地过滤,从而执行了非法的数据…

<Java 程序设计>课堂实践项目数据库 课后学习总结 目录 数据库实验要求 课堂实践成果 课后思考 由于担心做的不好,找同学询问了数据库的问题,学习了数据库的连通,补写的这篇博客.这是补写的,不是之前写过后改的,能加上分就加,不能加我就当图个心安. 数据库实验要求 参考教材相关代码,能提交连接到Word的截图. 课堂实践成果 代码如下: import static java.lang.System.out;import java.sql.*; public class ConnectionD…

<Java 程序设计>课堂实践项目类定义 课后学习总结 目录 改变 类定义实验要求 课堂实践成果 课后思考 改变 修改了博客整体布局,过去就贴个代码贴个图很草率,这次布局和内容都有修改.     加了一些类定义相关的拓展的内容,图片等都是再次运行之后截得细致的图片,电脑上也有原图. 类定义实验要求 设计并实现一个Book类,定义义成Book.java,Book 包含书名,作者,出版社和出版日期,这些数据都要定义getter和setter.定义至少三个构造方法,接收并初始化这些数据.覆盖(Ove…

<Java 程序设计>课堂实践项目简易计算器 课后学习总结 目录 改变 简易计算器实验要求 课堂实践成果 课后思考 改变 修改了博客整体布局,过去就贴个代码贴个图很草率,这次布局和内容都有修改.     加了一些类定义相关的拓展的内容,图片等都是再次运行之后截得细致的图片,电脑上也有原图. 简易计算器实践要求 提交测试码云链接和测试截图(测试不要和下面的示例相同),加上学号信息 实现一个简易计算器Calc,支持+ - x / 和%运算, 从命令行传入计算数据,比如: java Calc 2 +…

<Java 程序设计>课堂实践项目-Arrays和String单元测试 课后学习总结 目录 改变 Arrays和String单元测试实验要求 课堂实践成果 课后思考 改变 修改了博客整体布局,改变了之前贴个截图粘个代码就糊弄完的观念,这次布局和内容都有修改.     补充了部分没有讲过的测试类的样例,图片等都是再次运行之后截得细致的图片,电脑上也有原图. Arrays和String单元测试实践要求 问:在IDEA中以TDD的方式对String类和Arrays类进行学习- 测试相关方法的正常,错…

“道生一,一生二,二生三,三生万物.” —— <道德经> Picasso是大众点评移动研发团队自研的高性能跨平台动态化框架,经过两年多的孕育和发展,目前在美团多个事业群已经实现了大规模的应用. Picasso源自我们对大前端实践的重新思考,以简洁高效的架构达成高性能的页面渲染目标.在实践中,甚至可以把Native技术向Picasso技术的迁移当做一种性能优化手段:与此同时,Picasso在跨越小程序端和Web端方面的工作已经取得了突破性进展,有望在四端(Android.iOS.H5.微信小程序…

<Java 程序设计>课堂实践项目 课后学习总结 目录 改变 命令行参数实验要求 课堂实践成果 课后思考 改变 修改了博客整体布局,过去就贴个代码贴个图很草率,这次布局和内容都有修改.加了一些之后也用到命令行参数的内容,图片等都是再次运行之后截得细致的图片,电脑上也有原图.这篇博客修改模板参考了5303这位同学的博客. 命令行参数实验要求 问:求命令行传入整数参数的和: public class TestArgs { public static void main(String [] args…

<Java 程序设计>课堂实践项目-后缀表达式 课后学习总结 目录 改变 mini dc实验要求 后缀表达式介绍 课堂实践成果 课后思考 改变 修改了博客整体布局,改变了之前贴个截图粘个代码就糊弄完的观念,这次布局和内容都有修改.     加了一些之后也用到更多的实际例子,图片等都是再次运行之后截得细致的图片,电脑上也有原图. mini dc实验要求 问:提交测试截图和码云练习项目链接,实现Linux下dc的功能,计算后缀表达式的值 后缀表达式介绍 后缀表示法是波兰逻辑学家J.Lukasiew…