前置依赖组件安装 找一台服务器,或者本地的虚拟机,然后在服务器上安装好jdk,zookeeper,mysql. 1.源码调试环境搭建 源码环境搭建可以参考DolphinScheduler官方网站的开发者指南. ---------------------引用自官方网站的开发者指南--------------------- 准备工作 首先从远端仓库fork dolphinscheduler 一份代码到自己的仓库中 在开发环境中安装好MySQL/PostgreSQL.JDK.MAVEN 把自己仓库cl

DolphinScheduler源码分析 本博客是基于1.2.0版本进行分析,与最新版本的实现有一些出入,还请读者辩证的看待本源码分析.具体细节可能描述的不是很准确,仅供参考 源码版本 1.2.0 技术框架 所有模块均采用比较流行的SprintBoot框架 架构图 重要概念 流程定义 在DolphinScheduler中,作业的DAG被命名为“流程定义”. 挺不可思议的. 流程实例 流程实例是流程定义的实例化,可以通过手动启动或定时调度生成,流程定义每运行一次,产生一个流程实例.流程实例由Mas

今天给大家带来的分享是 Apache DolphinScheduler 源码剖析之 Worker 容错处理流程 DolphinScheduler源码剖析之Worker容错处理流程 Worker容错流程是这样的: 1. 当 ZooKeeper 监听到有 Worker 节点挂了,就会去通知 Master 进行容错 2. 收到通知的 Master 会通过分布式锁去"抢"到容错的操作,拿到锁的 Master 开始进行容错处理. 3. 容错的流程如下:     3.1 通过已下线的 Worker

点击上方蓝字关注 Apache DolphinScheduler Apache DolphinScheduler(incubating),简称"DS", 中文名 "海豚调度"(海豚聪明.人性化,又左右脑可互相换班,终生不用睡觉).DolphinScheduler 正在像它的名字一样,努力成为一个"开箱即用"的灵活易用的大数据任务调度系统. 官网地址:https://dolphinscheduler.apache.org/ 今天给大家带来的分享是

1.搭建开发环境 a.下载好tomcat7源码包 b.安装好jdk7,及设置好环境变量 c.安装好ant,及设置好环境变量,用于预编译tocmat源码. d.以上步骤准备好我们就可以开始进入源码的预编译了. 2.使用ant预编译tomcat7源码 a.进入tomcat7源码解压路径,修改“build.properties.default”文件名,去掉后面的".default". b.cmd进入tomcat7源码的解压路径,然后键入“ant”命令,ant会自动下载编译tomcat7源码的

0. 准备环境 idea+jdk8+tomcat源码 1.下载tomcat源码: http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.46/src/apache-tomcat-8.5.46-src.zip 2. 解压压缩包,在根目录下新建pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="h

DolphinScheduler源码分析之任务日志 任务日志打印在调度系统中算是一个比较重要的功能,下面就简要分析一下其打印的逻辑和前端页面查询的流程. AbstractTask 所有的任务都会继承AbstractTask,这个抽象类有一个比较重要的字段就是logger,其实也就是一个org.slf4j.Logger对象. 也就是说所有的任务都是通过slf4j打印日志的.那这个logger是如何创建的呢? Logger taskLogger = LoggerFactory.getLogger(L

1 /* 2 * Licensed to the Apache Software Foundation (ASF) under one or more 3 * contributor license agreements. See the NOTICE file distributed with 4 * this work for additional information regarding copyright ownership. 5 * The ASF licenses this fil

我们都知道ASP.NET首先是从Global.aspx中开始运行的, 在Application_Start()中添加路由映射后, 就由URLRouting组件创建IRouteHandler并执行, 在ASP.NET MVC默认情况下是MvcRouteHandler(关于自定义RouteHandler, 请参考其他的相关文章), 我们先看看MvcRouteHandler的源码: public class MvcRouteHandler : IRouteHandler { protected vir

前台使用angular 5, 后台是asp.net core 2.0 web api + identity server 4. 从头编写asp.net core 2.0 web api 基础框架: 第1部分:http://www.cnblogs.com/cgzl/p/7637250.html 第2部分:http://www.cnblogs.com/cgzl/p/7640077.html 第3部分:http://www.cnblogs.com/cgzl/p/7652413.html 第4部分:ht

1 下载zxing2.1 2 本代码配置环境:eclipse.java1.6.windows8.zxing2.1 3 解压后将文件夹里面core/src下面的com文件夹导入到eclipse工程(工程可以自己建,如QrCode)中,图示如下: 注意:在源码中需要修改其编码配置为UTF-8,否则后面解码后面的文件中中文会乱码,修改图示如下: 4 TestEnDeCode.java源代码 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

这几天一直在尝试运行CenterNet的源码,但是出现各种问题,本已经打算放弃,中午吃完饭又不甘心,打算重新安装环境再来一遍,没想到竟然成功了.所以,坚持下去,黑夜过后便是黎明. 注意:gcc/g++ 版本尽量为 5.x CornerNet 源码仓库:CenterNet CornerNet 安装: 1. 创建 Anaconda 环境,并激活环境 conda create --name CenterNet python=3.6conda activate CenterNet 2. 安装 PyTor

1.从github上下载Box2D源码的zip包 2.解压缩zip包 3.从premake网站下载premake5工具,解压后得到premake5.exe 4.将premake5.exe拷贝到Box2D解压的根目录下 5.打开cmd,切换到box2d解压根目录,运行命令premake5 vs2017 6.工具会自动生成build文件夹和vs2017的解决方案文件等 7.打开vs2017,选择文件-打开-项目或解决方案,找到build文件夹下的解决方案文件,打开box2d.sln 8.打开后,在v

1.下载源码 从git中找到vue源码,把repo链接复制,使用[ git clone 链接 ]命令将vue源码下载到本地. 2.可以看到以下目录 每次看vue项目时,我们首先要看下package.json文件,我运行的是vue 2.6.10版本 3.先用[npm install] 先使用[npm install]命令将所需要的node包安装,npm的全称是node package manager 4.使用 [npm run dev] 再使用[npm run dev]的命令时,报了如下的错误 解

GitHub地址: https://github.com/apache/zookeeper 最新版本的 zookeeper 已经使用了 maven 进行管理了.不再需要安装 Ant 下载完成之后.使用 Idea 作为一个 maven 项目打开 拷贝配置文件 拷贝zoo_sample.cfg文件至相同文件夹下,名为:zoo.cfg,配置全部使用默认: 创建 /tmp/zookeeper 目录.用于存放 zk 数据. 拷贝log4j.properties文件至:zookeeper-server/sr

前台使用angular 5, 后台是asp.net core 2.0 web api + identity server 4. 从头编写asp.net core 2.0 web api 基础框架: 第1部分:http://www.cnblogs.com/cgzl/p/7637250.html 第2部分:http://www.cnblogs.com/cgzl/p/7640077.html 第3部分:http://www.cnblogs.com/cgzl/p/7652413.html 第4部分:ht

本文为原创,如需转载,请标明出处:http://www.cnblogs.com/gudu1/p/7726172.html 首先说一下查看这些框架源码的感受,每一次深入探究 Spring.Struts 等框架源码都有种深陷进去不能自拔的感觉,但是只要思路清晰,带着心中各种疑问去一点一点深入,还是会带给我很多欣喜,柳暗花明又一村的感觉,总的来说,这个工作并不是那么枯燥,感觉还是蛮不错的. 下面代码是 StrutsPrepareAndExcuteFilter.java 中的代码 public void

源码版本:Php5.6.15 源码目录:sapi/fpm/fpm 说明:源码的主要功能在上面直接注解 =============>>start<<================================ 主进程信号初始化,依据收到的信号类型,进行处理 int fpm_signals_init_main() /* {{{ */{struct sigaction act; //create sigaction structure and bind signal handle f

1. 各环境版本: jdk1.6.0_45 (亲测jdk1.7.0_07会有问题,不要用1.7版本的) apache-ant-1.9.4 apache-tomcat-7.0.61-src 2. 安装ant,官网下载:http://ant.apache.org/bindownload.cgi  ,解压后配置相应环境变量 ANT_HOME,然后将bin目录加入path环境变量 3. 依赖包:去eclipse的plugins文件夹中查找如下几个包,拷贝出来, ant.jar ,  javax.wsdl

在写C++控制台程序的时,如果使用Xcode或者Visual Studio之类的IDE,需要创建许多工程,会造成很多不便.有时,采用Vim或者Sublime text等编辑器编写简单的控制台程序能节省许多时间.但是,在编译时,就必使用命令行编译运行.这时,一个事先编写好的shell脚本能大大缩短调试时间. 把下面的代码复制并保存为xxx.sh文件,输入要编译的文件名(不包括后缀)和编译选项(可选),即可运行(Linux或者MacOS系统). ##/bin/bash echo "---------

1 /* 2 * Licensed to the Apache Software Foundation (ASF) under one or more 3 * contributor license agreements. See the NOTICE file distributed with 4 * this work for additional information regarding copyright ownership. 5 * The ASF licenses this fil