1. Airflow Airflow是一个调度.监控工作流的平台.用于将一个工作流制定为一组任务的有向无环图(DAG),并指派到一组计算节点上,根据相互之间的依赖关系,有序执行. 2. 安装 pip安装airflow: pip3 install apache-airflow 初始化db: airflow initdb 启动web server: airflow webserver -p 8081 启动scheduler: airflow scheduler 3. 例子 下面是一个基本的管道定义,…

最近读了三篇1990-1995年的通过调度来降低cpu能耗的文章[1] [2] [3],简单总结一下该年代单核CPU功耗感知的调度策略. Motivation 随着便携式设备逐渐兴起,人们对降低其功耗的研究开始出现,而在这之前,人们对计算机功耗的研究主要集中在显示和磁盘上,有研究表明,计算机系统中显示占总功耗的68%,磁盘读写占20%,而CPU只占12%[4].其降低功耗的策略主要是power-down-when-idle,即不使用的时候就关掉设备.学者们逐渐意识到便携式设备通常没有磁盘,且在显…

最近读了一些1996-2000年的通过调度来降低cpu能耗的文章,主要文章有[1] [2] [3] [4] [5], 简单总结一些该时期单核CPU功耗感知的调度策略. 该时期还出现了很多关于低功耗电路设计的文章,利用电压可调节的技术,将执行单元作为节点,执行单元之间传输的数据作为边,构成DAG,对DAG进行分析,在满足throughput limit的情况下调节node的电压来降低功耗. Paper Analysis Hongy于1998年DAC发表的论文[1]中主要针对拥有多电压可编程处理器核…

Airflow1.10.4介绍与安装 现在是9102年,8月中旬.airflow当前版本是1.10.4. 随着公司调度任务增大,原有的,基于crontab和mysql的任务调度方案已经不太合适了,需要寻找一个可以支持分布式扩容的调度系统解决方案. 最初瞄准azkaban来着,想着基于这个的二次开发.对比功能和社区热度之后,Airflow比较符合我们寻找的调度系统. 什么是Airflow Airflow是一个以编程方式创作,安排和监控工作流程的平台.对比crontab来看,它是一个可以定时调度任务…

1.从调度到airflow ETL,是英文 Extract,Transform,Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程,合理安排三者以及三者子类的过程被称之为数据调度. 在数据调度中,数据流程之间的依赖主要是以下四种: 时间依赖:任务需要等待某一个时间点触发. 外部系统依赖:任务依赖外部系统需要调用接口去访问. 任务间依赖:任务 A 需要在任务 B 完成后启动,两个任务互相间会产生影响. 资源环境依赖:任务消…

1 完整异常信息 File "/usr/bin/airflow", line 32, in <module> args.func(args) File "/usr/lib/python2.7/site-packages/airflow/utils/cli.py", line 74, in wrapper return f(*args, **kwargs) File "/usr/lib/python2.7/site-packages/airflo…

官网: http://airflow.apache.org/installation.html 原理: https://www.cnblogs.com/cord/p/9450910.html 安装: https://www.cnblogs.com/cord/p/9226608.html 高可用部署等: https://www.jianshu.com/p/2ecef979c606 使用方法等: https://www.jianshu.com/p/cbff05e3f125 日志在: /tmp/sch…

计划做一个元数据平台, 因为要包含血缘分析功能, 所以要调研一下js 拓扑图库, 候选对象主要参考知乎上的问答, javascript 有哪些适合做网络拓扑图形展示的包? https://www.zhihu.com/question/20643359 ------------------------候选库------------------------yfiles for html (收费)是德国人搞的,很严谨,布局算法很厉害, http://live.yworks.com/yfiles-for…

superset采集流程: 先从业务的bi从库oride-slave-bi(10.52.123.212)去拿数,然后计算(每10分钟由airflow调py代码),放到bi的库(BI业务-数据指标存储10.52.149.112)由superset显示出来. 还有一部分数据是由算法的redis来 痛点: superset突然出现悬崖式断点 分析原因: 1/  airflow调度时拥塞,处理速度慢 2/ 业务的bi从库没有数 3/ 从算法的redis里拿不到数…

欢迎关注微信公众号:ApacheHudi 1. 引入 Drop是一个智能的奖励平台,旨在通过奖励会员在他们喜爱的品牌购物时获得的Drop积分来提升会员的生活,同时帮助他们发现与他们生活方式产生共鸣的新品牌.实现这一体验的核心是Drop致力于在整个公司内推广以数据为基础的文化,Drop的数据用于多种形式,包括但不限于商业智能.测量实验和构建机器学习模型. 为了确保有效地利用数据,工程团队一直在寻找可以改善基础架构以适应当前和未来的需求的方法,与许多其他高成长型初创公司的经验类似,我们对数据的需求规…