airflow 部署

环境 : ubuntu 14.04 LTS python 2.7 script: 设置环境变量: export AIRFLOW_HOME=~/airflow 安装相关依赖包: sudo apt-get install python-dev sudo apt-get install python-numpy sudo pip install airflow sudo pip install markupsafe sudo pip install sqlalchemy sudo pip instal…

airflow部署

官网: http://airflow.apache.org/installation.html 原理: https://www.cnblogs.com/cord/p/9450910.html 安装: https://www.cnblogs.com/cord/p/9226608.html 高可用部署等: https://www.jianshu.com/p/2ecef979c606 使用方法等: https://www.jianshu.com/p/cbff05e3f125 日志在: /tmp/sch…

Mac通过docker一键部署airflow

目录 Airflow部署及使用 1.Dockerhub查看镜像地址 2.拉取docker镜像 3.在宿主机创建外挂文件夹 4.创建docker容器 5.重新创建docker容器 5.1.查看airflow容器是否正常启动 5.2.启动成功才能将容器中的airflow.cfg拷贝出来修改 5.3.删除容器重新创建,非删除镜像 6.进入docker容器 7.sqlite数据库初始化 8.修改airflow的airflow.cfg配置 9.mysql数据库初始化 9.1.查看docker中mysql的…

airflow-operator 可以管理airflow 的kuberntes 自定义controller && crd

使用airflow-operator 我们可以让airflow 可以很方便的运行在k8s集群环境中,当前还在开发中主要分为两部分:airflowbbase && airfowcluster 自定义资源. 可以用来做以下事情: 创建&&管理airflow 部署的k8s 资源更新关联的k8s资源,当airflowbase&& airflowcluster 信息变更的时候恢复删除的k8s 资源支持创建不同的scheduler 支持在多个airflowclu…

【原创】运维基础之Docker（5）docker部署airflow

部署方式:docker+airflow+mysql+LocalExecutor 使用airflow的docker镜像 https://hub.docker.com/r/puckel/docker-airflow 使用默认的sqlite+SequentialExecutor启动: $ docker run -d -p 8080:8080 puckel/docker-airflow webserver 将容器中的airflow.cfg拷贝出来修改 $ docker cp $container_id:…

【原创】大数据基础之Airflow（2）生产环境部署airflow研究

一官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower(非必须) worker airflow缺点 scheduler单点通过在scheduler的dags目录变动dag文件来提交流程官方分布式部署方案多个webserver 多个worker CeleryExecutor(依赖redis或rabbitmq) MesosExecutor(依赖mesos) 第三方开源方案ASFC 针对scheduler单点问题,有第三方方案:ht…

【原创】Airflow 简介&如何部署一个健壮的 apache-airflow 调度系统

声明本文摘录了很多前辈的文章,原文如下: https://www.jianshu.com/p/2ecef979c606 Airflow 简介 Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行.airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理. 基本概念 airflow守护进程 airflow 系统在运行时有…

Centos7 安装部署 Airflow

本人在centos7 的环境下部署,怎么在centos7 下配置静态 IP 关闭防火墙以及安装jdk在这里不多赘述, centos7 配置静态ip可以参考:https://www.cnblogs.com/braveym/p/8523100.html 和 https://www.cnblogs.com/braveym/p/9096402.html Airflow 基础安装 1.默认自带python2环境,自行安装pip sudo yum -y install epel-release sud…

【原创】大数据基础之Ambari（3）通过Ambari部署Airflow

ambari2.7.3(hdp3.1) 安装 airflow1.10 ambari的hdp中原生不支持airflow安装,下面介绍如何通过mpack方式使ambari支持airflow安装: 1 下载 # wget https://github.com/miho120/ambari-airflow-mpack/raw/master/airflow-service-mpack.tar.gz 2 安装 # ambari-server install-mpack --mpack airflow-ser…

系统研究Airbnb开源项目airflow

开源项目airflow的一点研究调研了一些几个调度系统, airflow 更满意一些. 花了些时间写了这个博文, 这应该是国内技术圈中最早系统性研究airflow的文章了. 转载请注明出处 http://www.cnblogs.com/harrychinese/ . ========================airflow概况========================文档:http://airflow.readthedocs.org/en/latest/几个调度系统的比较, 可参…

Airflow 使用随笔（内含 TimeZone 和 Backfill 等的详解）

其实怎么部署 airflow 又哪些特性,然后功能又是如何全面都可以在 Reference 的文章里面找到,都不是重点这里就不赘述了. 这里重点谈一下我在部署完成仔细阅读文档之后觉得可以总结的一些东西,或者踩到的一些坑. 首选明确 airflow 中最重要的几个概念: DAG DAG 意为有向无循环图,在 Airflow 中则定义了整个完整的作业.同一个 DAG 中的所有 Task 拥有相同的调度时间. Task Task 为 DAG 中具体的作业任务,它必须存在于某一个 DAG 之中.Tas…

3.Airflow使用

1. airflow简介2. 相关概念2.1 服务进程2.1.1. web server2.1.2. scheduler2.1.3. worker2.1.4. celery flower2.2 相关概念2.2.1. dag2.2.2.task2.2.3.Operator2.2.4 scheduler2.2.5.worker2.2.6.executor2.2.7.Task Instances2.2.8.pool2.2.9.connection2.2.10.Hooks2.2.11.Queues2.2…

1.airflow的安装

1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块.密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装celery5.1 安装celery模块5.2 安装celery broker5.2.1 使用RabbitM…

调度系统Airflow的第一个DAG

Airflow的第一个DAG 考虑了很久,要不要记录airflow相关的东西, 应该怎么记录. 官方文档已经有比较详细的介绍了,还有各种博客,我需要有一份自己的笔记吗? 答案就从本文开始了. 本文将从一个陌生视角开始认知airflow,顺带勾勒出应该如何一步步搭建我们的数据调度系统. 现在是9102年9月上旬, Airflow最近的一个版本是1.10.5. ps. 查资料发现自己好多文章被爬走,换了作者.所以,接下里的内容会随机添加一些防伪标识,忽略即可. 什么数据调度系统? 中台这个概念最近比…

airflow的安装

【原创】Airflow调用talend

核心原理因为talend job build出来是一个可直接运行的程序,可以通过shell命名启动job进程,因此可以使用airflow的bashoperator调用生成好的talend job包里面的sh脚本,启动talend job. 设计talend job任务本例子主要将一批数据同步到mysql表中导出talend job 将设计好的talend job build到zip包. 定义airflow dag 新建个airflow dag python文件,例如如下脚本,其中job_c…

Redash(开源轻量级商业智能) 生产环境部署及实践 (without docker)

一直在调研一个轻量级开源的 BI 系统.之前我们生产环境使用的 aliyun 的 QuickBi,也调研了另外一个 airflow 的开源商业智能 superset.不得不承认 QuickBI 正在日益完善变得好用,但是因其重量级,不灵活,支持数据源单一(比如普通版本只支持自建 MySQL | RDS 阿里云内部的一些组件)superset 有类似问题.不支持 Hive(高级版支持) | Presto 等数据源数据读取给 QuickBi 的灵活性带来很多挑战. 不支持多数据源带来的困难表现在灵…

airflow原理

官网: http://airflow.apache.org/installation.html 原理: https://www.cnblogs.com/cord/p/9450910.html 原理介绍: airflow 的守护进程airflow 系统在运行时有许多守护进程,它们提供了 airflow 的全部功能.守护进程包括 Web服务器-webserver.调度程序-scheduler.执行单元-worker.消息队列监控工具-Flower等.下面是 apache-airflow 集群.高可用…

在生产中部署ML前需要了解的事

在生产中部署ML前需要了解的事译自:What You Should Know before Deploying ML in Production MLOps的必要性 MLOps之所以重要,有几个原因.首先,机器学习模型依赖大量数据,科学家和工程师很难持续关注这些数据以及机器学习模型中可调节的不同参数.有时候对机器学习模型的微小变更可能会导致结果大相径庭.此外还需要密切关注模型的功能.特征工程是机器学习生命周期的重要一环并极大影响了模型的准确性. 一旦进入生产,就不能像监控其他类型的软件(如we…

从 Airflow 到 Apache DolphinScheduler，有赞大数据开发平台的调度系统演进

点击上方蓝字关注我们作者 | 宋哲琦 ✎ 编者按在不久前的 Apache DolphinScheduler Meetup 2021 上,有赞大数据开发平台负责人宋哲琦带来了平台调度系统从 Airflow 迁移到 Apache DolphinScheduler 的方案设计思考和生产环境实践. 这位来自浙江杭州的 90 后年轻人自 2019 年 9 月加入有赞,在这里从事数据开发平台.调度系统和数据同步组件的研发工作.刚入职时,有赞使用的还是同为 Apache 开源项目的 Airf…

[原]CentOS7.2部署node-mapnik

转载请注明表作者think8848及出处(http://think8848.cnblogs.com) node-mapnik依赖项中要求g++ >= 5, toolchain (>= GLIBCXX_3.4.20 from libstdc++)(见官网说明),但是CentOS7里面默认的gcc和g++的版本是4.8.5,GLIBCXX只到3.4.19,因此部署过程中各种问题,经过常期.大量的折腾,最终终于找到一个可行的部署方法,在本文中将用到一些需要自行编译安装的包,只能保证文中的版本没有问题…

使用Visual Studio 2015 开发ASP.NET MVC 5 项目部署到Mono/Jexus

最新的Mono 4.4已经支持运行asp.net mvc5项目,有的同学听了这句话就兴高采烈的拿起Visual Studio 2015创建了一个mvc 5的项目,然后部署到Mono上,浏览下发现一堆错误出现,心中一万只草泥马奔腾而来,这也叫支持吗,这个问题是Visual Studio造成的,不相信的话可以使用Xamarin.Studio创建的asp.net项目,部署过程非常顺利,没有遇到什么问题:本文就是为你解开这个结,如何Visual Studio 2015搞定ASP.NET MVC 5项目的…

【airflow 部署】的更多相关文章