airflow 笔记
首先是一个比较好的英文网站,可能要fq:http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/
========================================================
py3venv
在 mkdir ~/airflow/py3venv
执行:python3 -m venv ~/airflow/py3venv
进入python3 环境:source /home/airflow/py3venv/bin/activate
以后的所有操作都进到 py3venv 的python3 环境操作
=========================================================
看看是否有gcc,没有的话需要进行安装:
sudo yum install gcc (后续安装airflow如果不成功,可以再次执行,它会更新包)
=========================================================
(py3venv) [airflow@iZ114t000jwZ airflow]$ airflow initdb
[2018-08-22 14:30:30,472] {configuration.py:206} WARNING - section/key [celery/celery_ssl_active] not found in config
[2018-08-22 14:30:30,473] {default_celery.py:41} WARNING - Celery Executor will run without SSL
[2018-08-22 14:30:30,474] {__init__.py:45} INFO - Using executor CeleryExecutor
DB: mysql://prodroot:***@rds8r7t55g74gz9a61d0.mysql.rds.aliyuncs.com/airflow?charset=utf8
[2018-08-22 14:30:30,724] {db.py:312} INFO - Creating tables
INFO [alembic.runtime.migration] Context impl MySQLImpl.
INFO [alembic.runtime.migration] Will assume non-transactional DDL.
[2018-08-22 14:30:31,107] {models.py:189} INFO - Filling up the DagBag from /home/airflow/proj/airflow/test/dags
=========================================================
启动服务脚本
nohup airflow webserver >>/home/airflow/airflow/logs/webserver.log &
nohup airflow worker >> /home/airflow/airflow/logs/worker.log &
nohup airflow scheduler >> /home/airflow/airflow/logs/scheduler.log &
nohup airflow flower >> /home/airflow/airflow/logs/flower.log &
/home/airflow/proj/airflow/test/airflow-webserver.pid
里面的数字就是webserver的process id, kill -9 {id} 就能停掉 webserver 服务了,重启用上面第一个
重启服务器,airflow会以 /home/airflow/airflow/airflow.cfg 为准
=========================================================
修改数据库配置
可以在~/airflow 目录下,修改airflow.cfg配置文件,数据库连接改为本地mysql的URL
先在mysql数据库里新建airflow数据库
然后修改airflow.cfg配置文件:
sql_alchemy_conn = sqlite:////root/airflow/airflow.db 改为:
sql_alchemy_conn = mysql://root:root@192.168.202.128:3306/airflow
接着重新初始化数据库:
airflow initdb
如果成功,则在airflow数据库表中可以看到很多表
如出现以下报错,则执行:yum install MySQL-python (注意此命令为centos7系统适合)
return __import__('MySQLdb') ImportError: No modulenamedMySQLdb
=======================================================
airflow1.10 中, airflow initdb 报错:
在Flask中连接MySQL时出现ModuleNotFoundError: No module named 'MySQLdb'错误,
只要在配置SQLALCHEMY_DATABASE_URI时,加上一个pymysql就可以了:
app.config['SQLALCHEMY_DATABASE_URI'] = 'mysql+pymysql://root:dzd123@localhost/你的数据库名'
,当然,前提是要已经安装了pymysql,如果没有装pymysql,是会报ModuleNotFoundError: No module named 'pymysql'错误的,
安装命令也很简单:pip install pymysql
=========================================================
问题1:解决MySQLdb ImportError: libmysqlclient.so.18错误
主要解决方法就是创建一个 18的软连接
https://blog.csdn.net/haoyuxuan/article/details/45334087
=========================================================
问题2:File "/home/airflow/py3env/lib/python3.6/site-packages/airflow/models.py", line 639, in set_extra
先安装包:pip install apache-airflow[crypto]
执行:python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())"
将得到的字符串替换 airflow.cfg 中fernet_key 的值
这段字符串加密算法用到
=========================================================
# 在 python 中执行添加账户:
airflow 1.9 默认安装的 SQLAlchemy version 1.2.2 ,下面这段python会报错:
File "/usr/local/lib/python3.6/site-packages/sqlalchemy/ext/hybrid.py", line 873, in set
raise AttributeError("can't set attribute")
AttributeError: can't set attribute
解决方法,执行:pip install 'sqlalchemy<1.2'
这样才能得到加密的用户记录:
import airflow
from airflow import models, settings
from airflow.contrib.auth.backends.password_auth import PasswordUser
user = PasswordUser(models.User())
user.username = 'airflow'
user.email = 'nick111@163.com'
user.password = 'airflow*****'
session = settings.Session()
session.add(user)
session.commit()
session.close()
=======================================================
redis 安装参考:https://blog.csdn.net/jiangdong2007/article/details/80890236
airflow 1.9.0要使用celery4.x, redis版本4才能与 celery4 兼容
------------
安装 Airflow 1.10.1 时的一个错误:
AttributeError: 'float' object has no attribute 'items'
参考:https://github.com/celery/celery/issues/5175
pip uninstall redis
pip install redis==2.10.6
=========================================================
rabbitmq 安装
主要参考:https://www.linuxidc.com/Linux/2016-03/129557.htm
碰到的坑:
原因就是 erlang 和 rabbitmq各有一个 cookie
~/.erlang.cookie
/var/lib/rabbitmq/.erlang.cookie
将其中一个修改,改成相同的。
ps -ef | grep rabbitmq
将进程杀掉
然后重启服务器就解决了。
=========================================================
Airflow中使用 sshoperator
http://yangcongchufang.com/airflow/airflow-ssh-operator.html
问题:{ssh_operator.py:118} WARNING - /home/airflow/tmp/a.sh: line 3: hive: command not found
a.sh 内容:
echo "aaaa" > /home/airflow/tmp/aaa1.txt
hive -f /home/airflow/tmp/a.hql
echo "aaaa" > /home/airflow/tmp/aaa2.txt
明明调用成功了 a.sh, aaa1.txt aaa2.txt 有成功生成,但是找不到 hive 命令,而在emr服务器上直接执行 sh a.sh 却可以成功打印出数据库名称列表。
解决方法:
执行:export PATH=$PATH:$HIVE_HOME/bin
在 a.sh第一行中加入:
source /etc/profile
=========================================================
如出现以下报错,则执行:yum install MySQL-python (注意此命令为centos7系统适合)
return __import__('MySQLdb') ImportError: No modulenamedMySQLdb
==========================================================
之前用的一直是airflow1.9 ,最近安装了一遍 airflow1.10。
在airflow1.9中,subdag_operator 默认使用的executor = GetDefaultExecutor(),
而1.10中默认的是executor=SequentialExecutor()。
所以导致的结果就是在 1.9 中的subdag中可以并行执行task,而 1.10中,如果不
指定 excutor,只会逐个执行。指定方法:
from airflow.executors.celery_executor import CeleryExecutor
mysubdag = SubDagOperator(
executor=CeleryExecutor()
...
)
关于这个变动,官方文档的 tips 中有做说明: https://airflow.apache.org/concepts.html#subdags
其实是Airflow1.9中其实是有个bug,subdag中无法使用 pool 中的 slot 数控制并行任务数。
1.10中没有做这个bug的修复,而是直接给个默认值:SequentialExecutor。这是个坑~~~-_-||
airflow 笔记的更多相关文章
- airflow笔记
airflow webserver --debug & # debug 模式,在后台启动webserver airflow list_dags airflow list_tasks tuto ...
- AirFlow功能展示个人笔记
DAGs 查看您可以一目了然地查看成功.失败及当前正在运行的任务数量. 选中其中一个DAG 树视图 跨越时间的 DAG 的树表示.如果 pipeline(管道)延迟了,您可以很快地看到哪里出现了错误的 ...
- 5.airflow问题
1. Traceback (most recent call last): File "/usr/bin/airflow", line 28, in <module> ...
- 3.Airflow使用
1. airflow简介2. 相关概念2.1 服务进程2.1.1. web server2.1.2. scheduler2.1.3. worker2.1.4. celery flower2.2 相关概 ...
- 4.airflow测试
1.测试sqoop任务1.1 测试全量抽取1.1.1.直接执行命令1.1.2.以shell文件方式执行sqoop或hive任务1.2 测试增量抽取2.测试hive任务3.总结 当前生产上的任务主要分为 ...
- 1.airflow的安装
1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块 ...
- 2.airflow参数简介
比较重要的参数: 参数 默认值 说明 airflow_home /home/airflow/airflow01 airflow home,由环境变量$AIRFLOW_HOME决定 dags_folde ...
- 调度系统Airflow的第一个DAG
Airflow的第一个DAG 考虑了很久,要不要记录airflow相关的东西, 应该怎么记录. 官方文档已经有比较详细的介绍了,还有各种博客,我需要有一份自己的笔记吗? 答案就从本文开始了. 本文将从 ...
- git-简单流程(学习笔记)
这是阅读廖雪峰的官方网站的笔记,用于自己以后回看 1.进入项目文件夹 初始化一个Git仓库,使用git init命令. 添加文件到Git仓库,分两步: 第一步,使用命令git add <file ...
随机推荐
- Hive分桶
1.简介 分桶表是对列值取哈希值的方式将不同数据放到不同文件中进行存储.对于hive中每一个表,分区都可以进一步进行分桶.由列的哈希值除以桶的个数来决定数据划分到哪个桶里. 2.适用场景 1.数据抽样 ...
- Redis 主从复制原理及雪崩 穿透问题
定义: Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API.从2010年3月15日起,Redis的开发工作由VMw ...
- CTF杂项之音频隐写
题目来自bugku 二话不说,直接上图 由题目可以看出,这题需要用到一个KEY,加上又是一段音频,很容易联想到一个著名的音频隐写解密软件Mp3stego 直接上工具 ok,成功Get Flag
- CG-CTF simple-machine
运行一下,输入flag: 用ida打开: input_length和input_byte_804B0C0为重命名的变量:现在一个个看调用的函数. sub_8048526(): 这个函数使用了mmap分 ...
- struct导入项目工程时工程旁边出现红色的×号
在我们学习java的过程中难免要导入java工程项目,那么当我们导进去的时候出现错误怎么办呢, 一,首先 二,其次 选择Properties 三,再选择 四,再选择 (高版本的选择1.5尽量用1.6的 ...
- Visual Studio 2019 正式版 更新内容
大早上更新了Visual Studio 2019, 试用一下 一.界面改变 1.项目创建界面 首先启动界面改变就不说了,创建项目的界面做了较大改变,感觉在向vs for mac 靠拢 ,而后者感觉像x ...
- js创建对象,放进js集合
var list=[]; for (var i=0;i<nodes.length;i++){ if(nodes[i].type=='user'){ person=new Object(); pe ...
- keras01 - hello world ~ 搭建第一个神经网络
import numpy as np from keras.datasets import mnist from keras.models import Sequential, Model from ...
- Spring Boot环境下出现No operations allowed after connection close错误
一个基于springcloud的微服务项目,详细配置: SpringCloud + SpringMVC+SpringData JPA+ MySql+Postgresql 其中项目配置了多数据源,前期开 ...
- springboot实现简单的文件上传
承接上一篇,这里记录一下简单的springboot文件上传的方式 首先,springboot简单文件上传不需要添加额外的jar包和配置 这里贴一下后端controller层的实现代码 补一份前台的HT ...