之前试用了azkaban一小段时间,虽然上手快速方便,但是功能还是太简单,不够灵活. Airflow使用代码来管理任务,这样应该是最灵活的,决定试一下. 我是python零基础,在使用airflow的过程中可谓吃尽了苦头..好歹最后实现所有要求,两三周的时间没有白费 看完这篇文章,可以达到如下目标: 安装airflow 如何修改界面右上角显示的时间到当前时区 如何添加任务 调试任务python代码 如何启动spark任务 如何限定任务同时执行的个数 如何手动触发任务时传入参数 如何在airflo

准备篇: CentOS 7.0系统安装配置图解教程 http://www.osyunwei.com/archives/7829.html 一.配置防火墙,开启80端口.3306端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2

php下载页面 http://cn2.php.net/downloads.php 7.0.3多地区下载页面 http://cn2.php.net/get/php-7.0.3.tar.gz/from/a/mirror 直接下载地址 http://cn2.php.net/distributions/php-7.0.3.tar.gz 下载解压目录 /usr/local/php7.0.3 下载php压缩包    wget http://cn2.php.net/distributions/php-7.0.

centos7.0这里安装jdk1.8采用yum安装方式,非常简单. 1.查看yum库中jdk的版本 [root@localhost ~]# yum search java|grep jdk 2.选择java-1.8.0安装 [root@localhost ~]# yum install java-1.8.0-openjdk* 3.配置环境变量 [root@localhost ~]# vi /etc/profile 这里jdk1.8.0的文件夹路径是/usr/lib/jvm/java-1.8.0

elasticsearch5.0.0 安装插件及配置过程 由于es5.0是里程碑式的更新,所以很多变化的地方,暂时我就插件安装遇到的问题记录一下. 插件安装命令 2.3版本的安装命令 安装Marvel ./bin/plugin -i elasticsearch/marvel/latest 5.0版本的安装命令 安装Marvel sudo bin/elasticsearch-plugin install x-pack 是不是很尴尬,怎么都报错找不到Marvel,因为在5.0把很多插件都集成到了x-

环境准备: centos 6.5 x86_x64 安装依赖库文件 yum -y install mysql-devel net-snmp-devel curl curl-devel gcc pcre-devel libpng-devel libjpeg-devel libxml2-devel freetype-devel 准备软件 nginx-1.11.5.tar ,php-5.4.101 ,zabbix-3.2.1.tar ,freetype-2.5.3.tar 安装软件 [root@loca

Ubuntu14.0下安装Zend Framework 2为了安装这个东西,忙活了快一天了,参考中文博客一直没有安装成功,有些博客的时间也是已经很早了,后来google看英文版的才安装成功,这里记录一下安装过程,英文好的,也可以看原版:http://tecadmin.net/install-zend-framework-on-ubuntu/#下面是安装步骤:1．安装Apache和PHP $ sudo apt-get update $ sudo apt-get install apache2 ph

一.安装相关包 sudo apt-get install python-pip       #python的安装包的工具 sudo apt-get install python-dev       #python在linux系统运行就需要安装的中间包 sudo pip install Supervisor==3.3.0 二.生产supervisor配置 su           #切换到root用户才能生产配置文件 echo_supervisord_conf > /etc/supervisord

我前几天用composer安装 一直没成功  我就用归档的方法安装了  所以这篇文字只帮助那些用归档方法安装的朋友 Yii是一个高性能的,适用于开发WEB2.0应用的PHP框架. Yii自带了丰富的功能 ,包括MVC,DAO/ActiveRecord,I18N/L10N,缓存,,身份验证和基于角色的访问控制,脚手架,测试等,可显著缩短开发时间.2.0.0版本发布于2014年10月12日.下面介绍一下Yii2.0 basic模板和高级(advanced)模板的安装. 要点: 打开dos 操作命令

编译安装php参考资料 MySQL PHP API http://dev.mysql.com/doc/apis-php/en/index.html nginx + php +mysql 最简单安装 官方介绍 http://php.net/manual/zh/install.unix.nginx.php php下载地址: http://cn2.php.net/distributions/php-5.6.7.tar.gz 编译php环境需要的包 autoconf: 2.13+(PHP < 5.4.0

http://os.chinaunix.net/a2008/0801/986/000000986346.shtml RPM包和源码包存放位置 /usr/local/src 源码包编译安装位置(prefix) /usr/local/xxx 脚本以及维护程序存放位置 /usr/local/sbin MySQL 数据库位置 /var/lib/mysql 安装gcc configure: error: No curses/termcap library found  安装ncurses安装包 yum l

RedHat下安装这三个服务的方法大同小异 Apache服务: 找到Apache安装包: rpm -ivh httpd-2.0.40-21.i386.rpm 等待安装完成即可 检查安装结果: rpm -qa|grep httpd 有回显httpd-2.0.40-21即表示安装成功. 启动apache服务: service httpd start 通过浏览器访问 IP地址80端口 即可打开apache测试网站 注意事项: 1.apache 服务无法启动,主机名与IP不匹配 解决方法: 手动修改主机

最近工作需要,开始研究ES,当前ES的最新版本为5.0.1,从之前的2.x的版本号一下升级到5.x,主要是之前Elastic的产品版本号因为收购等原因很乱,ES 2.X版本的和Kibana 4.x版本的配套使用,让人感觉不爽.这下一步到位,所有的产品系列版本号都从5.0开始,这样,5.0的ES就和5.0的Kibana一致了. 本篇会记录ES5.0.1 + Kibana 5.0.1 + ik 5.0.1的安装. 首先,去Elastic官网 https://www.elastic.co/downlo

操作系统:Windows7,用到工具:Visual studio.CMake. 1.准备工作 VTK下载: 下载最新VTK稳定版(6.0.0,截至2013年7月)http://www.vtk.org/VTK/resources/software.html CMake下载和安装: 最新版的VTK不提供Windows下的installer ,需要自己构建(Build)和编译(Compile)源代码.这里用到一个小工具CMake,到官网下载并安装http://www.cmake.org/cmake/r

  1:问题 由于工作需要,需要研究一下Axure原型设计软件的使用方式,在公司的电脑上成功安装了从同事那里拿来的Axure7.0软件,能够正确运行没有任何问题,在自己的电脑上安装的也非常顺利,不过运行的时候总是弹出 根据上面的提示,我下载了对应的.NET Framework v4.0组件并安装成功,但是在再次运行Axure7.0软件的时候仍然弹出此对话框,重新安装也不能成功的解决此问题,因此我从朋友那里又拿了一个Axuer6.5版本的,也能正确安装,不过运行的时候仍然弹出此令人烦恼的对话框.后

下载文件 http://nginx.org/en/download.html 下载 nginx-1.9.3.tar.gz 安装Nginx 安装 一.安装nginx时必须先安装相应的编译工具 yum -y install gcc gcc-c++yum -y install zlib zlib-devel openssl openssl-devel pcre-devel 建立nginx 组 groupadd -r nginx# -r 表示创建的是系统组 useradd -s /sbin/nologi

前几天微软发布了.Net Core1.0.0 RC2 Preview版本,一直都想尝试下跨平台的.Net Core,一直拖到今天,也参考了下园友们的经验,闲时整理了一下安装的步骤,供大家参考. 我们要知道.Net Core是.Net Framework针对跨平台的重构版本.所以,也相当于一个新的框架,要安装上.Net Core的运行时和SDK.本文教程包含两个部分:安装和创建示例程序. 一.安装 提示:本人使用的是Windows8.1系统,开发工具用的VS2015 Update2,如果没有,请安

zabbix快速安装 系统版本:centos 6 1.yum源配置和zabbix.msyql安装 rpm -ivh http://mirrors.aliyun.com/zabbix/zabbix/3.0/rhel/6/x86_64/zabbix-release-3.0-1.el6.noarch.rpm yum install httpd zabbix zabbix-server zabbix-web zabbix-server-mysql zabbix-web-mysql mysql-serve

zabbix快速安装 系统版本:centos 7 通过yum方法安装Zabbix3.0,安装源为阿里云 yum源配置 rpm -ivh http://mirrors.aliyun.com/zabbix/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm 安装 yum install zabbix-server zabbix-agent zabbix-web zabbix-get zabbix-server-mysql zabb

查找php.ini文件所在位置 [root@localhost /]# find -name php.ini ./usr/etc/php/etc/php.ini mysql官网的安装说明http://dev.mysql.com/doc/refman/5.6/en/source-installation.html 安装mysql必须的要求CMake make3.75以上 GCC 4.2.1以上 PerlCurses ncurses-devel cmake 安装 [root@localhost us

更改主机名为test3 [root@localhost ~]# cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=test3 关闭selinux [root@localhost ~]# sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config 重启使上面更改的配置生效 [root@localhost ~]# reboot 关闭防火墙 [root@test3 /]# /