azkaban编译安装配置文档

参考官方文档: http://azkaban.github.io/azkaban/docs/latest/

azkaban的配置文件说明：http://azkaban.github.io/azkaban/docs/latest/#configuration

本文挡主要参考azkaban的官方文档。

在azkaban3.0 以后的版本，提供了3中安装模式。单 solo-server mode， two server mode和multiple-executor mode。这三种模式的区别如下：

solo-server mode : 单机模式，

轻量；使用内置的h2数据库， web server 和 executor server在同一个进程里，适合用于尝试和了解azkaban的功能。
two server mode：双机模式

更严格，更重模式，适合生成环境；使用主从的mysql做存储，web server 和 executor server在不同的进程中，跟新和升级时对用户的影响较小。
multiple-executor mode：多个执行器模式

该模式是最严格的生产环境。使用主从的mysql做存储；理想情况下，Web服务器（web server）和执行器（executor server）服务器在不同的主机上运行，以便升级和维护不应影响用户。这个多主机设置为Azkaban带来了强大而可扩展的功能。

一、 solo 模式的安装配置

可以按照如下步骤安装azkaban的solo模式.

下载克隆azkaban的git源码

git clone https://github.com/azkaban/azkaban.git
编译当前最新版本的azkaban源码

cd azkaban;

./gradlew build installDist -x test  #跳过测试

启动solo模式的azkaban服务

cd azkaban-solo-server/build/install/azkaban-solo-server;

nohup sh bin/azkaban-solo-start.sh > ./azkaban-solo-start.log 2>&1 &

4.停止azkaban服务

bin/azkaban-solo-shutdown.sh

vi conf/azkaban-users.xml

查看azkaban默认的登录用户为: azkaban / azkaban

二、 azkaban 的 multiple-executor 模式安装

编译azkaban源码

我们先从GitHub上克隆源码，构建master分支下的代码，即当前最新的版本。

git clone https://github.com/azkaban/azkaban.git

cd ./azkaban

./gradlew clean

./gradlew build installDist -x test  #跳过测试

azkaban数据库初始化

在mysql上创建 azkaban的数据库

 mysql> CREATE DATABASE azkaban;

 mysql> CREATE USER 'azkaban' IDENTIFIED BY 'azkaban!#@';

 mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban' WITH GRANT OPTION;

创建azkaban的数据库的初始化表：

 ./azkaban-db/build/sql/create-all-sql-3.32.2.sql

安装 azkaba的Web Server

编译后web server安装包目录位置： azkaban-web-server/build/distributions/azkaban-web-server-3.32.2.tar.gz,编译后的安装包，解压后，只有bin，lib,web三个文件夹。

azkaban-web-server 应包含如下目录：

Folder	Description
bin	启动Azkaban jetty server 的脚本
conf	Azkaban的配置文件，
lib	Azkaban依赖的jar文件
extlib	添加到extlib的其他jar将被添加到Azkaban的类路径中
plugins	安装插件的目录
web	The web (css, javascript, image) files for Azkaban web server.

conf 目录下应该有如下文件：

azkaban.properties - azkaban运行时参数，是设置Azkaban所需的主要配置文件。
global.properties - 作为共享属性传递给每个工作流和作业的全局静态属性
azkaban-users.xml - 用于添加用户和角色进行身份验证。如果XmLUserManager未设置为使用该文件，则不使用该文件。

还需要创建conf，extlib，plugins文件；以及conf目录下的azkaban.properties，global.properties，azkaban-users.xml 3个配置文件。

tar -zxvf azkaban-web-server-3.29.0.tar.gz

cd azkaban-web-server-3.32.2

mkdir conf

mkdir extlib

mkdir plugins

mkdir logs

touch conf/azkaban.properties

touch conf/global.properties

touch conf/azkaban-users.xml

touch conf/azkaban.private.properties

touch conf/log4j.properties

cp  mysql-connector-java-5.1.42-bin.jar ./extlib/

获取 KeyStore for SSL:Azkaban 可以用 SSL 网络连接

##使用如下命令创建一个SSL密钥

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

生成的 keystore SSL密钥文件放在azkaban-web-server-3.32.2目录下即可。一旦keystore SSL密钥文件创建，需要在azkaban.properties中配置ssl相关的配置。

下面一份azkaban-web-server的azkaban.propertiesp完整配置示例

可以参考solo模式的配置文件azkaban-solo-server/build/distributions/azkaban-solo-server-3.32.2/conf/azkaban.properties作为模板

# Azkaban Personalization Settings

azkaban.name=mtime

azkaban.label=mtime bigdata scheduler system online

azkaban.color=#FF3601

#azkaban.color=#22DD6D

azkaban.default.servlet.path=/index

web.resource.dir=web/

default.timezone.id=Asia/Shanghai

# UserManager config

user.manager.class=azkaban.user.XmlUserManager

user.manager.xml.file=conf/azkaban-users.xml

# Loader for projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects

# Velocity dev mode

velocity.dev.mode=false

# Azkaban Jetty server properties.

#jetty.use.ssl=false

jetty.use.ssl=true

jetty.ssl.port=8993

jetty.maxThreads=25

jetty.port=8081

# Azkaban Executor settings

executor.host=mtime-bigdata01

executor.port=12321

# mail settings

mail.sender=monitor@mtime.com

mail.host=mail.mtime.com

mail.user=monitor@mtime.com

mail.password=111112232

mail.tls=true

job.failure.email=fuxin.zhao@mtime.com

job.success.email=fuxin.zhao@mtime.com

lockdown.create.projects=false

cache.directory=cache

# JMX stats

jetty.connector.stats=true

executor.connector.stats=true

# Azkaban plugin settings

azkaban.jobtype.plugin.dir=plugins/jobtypes

#  KeyStore for SSL

jetty.keystore=keystore

jetty.password=mtimebigdata

jetty.keypassword=mtimebigdata

jetty.truststore=keystore

jetty.trustpassword=mtimebigdata

# Setting up the DB

database.type=mysql

mysql.port=3306

mysql.host=192.168.51.121

mysql.database=dmp

mysql.user=dmpuser

mysql.password=dmpuser123456

mysql.numconnections=100

#Multiple Executor Mode

azkaban.use.multiple.executors=true

azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus

azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1

azkaban.executorselector.comparator.Memory=1

azkaban.executorselector.comparator.LastDispatched=1

azkaban.executorselector.comparator.CpuUsage=1

vi log4j.properties

#OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、ALL

#log4j.rootLogger=info,console,dailyLog

log4j.rootLogger=info,console

#---------------------------------------------------------------

####\u8f93\u51fa\u65e5\u5fd7\u5230\u63a7\u5236\u53f0

log4j.appender.console=org.apache.log4j.ConsoleAppender

log4j.appender.Threshold.console=info

log4j.appender.console.Target=System.out

log4j.appender.console.layout=org.apache.log4j.PatternLayout

log4j.appender.console.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss} [%c]-[%p] %m%n

#--------------------------------------------------------------------------------

log4j.logger.test=debug

log4j.logger.org.apache.spark.scheduler=ERROR

vi azkaban-users.xml

<azkaban-users>

  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>

  <user password="metrics" roles="metrics" username="metrics"/>

  <user groups="bi" username="zhaofuxin"  password="123456" roles="read,write,execute,schedule,createprojects"/>

  <user groups="test" username="test"  password="123456" roles="read"/>

  <user groups="test" username="test1"  password="123456" roles="read,write,execute"/>

  <user groups="test" username="test2"  password="123456" roles="read,write,execute,schedule"/>

  <role name="metrics" permissions="METRICS"/>

  <role name="admin" permissions="ADMIN"/>

  <role name="read" permissions="READ"/>

  <role name="write" permissions="WRITE"/>

  <role name="execute" permissions="EXECUTE"/>

  <role name="schedule" permissions="SCHEDULE"/>

  <role name="createprojects" permissions="CREATEPROJECTS"/>

</azkaban-users>

**4. **安装 azkaba的Executor Server

编译后web server安装包目录位置：azkaban-exec-server/build/distributions/azkaban-exec-server-3.32.2.tar.gz, 编译后的安装包，解压后，只有bin，lib三个文件夹。

azkaban-exec-server 应包含如下目录：

Folder	Description
bin	启动Azkaban jetty server 的脚本
lib	Azkaban依赖的jar文件
conf	Azkaban的配置文件，
extlib	添加到extlib的其他jar将被添加到Azkaban的类路径中
plugins	安装插件的目录
logs	日志目录，系统自动创建
executions	执行日志目录，系统自动创建
projects	项目目录，系统自动创建

还需要创建conf，extlib，plugins文件；以及conf目录下的azkaban.properties 配置文件。

创建Executor Server下缺少的目录和文件

cd ~/azkaban/azkaban-exec-server-3.29.0

mkdir conf

mkdir extlib

mkdir plugins

mkdir logs

mkdir plugins/jobtypes

touch conf/global.properties

touch conf/azkaban.properties

touch conf/log4j.properties

touch plugins/jobtypes/commonprivate.properties

cp  mysql-connector-java-5.1.42-bin.jar ./extlib/

配置Executor Server的配置信息

vi conf/azkaban.properties

# Azkaban Personalization Settings

default.timezone.id=Asia/Shanghai

# Loader for projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects

# JMX stats

jetty.connector.stats=true

executor.connector.stats=true

# Azkaban plugin settings

azkaban.jobtype.plugin.dir=plugins/jobtypes

# Azkaban Executor settings

executor.maxThreads=50

executor.flow.threads=30

#Azkaban Executor port

executor.port=12321

# Setting up the DB

database.type=mysql

mysql.port=3306

mysql.host=192.168.51.121

mysql.database=dmp

mysql.user=dmpuser

mysql.password=dmpuser123456

mysql.numconnections=100

vi plugins/jobtypes/commonprivate.properties

# set execute-as-user

execute.as.user=false

#execute.as.user=true

#azkaban.native.lib=/home/hadoop/soft/azkaban/azkaban-web-server-3.29.0/bin

vi log4j.properties

#OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、ALL

#log4j.rootLogger=info,console,dailyLog

log4j.rootLogger=info,console

#---------------------------------------------------------------

####\u8f93\u51fa\u65e5\u5fd7\u5230\u63a7\u5236\u53f0

log4j.appender.console=org.apache.log4j.ConsoleAppender

log4j.appender.Threshold.console=info

log4j.appender.console.Target=System.out

log4j.appender.console.layout=org.apache.log4j.PatternLayout

log4j.appender.console.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss} [%c]-[%p] %m%n

#--------------------------------------------------------------------------------

log4j.logger.test=debug

log4j.logger.org.apache.spark.scheduler=ERROR

如果要使用Multiple Executor 模式，需要在 webserver 的conf/azkaban.properties中配置如下信息：

azkaban.use.multiple.executors=true

azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus

azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1

azkaban.executorselector.comparator.Memory=1

azkaban.executorselector.comparator.LastDispatched=1

azkaban.executorselector.comparator.CpuUsage=1

配置修改后需要在重启后才能生效。

在数据库中配置Multiple Executor 模式

insert into executors(host,port,active) values('192.168.17.50','12321','1');

insert into executors(host,port,active) values('192.168.17.51','12321','1');

insert into executors(host,port,active) values('192.168.17.52','12321','1');

**5. **启动azkaban

先执行executor，再执行web，避免Web Server会因为找不到执行器启动失败。

启动executor

分别到多个excuter节点的服务上启动executor服务

cd azkaban-exec-server

sh bin/start-exec.sh

查看logs下的日志文件是否有错误

启动Web Server

bin/start-web.sh

没有启动了ssl，访问如下地址：

http://192.168.17.50:8081

启动了ssl，访问如下地址：访问协议使用https，端口使用conf/azkaban.properties配置的jetty.ssl.port端口

https://192.168.17.50:8993

三、附录-异常

关于azkaban.native.lib的异常：

15-06-2017 19:05:03 CST hello1 ERROR - Job run failed!

azkaban.utils.UndefinedPropertyException: Missing required property 'azkaban.native.lib'

	at azkaban.utils.Props.getString(Props.java:426)

	at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:209)

	at azkaban.execapp.JobRunner.runJob(JobRunner.java:755)

	at azkaban.execapp.JobRunner.doRun(JobRunner.java:597)

	at azkaban.execapp.JobRunner.run(JobRunner.java:558)

	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)

	at java.util.concurrent.FutureTask.run(FutureTask.java:266)

	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)

	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

	at java.lang.Thread.run(Thread.java:745)

15-06-2017 19:05:03 CST hello1 ERROR - Missing required property 'azkaban.native.lib' cause: null

15-06-2017 19:05:03 CST hello1 INFO - Finishing job hello1 attempt: 0 at 1497524703532 with status FAILED

scp ./azkaban-common/src/main/c/execute-as-user.c  to  ${azkaban.native.lib}

gcc execute-as-user.c -o execute-as-user

chown root execute-as-user

chmod 6050 execute-as-user

vi azkaban-exec-server-3.29.0/plugins/jobtypes/commonprivate.properties

execute.as.user=true

azkaban.native.lib=/home/zhaofuxin/soft/azkaban/azkaban-web-server-3.29.0/bin

邮件配置错误

azkaban 任务执行时邮件发送不成功。主要是配置原因，邮件发送失败的异常信息会在web server 的log 文件 webServerLog_20170621-130947.out的日志中打印，之前一直在excuter 的log和在job的运行日志中查问题，所以看不到异常。

原因是邮件的tls没有开启，在 web server的 conf/azkaban.properties加入如下配置：

mail.tls=true

global.properties 没有创建，但是azkaban.properties中配置了，会发生异常：

2017-09-25 16:13:00 [azkaban.utils.StdOutErrRedirect]-[ERROR] Exception in thread "main"

2017-09-25 16:13:00 [azkaban.utils.StdOutErrRedirect]-[ERROR] com.google.inject.ProvisionException: Unable to provision, see the following errors:

1) Error injecting constructor, java.io.FileNotFoundException: conf/global.properties (No such file or directory)

  at azkaban.execapp.FlowRunnerManager.<init>(FlowRunnerManager.java:155)

  at azkaban.execapp.AzkabanExecServerModule.configure(AzkabanExecServerModule.java:38)

  while locating azkaban.execapp.FlowRunnerManager

    for the 3rd parameter of azkaban.execapp.AzkabanExecutorServer.<init>(AzkabanExecutorServer.java:103)

  at azkaban.execapp.AzkabanExecServerModule.configure(AzkabanExecServerModule.java:36)

  while locating azkaban.execapp.AzkabanExecutorServer

bin/star-exec.sh 出现如下异常：

hadoop/apache-hadoop/hadoop/*

Starting AzkabanExecutorServer on port 12321

12321 ...

Error: Could not find or load main class 12321

原因是 conf/azkaban.properties 中 "executor.port=12321" 配置2遍，去掉一个即可。

log4j.properties 没有配置出现如下异常：添加log4j配置后恢复正常

Starting AzkabanExecutorServer on port 12321 ...

Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "main"