Azkaban2官方配置文档
最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~
介绍
Azkaban2新功能:
1、Web UI
2、简单工作流上传
3、更容易设置job的依赖关系
4、调度工作流
5、权限设置
6、Kill和restart工作流
7、模块化和插件化
8、日志和设计工作流和job
搭建
Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件组装。在Azkaban2中有两个server和一个数据库需要搭建:
l MySQL
l Azkaban Web Server - 是一个和web接口一样的充当控制器功能的Jetty Server
l Azkaban Executor Server - 用于提交工作流
下载
需要从Azkaban下载3个包: web server, executor server 和MySQL启动脚本。
下载地址:
https://github.com/azkaban/azkaban2/wiki/Download-Packages
搭建数据库
现在,Azkaban只能用MySQL进行数据存储。
l 下载azkaban-sql-script tar包。
l 运行包中的mysql脚本来创建数据库表。
获取JDBC驱动jar包
下载地址:http://www.mysql.com/downloads/connector/j/
搭建Web Server
下载并安装
1、下载azkaban-web-server tar包。将其解压到你安装azkaban web的目录下。
2、Copy jdbc驱动jar包到./extlib目录下。Azkaban将会自动检查和加载这 个目录下的外部引入jar包。
在 conf 目录下,会有以下几个文件:
文件 |
描述 |
azkaban.properties |
用于Azkanba运行时的属性配置 |
global.properties |
全局静态属性,作为共享属性共享给每一个工作流程和job |
azkaban-users.xml |
用于添加用户和角色权限的属性文件。如果XmlUserManager没有启动,则这个文件将不会被使用 |
搭建SSL
Azkaban使用SSL socket连接器。可以根据以下链接提供的方法创建:
http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
一旦一个keystore文件被创建,Azkaban必须要给出它的位置和密码,包括azkaban.properties中下面的内容页应该被重写:
jetty.keystor-keystore jetty.password=password jetty.keypassword=password jetty.truststore=keystore jetty.trustpassword=password |
搭建UserManager
Azkaban使用UserManager提供验证和用户角色的设置。默认情况下,Azkaban使用XmlUserManager获取username/passwords和从azkaban-users.xml中得到的角色设置,azkaban-users.xml可以再azkaban.properties文件中查看到:
l user.manager.class=azkaban.user.XmlUserManager
l User.manager.xml.file=conf/azkaban-users.xml
接下来是一个azkaban-users.xml文件的例子:
<azkaban-users> |
也可以利用其他实现权限验证和设置的方法通过实现azkaban.user.UserManager接口并改变user.manager.class属性来重写UserManager。
搭建数据库
为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties 文件中的一下属性:
database.type=mysql |
配置主机和端口号
配置azkaban.properties中的属性:
executor.port=12321 executor.host=<url> |
搭建Web Client
Azkaban作为一个Jetty Server搭建。你可以执行Azkaban将会使用的端口 号和连接的数量。
颜色主题和名称可以定制的安装,特别是在区别多版本的Azkaban上非常有用。
安装可视化插件
之前的Azkaban版本包含HDFS浏览。在新版本的Azkaban中,它可以作为一个插件进行配置。
为了安装可视化插件,需要下载并文件解压到./plugin/viewer目录下。
运行Web Server
Bin目录下应该包含azkaban-web-start.sh文件。用这个文件来启动Azkaban Web Server。使用azkaban-web-shutdown.sh关闭azkaban。
-------------------------------------------------------------------------------------------------------
Azkaban Web Server设置
一般属性
Property |
Description |
Default |
azkaban.name |
将会在Azkaban UI中展示出来的azkaban的名字 |
Local |
azkaban.label |
一个描述Azkaban实例的标签 |
My Local Azkaban |
azkaban.color |
设置Azkaban UI颜色的一个十六进制的值 |
#FF3601 (red) |
web.resource.dir |
设置UI的css和javascript文件存放的路径 |
src/web |
default.timezone |
默认的时区 |
America/Los_Angeles |
user.manager.class |
用户管理用户权限的 user manager。默认是XmlUserManager |
azkaban.user.XmlUserManager |
mail.sender |
邮件发送的地址 |
|
mail.host |
邮件server主机地址 |
|
mail.user |
邮件server用户名 |
|
mail.password |
邮件server密码 |
|
azkaban.should.proxy |
被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除 |
false |
proxy.keytab.location |
被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除 |
|
proxy.user |
代理用户 |
|
viewer.plugin.dir |
可视化插件被安装到的目录 |
plugins/viewer |
Jetty 属性
Property |
Description |
Default |
jetty.maxThreads |
最大请求线程数 |
|
jetty.ssl.port |
Ssl端口号 |
|
jetty.keystore |
The keystore file |
keystore |
jetty.password |
Jetty password |
password |
jetty.keypassword |
The keypassword |
password |
jetty.truststore |
The trust store |
keystore |
jetty.trustpassword |
The trust password |
password |
Mysql连接属性
Property |
Description |
Default |
database.type |
数据库类型,现在只支持mysql |
mysql |
mysql.port |
Mysql数据库的端口号 |
|
mysql.host |
Mysql数据库的主机地址 |
localhost |
mysql.database |
Mysql数据库名称 |
azkaban2 |
mysql.user |
mysql user |
azkaban |
mysql.password |
mysql password |
password |
mysql.numconnections |
Azkaban webclient可以开放给数据库的连接数量 |
Execurot Sercer属性
Properties |
Description |
Default |
executor.port |
azkaban executor server端口号 |
|
executor.host |
azkaban executor server主机地址 |
localhost |
设置Executor Server
下载和安装
1、下载azkaban-executor-server tar包。将其解压到azkaban executor的安装目录下。
2、Copy jdbc驱动jar包到./extlib目录下。
File |
Description |
azkaban.properties |
Azkaban运行时属性 |
global.properties |
全局静态属性,作为共享属性共享给每一个工作流程和job |
搭建数据库
为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties 文件中的一下属性:
database.type=mysql |
配置主机和端口号
配置azkaban.properties中的属性:
executor.maxThreads=50 executor.port=12321 |
-----------------------------------------------------------------------------
转载请注明出处:http://blog.csdn.net/gloria__zhang/article/details/12402051
Azkaban2官方配置文档的更多相关文章
- Java日志框架-Logback手册中文版以及官方配置文档教程
Logback手册中文版:(链接: https://pan.baidu.com/s/1bpMyasR 密码: 6u5c),虽然版本有点旧,但是大体意思差不多,先用中文版了解个大概,然后一切最新的配置以 ...
- elk 概念整理 集群状态 - yellow - 面试的问题 -- 官方配置文档 水平扩容以及数据保障
1. primary shard -- raid0 2.replicas shard -- raid1 3.index -- 图书馆的借书指引 4.MySQL vs elasticsearch # ...
- Nginx官方配置文档收集
官方入口: https://www.nginx.com/resources/wiki/start/#pre-canned-configurations http://nginx.org/en/docs ...
- haproxy官方配置文档地址
http://cbonte.github.io/haproxy-dconv/1.6/configuration.html#4-option%20http-keep-alive
- Hibernate配置文档详解
Hibernate配置文档有框架总部署文档hibernate.cfg.xml 和映射类的配置文档 ***.hbm.xml hibernate.cfg.xml(文件位置直接放在src源文件夹即可) (在 ...
- Git教程(2)官方命令文档及常用命令表
http://www.cnblogs.com/angeldevil/archive/2013/11/26/3238470.html 1,官方命令文档 http://www.git-scm.com/do ...
- Python学习 :常用模块(四)----- 配置文档
常用模块(四) 八.configparser 模块 官方介绍:A configuration file consists of sections, lead by a "[section]& ...
- nginx 安全配置文档
1.配置文档中有多处明确写出了nginx的配置文件路径,该路径是测试环境中的路径,线上系统的nginx配置文件与文档中所写的路径可能不一样,在进行相关配置时,应以线上配置文件的实际路径为准. 线上系统 ...
- tomcat 安全配置文档
1.配置文档中使用$CATALINA_HOME变量声明为tomcat的安装目录并明确写出了tomcat的配置文件路径,此路径为测试环境的路径,线上系统对应配置文件的路径可能不一样,在进行相关配置时,应 ...
随机推荐
- java开发规范总结_命名规范
规范需要平时编码过程中注意,是一个慢慢养成的好习惯 1.文件 1.属性文件后缀为properties,并且符合java中i18n的规范: 2.对于各产品模块自己的配置文件必须放置在自己模块的con ...
- 在Mac OS上搭建本地服务器
我们在做网络编程的时候一般是需要有网络环境的,这样可以边写边测试达到很高的效率.但有些时候我们由于很多原因我们的电脑无法连接到网络,这时就会感觉很不自在,所以今天在这里教大家怎么用自己电脑作服务器. ...
- JavaScript学习笔记--ES6学习(五) 数值的扩展
ES6 对于数值类型 (Number) 进行了一下扩展: 1.对于二进制和八进制提供了新的写法 ES6对于二进制和八进制的数值提供了新的写法,分别用0b (或者0B) 和0o (或者0o) 表示.例如 ...
- VisualStudio2015内置LocalDB
简直坑爹,我将之前的VS2013的工程迁移到新电脑的VS2015,然后用的本地数据库居然连接报错了,然后我试连了一下本地数据库, 就是Tools-->Connect to Databases-- ...
- ubuntu 解压,压缩
.rar解压:rar x FileName.rar压缩:rar a FileName.rar DirName
- 【JQuery学习历程】2.JQuery选择器
基本选择器 选择器 描述 返回 示例 #id 根据给定的id匹配元素 单个元素 $("#myId") .class 根据给定的class类匹配元素 集合元素 $(".my ...
- Centos6.2_(64位)服务器环境配置:源码编译Nginx
目标软件都指定安装目录:/apps.由于Nginx可以使用正则表达式来匹配访问路径, 要正常使用此功能就保证安装有Pcre库,如果你已经接着上一篇操作过来,就可以不用考虑这一点,因为此库已经在安装列表 ...
- php之图片处理类缩略图加水印
用到两个image系统函数 imagecopymerge — 拷贝并合并图像的一部分 imagecopyresampled — 重采样拷贝部分图像并调整大小 /* 如何知道图片的大小和类型 无法确认调 ...
- WCF返回JSON的详细配置
开发环境:VS2008,c# 1.新建个WCF服务网站 文件-新建-网站-WCF服务 2,运行一下,提示配置WEB.CONFIG,点击确认. 3,打开web.config增加如下节点: <ser ...
- IOS设计模式之三:MVC模式
IOS设计模式之三:MVC模式 模型-视图-控制器 这个模式其实应该叫做MCV,用控制器把model与view隔开才对,也就是model与view互相不知道对方的存在,没有任何瓜葛,他们就像一个团 ...