oozie 编译与安装
oozie:4.3.1 hadoop 2.7.6
hive编译使用2.0.0参与编译不通过,但是可以指定为1.2.0,编译可以通过,后期不使用hive的action即可(也可以使用,但是可能会出现异常情况,大部分还是可以执行正常)
0、安装maven是前提(ps:这个简单,下载,解压,配置环境变量,就可以)
1、下载
https://mirrors.tuna.tsinghua.edu.cn/apache/oozie/4.3.1/oozie-4.3.1.tar.gz
2、编译
cd oozie-4.3.1 修改pom.xml中对应的hadoop版本号为2.7.6 及其修改hive的版本号为1.2.0
编译
bin/mkdistro.sh -DskipTests -Puber -Phadoop-2 -Dhadoop.version=2.7.6 -Dhadoop.auth.version=2.7.6 -Ddistcp.version=2.7.6 -Dhive.version=1.2.0
编译过程可能出现失败如下:
2.1.Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde in Central
下载不了该jar包 我就手工下载,先找到下载地址,就会发现该jar包来源根本不是maven的central仓库,而是spring
http://repo.spring.io/plugins-release/org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde/pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
手动下载这个包放到对应的mave指定的jar目录下即可
2.2.could not be resolved: org.apache.maven.doxia:doxia-module-twiki:jar:1.0-alpha-9.2y, org.apache.maven.doxia:doxia-core:jar:1.0-alpha-9.2y
下载不了该jar包 我就手工下载,先找到下载地址,就会发现该jar包来源根本不是maven的central仓库,而是cloudera
doxia-module-twiki-1.0-alpha-9.2y.jar:
https://repository.cloudera.com/content/repositories/releases/org/apache/maven/doxia/doxia-module-twiki/1.0-alpha-9.2y/doxia-module-twiki-1.0-alpha-9.2y.jar
以上可能出现下载不了这两个jar包,只需要手动下载,然后清理掉原来maven下的,重新copy这两个jar到对应的maven目录即可
3.安装
3.1 编译成功会有oozie-4.3.1-distro.tar.gz 解压缩包oozie-4.3.1-distro.tar.gz到/usr/local/目录下,然后进入目录oozie-4.3.1,分别解压缩里面的三个压缩包oozie-client-4.3.1.tar.gz、oozie-examples.tar.gz、oozie-sharelib-4.3.1.tar.gz
3.2 在hdfs上创建/user/root/oozie目录,然后将share目录上传到hdfs中的/user/root/oozie目录
3.3 将mysql驱动和oracle驱动放到share/lib目录下, 如果后面使用sqoop的时候,会使用hdfs的/user/root/oozie/share/lib/sqoop/目录下的jar包(这两个个驱动包得自己下载)
hdfs dfs -copyFromLocal ojdbc*.jar /user/root/oozie hdfs dfs -copyFromLocal mysql-connector-java-5.1.35-bin.jar /user/root/oozie
3.4 在当前oozie-4.3.1目录下创建libext文件夹,然后复制hadoop的lib目录下的文件到./oozie/libext下
mkdir libext
cp ${HADOOP_HOME}/share/hadoop/*/*.jar libext/
cp ${HADOOP_HOME}/share/hadoop/*/lib/*.jar libext/
3.5 添加ext-2.2.zip和mysql驱动包、oracle驱动包到libext(ps:ext-2.2.zip这个包不好找,看这个链接https://www.cnblogs.com/xjh713/p/9375070.html)
cp ext-2.2.zip ./oozie-4.3.1/libext/
cp mysql-connector-java-5.1.35-bin.jar ./oozie-4.3.1/libext/
3.6 修改oozie-4.3.1/oozie-server/conf/server.xml文件,注释掉下面的记录
<!--<Listener className="org.apache.catalina.mbeans.ServerLifecycleListener" />-->
3.7 打oozie-server的war包
./oozie-4.3.1/bin/oozie-setup.sh prepare-war
war文件最终保存在./oozie-4.3.1/oozie-server/webapps目录下
4、配置
4.1 配置oozie相关home
export OOZIE_HOME=/usr/local/oozie-4.3.1
export PATH=$OOZIE_HOME/bin:$PATH
export OOZIE_CONFIG=/usr/local/oozie-4.3.1/conf
export OOZIE_URL=http://192.168.1.13:11000/oozie
4.2 修改oozie-site.xml 配置
<configuration>
<property>
<name>oozie.service.ProxyUserService.proxyuser.hadoop.hosts</name>
<value>*</value>
</property> <property>
<name>oozie.service.ProxyUserService.proxyuser.hadoop.groups</name>
<value>*</value>
</property> <property>
<name>oozie.service.JPAService.create.db.schema</name>
<value>false</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.url</name>
<value>jdbc:mysql://192.168.1.15:3306/oozie?createDatabaseIfNotExist=true</value>
</property> <property>
<name>oozie.service.JPAService.jdbc.username</name>
<value>root</value>
</property> <property>
<name>oozie.service.JPAService.jdbc.password</name>
<value>root</value>
</property> <property>
<name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
<value>*=/usr/bigdata/hadoop/etc/hadoop</value>
</property> <property>
<name>oozie.service.HadoopAccessorService.action.configurations</name>
<value>*=/usr/bigdata/hadoop/etc/hadoop</value>
</property> <!-- 这里是保存在hdfs上的路径 -->
<property>
<name>oozie.service.WorkflowAppService.system.libpath</name>
<value>/user/root/oozie/share/lib</value>
</property> <property>
<name>oozie.use.system.libpath</name>
<value>true</value>
</property> <property>
<name>oozie.subworkflow.classpath.inheritance</name>
<value>true</value>
</property>
<!--timezone setting-->
<property>
<name>oozie.processing.timezone</name>
<value>GMT+0800</value>
</property>
<property>
<name>oozie.service.coord.check.maximum.frequency</name>
<value>false</value>
</property>
</configuration>
4.3 创建元数据表
./oozie-4.3.1/bin/ooziedb.sh create -sqlfile oozie.sql -run
5. 启动测试
5.1 启停
./oozie-4.3.1/bin/oozie-start.sh
./oozie-4.3.1/bin/oozie-stop.sh
5.2 浏览器中登录查看
http://192.168.1.13:11000/oozie/
5.3 常用命令
oozie job -config job.properties -run #提交立即执行设置好的workflow oozie job -config -submit #提交一个job oozie job -kill jobid #kill掉对应的job oozie job suspend jobid #挂起对应的job oozie job resume jobid #恢复挂起的job oozie job help #可以查看所有的操作job的相关命令参数
ps:配置过程会遇到问题,就Google吧,到stackoverflow上更好,还可以爬爬github
oozie 编译与安装的更多相关文章
- linux下包不重新编译php安装openssl 扩展
今天在刚装好的centos上安装composer,老是报错,提示不安全的,后来发现是由于https的缘故,需要openssl,可能是开始装php的时候没有安装此扩展,网上有好多方案,一开始我认为只有重 ...
- 在Linux CentOS上编译并安装Clang 3.5.0
编译CoreCLR需要Clang 3.5,而CentOS上安装的是Clang 3.4.2(yum repos中最新版也是这个),只能自己手工编译LLVM的源代码进行安装. (注:CentOS的版本是6 ...
- Linux中编译、安装nginx
Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP 代理服务器. Nginx 是由Igor Sysoev为俄罗斯访问 ...
- Mysql的cmake编译与安装
Mysql的cmake编译与安装 实验准备环境: 我的操作系统是centos6.6 编译安装MariaDB之前,我们需要准备一些需要的环境 1.开发包组套件 [root@node19 ~]# yum ...
- Apache编译与安装 RedHat enterprises 6.2
引自:http://blog.chinaunix.net/uid-26881541-id-3336614.html http://apr.apache.org/download.cgi 命令: yum ...
- qwt6在Windows下Qt5的编译,安装,初步使用
今晚把qwt的编译,安装,初级使用放上来,以便需要的人,能更快部署好编程环境,不至于每次都像我这样花很多时间. 注意:Qtcreater使用的是什么编译器编译出来的,就要用那个编译器来编译qwt. 我 ...
- Linux 下编译、安装、配置 QT
转自Linux 下编译.安装.配置 QT 注意:编译安装耗时费力,且很容易出错,要不断调整编译参数,不推荐使用,否则这将会是一个纠结痛苦的过程. 打算做嵌入式图像处理,计划方案嵌入式Linux+Ope ...
- 【转】在Ubuntu上下载、编译和安装Android最新源代码
原文网址:http://blog.csdn.net/luoshengyang/article/details/6559955 看完了前面说的几本书之后,对Linux Kernel和Android有一定 ...
- GCC的编译和安装 很好的资料
http://blog.csdn.net/yrj/article/details/492404 1.GCC的编译和安装2.预处理 #define 可以支持不定数量的参数. 例子如下: ...
随机推荐
- def chi(*food,**kw):
def chi(*food,**kw): print(food,kw)chi("cong","蒜",'姜','可乐',"J=Juice",a ...
- windows下的MySql实现读写分离
MySql读写分离 1.删除系统服务 sc delete 服务名 2.复制安装好的3380文件夹到3381 3.进入3381\logs目录下将所有文件删除 4.进入3381\data目录,将所有的lo ...
- linux 的常用命令---------第三阶段
用户管理 为什么需要用户? 答:linux是一个多用户系统 权限管理(使之权限最小化) 用户:它是对系统中的资源做归属的 : 用户组:在用户组中包含一个或者多个用户,每个用户都同时拥有用户组的权限. ...
- 利用Python爬取豆瓣电影
目标:使用Python爬取豆瓣电影并保存MongoDB数据库中 我们先来看一下通过浏览器的方式来筛选某些特定的电影: 我们把URL来复制出来分析分析: https://movie.douban.com ...
- OpenCV——基本图形绘制(椭圆、圆、多边形、直线、矩形)
//绘制椭圆 void DrawEllipse(Mat img, double angle) { ; ; ellipse(img, Point(WINDOW_WIDTH / , WINDOW_WIDT ...
- Javascript 及 CSS3 实现进度条效果
Javascript 及 CSS3 实现进度条效果 一:css2 属性clip实现网页进度条: 在实现之前,我们先来介绍一下clip属性,因为这个属性在css2.1中很少使用到,所以我们有必要来了解 ...
- Python2.7-time
time模块,与datetime模块功能有所重合,time较为简单明了,若只需要当前时间或日期或是sleep,直接用time模块,需要更复杂的时间间隔等情况用datetime模块更好 1.获得time ...
- Jquery基础知识点梳理
1.第一个jq程序 a.jq对象和dom对象的方法不能混用 b.dom对象转换成jq对象$(dom),jq对象转换成dom对象jq[0],转换之后方法就可以使用了 2.jq选择器 基本选择器 $('b ...
- HDU 3342 Legal or Not(有向图判环 拓扑排序)
Legal or Not Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Tota ...
- 编译最新的SQLite 3.8.4.3为一个DLL
SQLite是一个小型数据库.特别适合于client应用程序使用,它的众多优点就不多说了.有兴趣的去搜索. 话说使用吧. 我们要使用.就须要调用它.如今一步一步来. 第一步:上SQLite官网http ...