Flink整合oozie shell Action 提交任务带kerberos认证

【Flink整合oozie shell Action 提交任务带kerberos认证】的更多相关文章

Flink整合oozie shell Action 提交任务带kerberos认证

最近这段时间一直在忙新集群迁移,上了最新的cdh6.3.0 于是Flink 提交遇到了许多的问题还好有cloudera License 有了原厂的帮助和社区的伙伴,问题解决起来快了不少,手动滑稽集群具体情况是,cdh6.3.0+Flink1.8.1,整个数据平台全部组件都上了kerberos和ldap因为要过认证,所以任务提交方法我们选择统一oozie提交任务并且因为kerberos认证,还需要Flink perjob 需要单独的keytab,才能细腻度的控制权限,因为我们现在部门之间计算…

oozie调用java实例------shell action

Oozie提供了一个方便的方式来运行任何命令.这可能是Unix命令,Perl或Python脚本,甚至java程序都可以通过Unix shell调用.shell命令运行在任意的Hadoop集群节点上,并且运行在结点上的命令必须保证可在本地可用. 本地提交: 格式:java -cp 全类名(包名.类名) -jar jar包名字实例如下: java -cp test1.OzzieTest1 -jar test.jar 运行结果: shell action 语法: <workflo…

[源码解析]Oozie来龙去脉之提交任务

[源码解析]Oozie来龙去脉之提交任务 0x00 摘要 Oozie是由Cloudera公司贡献给Apache的基于工作流引擎的开源框架,是Hadoop平台的开源的工作流调度引擎,用来管理Hadoop作业.本文是系列的第一篇,介绍Oozie的任务提交阶段. 0x01 问题我们从需求逆推实现,即考虑如果我们从无到有实现工作流引擎,我们需要实现哪些部分?从而我们可以提出一系列问题从而去Oozie中探寻. 作为工作流引擎需要实现哪些部分?大致想了想,觉得需要有: 任务提交任务持久化任务委托给某一…

【原创】大叔经验分享（6）Oozie如何查看提交到Yarn上的任务日志

通过oozie job id可以查看流程详细信息,命令如下: oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息如下: Job ID : 0012077-180830142722522-oozie-hado-W --------------------------------------------------------------------------------------------------------------…

Oozie-自定义实现WorkFlow中shell action

拷贝默认的shell目录来进行修改 $ cp -r ./examples/apps/shell/ my-apps/ 定义job.properties nameNode=hdfs://bigdata-00:8020 jobTracker=bigdata-00:8032 queueName=default examplesRoot=user/wulei/my-apps/shell #定义workflow.xml路劲 oozie.wf.application.path=${nameNode}/${ex…

1.17 shell action

一.shell action 1. ##job.properties nameNode=hdfs://hadoop-senior.ibeifeng.com:8020 jobTracker=hadoop-senior.ibeifeng.com:8032 queueName=default oozieAppsRoot=user/root/oozie-apps oozieDataRoot=user/root/oozie/datas oozie.wf.application.path=${nameNod…