#!/bin/bash

#/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console >& &

#sleep

#/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv3.conf -n a1 -Dflume.root.logger=WARN,console >& &

#sleep 

#/usr/hdp/current/spark2-client/bin/spark-submit --class cold_test.realTimeEtl.application.RealtimeEtl --master yarn --deploy-mode client --queue streaming --driver-memory 4g --num-executors  --executor-memory 2g --executor-cores  --driver-java-options="-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --jars /usr/hdp/current/spark2-client/jars/ojdbc6.jar,/usr/hdp/current/spark2-client/jars/config-1.3..jar /home/a133_a_daaas005/guo_test/Cold_Test_RealTimeETLCsv1-1.0-SNAPSHOT.jar &

#/usr/hdp/current/spark2-client/bin/spark-submit --class app.Cold_test_Csv3 --master local[*] --driver-memory 8g --num-executors  --executor-memory 2g --executor-cores  --driver-java-options="-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --jars /usr/hdp/current/spark2-client/jars/ojdbc6.jar,/usr/hdp/current/spark2-client/jars/config-1.3..jar /home/a133_a_daaas005/guo_test/WORKTEST-1.0-OFFICIA.jar

#FlumeStartShell     /usr/hdp/current/flume-server

bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console >>./ColdTestFlume/run.log >& &

#SparkStreamingStartShell    /home/a133_a_daaas005/guo_test

/usr/hdp/current/spark2-client/bin/spark-submit --class cold_test.realTimeEtl.application.RealtimeEtl --master yarn --deploy-mode client --queue ETL --driver-memory 10g --num-executors  --executor-memory 2g --executor-cores  --driver-java-options="-Djava.security.auth.login.config=jaas.conf" --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=jaas.conf" --files "./jaas.conf#jaas.conf,./kafka.service.keytab#kafka.service.keytab" --jars /usr/hdp/current/spark2-client/jars/ojdbc6.jar,/usr/hdp/current/spark2-client/jars/config-1.3..jar /home/a133_a_daaas005/guo_test/Cold_Test_RealTimeETLCsv1-1.0-SNAPSHOT.jar

#MointorStartShell    source activate rmfile       /data/landing_zone/BBAC/Cold_Test/script/

java -classpath Cold_Test.MonitorFileAndPutOracle-1.0-SNAPSHOT.jar cold_test.application.MonitorFile >>monitorrun.log >& &

spark执行命令 监控执行命令的更多相关文章

  1. pv命令监控Linux命令的执行进度

    pv命令监控Linux命令的执行进度 http://www.techweb.com.cn/network/system/2015-12-14/2241124.shtml yum install -y ...

  2. 使用 pv 命令监控 linux 命令的执行进度

    如果你是一个 linux 系统管理员,那么毫无疑问你必须花费大量的工作时间在命令行上:安装和卸载软件,监视系统状态,复制.移动.删除文件,查错,等等.很多时候都是你输入一个命令,然后等待很长时间直到执 ...

  3. linux 命令后台执行

    我想把updatedb命令(用于重新建立整盘索引的命令)放在后台运行.因为我不想眼睁睁的看着机器建立索引,我还想编会儿程序呢: # updatedb & [1] 23336 注释:在所要执行的 ...

  4. 用crontab执行shell把top命令按日期追加到文件

    用crontab执行shell把top命令按日期追加到文件 详细图文解说请到本人原创百度经验http://jingyan.baidu.com/article/3052f5a1daf11197f21f8 ...

  5. 解决命令行执行shell脚本成功，但crontab执行失败

    实际生产案例 生产机房自建PPTP客户端通过拨号连接到生产机房,但是一旦客户端网络是意外断线再重新拨号 会产生IP冲突,于是写了一个脚本监控PPTP的IP是否有多个(一般冲突以后会生成2个IP) #! ...

  6. 十一、jdk命令之Jstatd命令(Java Statistics Monitoring Daemon)远程的监控工具连接到本地的JVM执行命令

    目录 一.jdk工具之jps(JVM Process Status Tools)命令使用 二.jdk命令之javah命令(C Header and Stub File Generator) 三.jdk ...

  7. 【每日一linux命令2】命令执行顺序：

    二.命令顺序:     若在 shell 内置的命令/bin 以及/usr/bin 之下都出现了命令 pwd,那当我们执行该命令时,会执行哪 一个?答案是第一优先执行 shell 内置的命令,再执行路 ...

  8. Android 命令行执行工具类

    最近在做android项目的时候,需要执行命令行命令,之前在网上找的不仅杂乱而且错误多,于是自己写了一份. 话不多说,直接上代码 import android.util.Log; import jav ...

  9. 使用命令行执行webpagetest进行测试

    背景 使用webpagetest进行性能分析,需要一个一个url的去执行,需要人为去等,比较繁琐.而api很好的解决了这个问题,可以通过命令行等执行测试,也可以写成一个常规脚本,针对每个版本的常规ur ...

随机推荐

  1. php图片处理类

    代码 Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-- ...

  2. 二进制安装mariaDB

    1.获取二进制安装包 获取二进制格式MariaDB安装包,可去官网下载. 因为是实验环境,所以选择了最新版. mariadb-10.2.12-linux-x86_64.tar.gz 2.解压 解压到 ...

  3. python3程序设计基本方法

    实例 6.升级维护 总结: 打了多年的游击战.突然经过教官的指导,觉得很受益,程序自学需要总结和交流.

  4. java基础易混点

    1.进制转换由低到高:byte<short(char)<int<long<float<double 2.java八种基本数据类型(存在栈里):  整数类型  byte,s ...

  5. BZOJ 1001 狼抓兔子 平面图的最小割

    题目链接: https://www.lydsy.com/JudgeOnline/problem.php?id=1001 题目大意: 见链接 思路: 求最小割,平面图的最小割等价于对偶图的最短路 直接建 ...

  6. Guava包学习---Lists

    Guava包是我最近项目中同事推荐使用的,是google推出的库.里面的功能非常多,包括了集合.缓存.原生类型支持.并发库.通用注解.字符串处理.IO等.我们项目中使用到了guava依赖,但是实际上只 ...

  7. collecitons.deque

    python队列,可以使用collections里面的deque,将列表当作队列使用. deque方法有: from collections import deque deque.append() d ...

  8. 【【模板】严格次小生成树[BJWC2010]】

    树上的路径怎么能没有树剖 显然,次小生成树和最小生成树只在一条边上有差距,于是我们就可以枚举这一条边,将所有边加入最小生成树,之后再来从这些并不是那么小的生成树中找到那个最小的 我们往最小生成树里加入 ...

  9. [Python 多线程] Condition (十)

    Condition常用于生产者.消费者模型,为了解决生产者消费者速度匹配问题. 构造方法Condition(lock=None),可以传入一个Lock或RLock对象,默认RLock. 方法: acq ...

  10. OKHttp3学习

    转载 Okhttp3基本使用 基本使用——OkHttp3详细使用教程 一.简介 HTTP是现代应用常用的一种交换数据和媒体的网络方式,高效地使用HTTP能让资源加载更快,节省带宽. OkHttp是一个 ...