Hadoop记录- Yarn scheduler队列采集
#!/bin/sh ip=10.116.100.11 port=8088 export HADOOP_HOME=/app/hadoop/bin rmstate1=$($HADOOP_HOME/yarn rmadmin -getServiceState rm1) rmstate2=$($HADOOP_HOME/yarn rmadmin -getServiceState rm2) if [ $rmstate1 == *active* ] then ip=10.116.100.10 fi echo $ip cd /home/yarn/queuecheck rm -f maxmemory.txt rm -f usedmemory.txt rm -f rate.txt rm -f qrate.txt curl http://$ip:$port/ws/v1/cluster/scheduler | jq . | sed 's/\"//g' > scheduler.json sed -i '1,5d' scheduler.json sed -n -e :a -e '1,33!{P;N;D;};N;ba' scheduler.json > nscheduler.json cat nscheduler.json | grep -i "queueName" | awk -F ": " '{print $2}' | awk -F "," '{print $1}' > qname.txt cat nscheduler.json | grep -i "memory" | awk -F ": " '{print $2}' | awk -F "," '{print $1}' > memory.txt line=$(cat memory.txt | wc -l) for((k=2;k<$line;k=k+6)) do sed -n "$k p" memory.txt | awk '{print $1}' >> maxmemory.txt done for((j=3;j<$line;j=j+6)) do sed -n "$j p" memory.txt | awk '{print $1}' >> usedmemory.txt done uarr=($(cat usedmemory.txt | awk '{print $1}')) marr=($(cat maxmemory.txt | awk '{print $1}')) for((m=0;m<${#uarr[@]};m++)) do for((n=0;n<${#marr[@]};n++)) do if [ $m -eq $n ] then if [[ ${uarr[$m]} == *e* ]] then u1=$(echo ${uarr[$m]} | grep -i "e+0" | awk -F "e" '{print $1}') u2=$(echo ${uarr[$m]} | grep -i "e+0" | awk -F "e" '{print $2}' | awk -F "+0" '{print $2}') if [ $u2 -eq 6 ] then u3=`echo "$u1*1000000/1024" | bc` elif [ $u2 -eq 7 ] then u3=`echo "$u1*10000000/1024" | bc` elif [ $u2 -eq 8 ] then u3=`echo "$u1*100000000/1024" | bc` fi else u3=`echo "sclae=2; ${uarr[$m]}/1024" | bc` fi if [[ ${marr[$n]} == *e* ]] then m1=$(echo ${marr[$n]} | grep -i "e+0" | awk -F "e" '{print $1}') m2=$(echo ${marr[$n]} | grep -i "e+0" | awk -F "e" '{print $2}' | awk -F "+0" '{print $2}') if [ $m2 -eq 6 ] then m3=`echo "$m1*1000000/1024" | bc` elif [ $m2 -eq 7 ] then m3=`echo "$m1*10000000/1024" | bc` elif [ $m2 -eq 8 ] then m3=`echo "$m1*100000000/1024" | bc` fi else m3=`echo "sclae=2; ${marr[$n]}/1024" | bc` fi rate=$(printf "%.2f" `echo "scale=2;$u3/$m3"|bc`) nrate=`echo "$rate*100" | bc` echo $nrate >> rate.txt fi done done qarr=($(cat qname.txt | awk '{print $1}')) rarr=($(cat rate.txt | awk '{print $1}')) for((a=0;a<${#qarr[@]};a++)) do for((b=0;b<${#rarr[@]};b++)) do if [ $a -eq $b ] then echo ${qarr[$a]}":"${rarr[$b]} >> qrate.txt fi done done url="http://xxx/monitor/report/sendReport" linenum=$(cat qrate.txt | wc -l) let linenum+=1 echo $linenum #上报数据 function postdata(){ for (( k = 1; k< $linenum ; k++ )) do key=$(echo $(sed -n "$k p" qrate.txt | awk -F ":" '{print "bdp.ops.queue_used##qname="$1"##cluster=bdp##env=prod"}') | awk '{gsub(/[[:blank:]]*/,"",$0);print $0;}' ) value=$(sed -n "$k p" qrate.txt | awk -F ":" '{print $2}') data="{\"key\":\"$key\",\"value\":\"$value\"}" echo $data cmd="curl -s -X POST -H 'Content-type':'application/json' -d '${data}' ${url}" sh -c "$cmd" done } postdata expression="x>90" time=5 count=1 alertMode="1,2,3" members="bdp-ops" call_users="bdp-ops" call_content="BDP离线集群Yarn队列使用率告警" add_url="http://xxx/monitor/rule/addReport" hnum=$(cat qrate.txt | wc -l) let hnum+=1 echo $hnum function queuealert(){ for(( n = 1;n<$hnum;n++)) do key=$(sed -n "$n p" qrate.txt | awk -F ":" '{print "bdp.ops.queue_used##qname="$1"##cluster=bdp##env=prod"}') str1=$(sed -n "$n p" qrate.txt | awk -F ":" '{print $1}') str2="的使用率大于90%,请检查Yarn UI作业运行情况" description="队列"${str1}${str2} add_data="{\"id\":\"$key\",\"expression\":\"$expression\",\"time\":$time,\"count\":$count,\"alertMode\":\"$alertMode\",\"members\":\"$members\",\"description\":\"$description\",\"call_users\":\"$call_users\",\"call_content\":\"$call_content\"}" echo $add_data add_cmd="curl -s -X POST -H 'Content-type':'application/json' -d '${add_data}' ${add_url}" sh -c "$add_cmd" done } queuealert
Hadoop记录- Yarn scheduler队列采集的更多相关文章
- Hadoop记录- Yarn Job MAX
#!/bin/sh #yarn job status:NEW.NEW_SAVING.SUBMITTED.ACCEPTED.RUNNING.FINISHED.FAILED.KILLED nnum=$(/ ...
- Hadoop记录-Yarn命令
概述 YARN命令是调用bin/yarn脚本文件,如果运行yarn脚本没有带任何参数,则会打印yarn所有命令的描述. 使用: yarn [--config confdir] COMMAND [--l ...
- Hadoop记录-yarn ResourceManager Active频繁易主问题排查(转载)
一.故障现象 两个节点的ResourceManger频繁在active和standby角色中切换.不断有active易主的告警发出 许多任务的状态没能成功更新,导致一些任务状态卡在NEW_SAVING ...
- 利用yarn多队列实现hadoop资源隔离
大数据处理离不开hadoop集群的部署和管理,对于本来硬件资源就不多的创业团队来说,做好资源的共享和隔离是很有必要的,毕竟不像BAT那么豪,那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢 ...
- hadoop记录-Hadoop参数汇总
Hadoop参数汇总 linux参数 以下参数最好优化一下: 文件描述符ulimit -n 用户最大进程 nproc (hbase需要 hbse book) 关闭swap分区 设置合理的预读取缓冲区 ...
- Hadoop记录-hadoop介绍
1.hadoop是什么? Hadoop 是Apache基金会下一个开源的大数据分布式计算平台,它以分布式文件系统HDFS和MapReduce算法为核心,为用户提供了系统底层细节透明的分布式基础架构. ...
- hadoop之yarn详解(框架进阶篇)
前面在hadoop之yarn详解(基础架构篇)这篇文章提到了yarn的重要组件有ResourceManager,NodeManager,ApplicationMaster等,以及yarn调度作业的运行 ...
- hadoop之yarn(优化篇)
最近一直在学习hadoop的一些原理和优化,然后也做了一些实践,也有没有去做实践的,反正个人观点都记录下来 一.yarn的介绍 YARN的基本结构由一个ResourceManager与多个NodeMa ...
- Fair Scheduler 队列设置经验总结
Fair Scheduler 队列设置经验总结 由于公司的hadoop集群的计算资源不是很充足,需要开启yarn资源队列的资源抢占.在使用过程中,才明白资源抢占的一些特点.在这里总结一下. 只有一个队 ...
随机推荐
- new 和 newInstance 的区别
初始化一个类,生成一个实例的时候:newInstance() 和 new 有什么区别? 用newInstance与用new是区别的,区别在于创建对象的方式不一样,前者是使用类加载机制,那么为什么会有两 ...
- requests模块
import requests url='https://www.cnblogs.com/Eva-J/p/7277026.html' get = requests.get(url) print(get ...
- 常见设计模式 (python代码实现)
1.创建型模式 单例模式 单例模式(Singleton Pattern)是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在.当你希望在整个系统中,某个类只能出现一个实例时,单例对 ...
- 网络流之P3254 圆桌问题
题目描述 假设有来自m 个不同单位的代表参加一次国际会议.每个单位的代表数分别为ri (i =1,2,……,m). 会议餐厅共有n 张餐桌,每张餐桌可容纳ci (i =1,2,……,n)个代表就餐. ...
- Linux操作系统上要慎用的6个命令及防范方法
Linux操作系统上要慎用的6个命令及防范方法 基于Linux平台工作的童鞋都知道Linux命令行使用起来非常高效和快捷,但有时候也很危险,尤其是在你不确定你自己在正在做什么时候(别笑,别以为自己真的 ...
- realm swift调研--草稿
realm swift调研: After you have added the object to the Realm you can continue using it, and all chang ...
- C# 使用DES对字符串进行加密
1.DES加密是属于对称加密,加密和解密使用的密钥必须要保持一致,且必须为8位,使用前首先添加引用: 2.逻辑实现代码如下:
- open-falcon自定义push数据无法在grafana显示
使用open-falcon自定义push数据,在open-falcon中数据能正常显示,而在grafana中添加监控项时却无法显示. 由上述现象可判断可能是由于open-falcon的api组件有问题 ...
- CF908G New Year and Original Order 数位DP
传送门 看到数据范围到\(10^{700}\)毫无疑问数位DP.那么我们最重要的问题是如何有效地维护所有数位排序之后的数的值. 对于某一个数\(x\),设\(f_{x,i} (i \in [1,9]) ...
- rocketmq 4.4部署安装
官网下载:rocketmq-all-4.4.0-bin-release.zip 准备环境:centos7.6 Maven Java8+ 操作: 在工作目录中进行如下操作: /home/software ...