在运维工作中,要经常分析后台系统的日志,通过抓取日志中的关键字信息,对抓取结果进行统计,从而为监控结果提供基础数据.下面的shell演示了如何从大量的日志中取得想要的统计结果.其中展示了各种有趣的命令和shell的用法.具体功能就是统计出某个关键字在不同时段的出现次数.结果格式为“HH 次数” #!/bin/sh # 取得YYYYMMDD格式的日期,以确定所要抓取的日志文件范围 current_date=`date "+%Y%m%d"`; # 拼接组成需要抓取的日志文件名称 file_

Shell脚本统计文件行数 转自 http://www.jb51.net/article/61943.htm    示例:row_count.sh文件 awk '{print NR}' row_count.sh | tail -n1 awk 'END{print NR}' row_count.sh grep -n "" row_count.sh|awk -F: '{print '} | tail -n1 sed -n '$=' row_count.sh wc -l row_count.

背景:现有日志接入日志报表大盘,为了避免作业高峰期间(双十一),系统也要观测系统整体情况,因此提出了观测近五分钟,接口成功率以及耗时等工具(默认统计最近五分钟,并进行结果汇总统计) 使用说明 前提:pgm免登陆配置好,生成ssh公钥 如果配置不成功通过修改该脚本 pgm 后面加入 -A 输入密码 命令执行后,trace.log中实时看捞取数据 结果保存在 result.log中 命令后台运行 执行成功后会 提示 commplete see trace.log or result.log 默认执行

问题的提出 公司有一个用户行为分析系统,可以记录用户在使用公司产品过程中的一系列操作轨迹,便于分析产品使用情况以便优化产品 UI 界面布局.这套系统有点类似于 Google Analyse(GA),所不同的是,为了让用户把产品用起来,公司会将用户行为与优惠活动联系起来,例如购买产品后一段时间内如果使用时长达到一定标准,就能从销售那里领取小礼品,初衷是为了让用户把产品用起来.可是这个活动一经推出,我这边电话就被打爆了,因为经常有用户感觉自己在用产品了,但是销售给他反馈的时长信息却没有增长.于是实施

本节主要内容:top命令统计CPU的利用率 一,问题分析 MySQL在Linux下是多线程的,而且只能将多个线程分布到一个CPU上.因此,使用小型服务器,或者PC SERVER,多个CPU利用率并不高.基本上有1~2个在使用. 本节分享下统计CPU的利用率的方法,供大家学习参考.相关阅读:查看Linux系统资源占用(top.free.uptime)top命令显示内容的详细解释二,shell脚本实现 1.输入 top  -bn1  (b控制输出格式为文本格式,非交互格式) [mysql@jbxue

该文章转自:http://blog.csdn.net/wylfengyujiancheng/article/details/50019299 ------------------------------------------------------------------------------------ 在shell脚本执行过程中如果没有日志记录,特别是脚本比较长的情况下在执行完再定位问题很难发现问题原因,因此在脚本中增加日志显得十分重要.如何在日志中记录是哪个用户什么时间执行的哪个脚本,

比如有如下文件test.txt 1  134.102.173.43 2  134.102.173.43 3  134.102.171.42 4  134.102.170.9 要统计出现次数最多的IP可以利用以下shell脚本: cat test.txt | awk '{print $2}' | sort | uniq -c | sort -n -r | head -n 1

刚毕业那会儿有一次去台湾公司面试,我问多行代码怎么写.我从来没有想过这个问题,粗略计算,.惊叹:大概几十万行不行. 最近整理资料,看着eclipse左边全面上市,我觉得这个东西.代码共同拥有的行倒底总数?--windows下要么找工具.要么编程序.又想到linux里的命令统计非常方便,于是打算用个命令来完毕. 可分析来分析去,恐怕一行命令是搞不定的--又涉及递归查找,又涉及指定文件类型,又涉及对文件全路径进行操作.终于还是用了一段shell脚本才达到目的. #!/bin/bash declare

有一个数据文件  yue.csv  是这样的   #head yue.csv  日期,商家名称,要求在线数,当天在线数,要求在线时长,在线时长达标数,   ……"2017-12-31","唐河馆","10","3","09:00-17:00","1",……"2017-12-15","唐河馆","10","3"

rc.local的日志内容默认是/var/log/boot.log /etc/rc.d/rc.local文件的文件头是#!/bin/sh ,我们把这修改成#!/bin/sh -x,这样系统启动后就会把/etc/rc.d/rc.local里面的指令或脚本不能执行的日志写入/var/log/messages,或者/var/log/boot.log里,自己验证 下面的配置会把rc.local里要执行的sh脚本的日志内容输出到/tmp/rc.local.log里 exec 1>/tmp/rc.local

目标 实现记录SHELL执行的開始时间,结束时间.执行状态,错误信息等,以函数封装日志记录的方式,脚本调用函数 源代码 通用函数脚本program_log_new.sh function init_log() { sqlplus -S test/passw0rd@orcl <<EOF insert into program_log values($id,$day,'$1', sysdate,null,'S',null); commit exit EOF } function modify_st

为避免日志过大,需要按天分割日志,定时计划任务脚本如下: /data/shell/backup_yesterday_nginx_log.sh declare logs_path="/data/log/nginx";#declare need_delete_path=${logs_path}/$(date -d "7 days ago" "+%Y_%m_%d");#declare yestoday_log_path=${logs_path}/$(d

案例1:开发shell采集脚本 1.点击流日志每天都10T,在业务应用服务器上,需要准实时上传至数据仓库(Hadoop HDFS)上 2.一般上传文件都是在凌晨24点操作,由于很多种类的业务数据都要在晚上进行传输,为了减轻服务器的压力,避开高峰期. 如果需要伪实时的上传,则采用定时上传的方式 #!/bin/bash #set java env export JAVA_HOME=/usr/java/jdk1.7.0_45 export JRE_HOME=${JAVA_HOME}/jre expor

前情提要: 最近elasticsearch集群总出问题,之前虽然修复了,现在又出现新的问题,于是PM要求拉取elasticsearch每天建立的索引有多少,索引有多大,需要对机器进行评估 客户现场无法接触到elasticsearch集群(生产环境,客户方不许可),通过dashboard开启一个pod(资源有限,无法流畅的操作),只好另寻妖路,从dashboard操作获取索引信息,再将文件传输到本机 下面,我要开始装13了(我是菜13,狗头保命) # curl -XGET "localhostIp

1.创建一个日志清理脚本 #/bin/bash for i in `find /root/.pm2/logs -name "*.log"` do cat /dev/null > $i done 将该脚本添加至定时任务,每隔30分钟执行一次 */30 * * * * /usr/bin/sh /root/.pm2/logs/cleanlog.sh >/dev/null 2>&1 # 查看/opt目录下,所有[非当天]的日志文件及大小 find /opt -name

1. 统计的对象words.txt,每个单词占一行(从简考虑了~) zjd@ubuntu:~/test$ cat word.txt used this count mysql count this used mysql linux this redis apple android redis apple   2. 统计每个单词的频率 方法1: zjd@ubuntu:~/test$ cat word.txt |awk '{a[$0]++}END{for(i in a) print i"="

#!/bin/sh # back tomcat catalina.out cd /home/log_bak #the file DATE=`date '+%Y%m%d-%H%M'` ARCHIVE=$DATE.tar.gz file="tomcat_""$DATE.catalina.out" #开始备份之前,将备份信息头写入日记文件 echo " " >> log.txt echo " " >> log

crontab -e crontab -l service crond restart 55 7 * * * /data/app/autoprice7/resin-pro-3.1.15/log_old/http_resin_log.sh >>/data/app/autoprice7/resin-pro-3.1.15/log_old/crond.log 版本1 #!/bin/sh today=log_"$(date +%Y%m%d)" mkdir -p ./${today}

转自:https://bbs.csdn.net/topics/391943383#include <stdio.h> #include <stdlib.h> #include <string.h> #ifdef _MSC_VER #pragma warning(disable:4996) #include <windows.h> #include <io.h> #else #include <unistd.h> #include &l

mdate=`date +%R-%d-%m-%Y` LogFile=/root/HDstatusLog.log echo disk is good! $mdate >> $LogFile 输出: disk is good! :--- disk is good! :--- disk is good! :--- 注意: 1. >写入,覆盖掉原有的: >>继续添加,原来的还存在.

#! /bin/bash array=( ... ) var1= var2= ;i<=;i++)); do array[i]="$( cat /sys/bus/iio/devices/iio\:device0/in_voltage6_raw )" # echo ${array[i]} " ] then " ] then let var1=var1+ fi fi " ] then " ] then let var2=var2+ fi fi s