在运维工作中,要经常分析后台系统的日志,通过抓取日志中的关键字信息,对抓取结果进行统计,从而为监控结果提供基础数据.下面的shell演示了如何从大量的日志中取得想要的统计结果.其中展示了各种有趣的命令和shell的用法.具体功能就是统计出某个关键字在不同时段的出现次数.结果格式为“HH 次数” #!/bin/sh # 取得YYYYMMDD格式的日期,以确定所要抓取的日志文件范围 current_date=`date "+%Y%m%d"`; # 拼接组成需要抓取的日志文件名称 file_

shell 统计当前目录下文件个数,使用管道组合命令: ls -1 | wc -l 解释: ls -1 表示一行一个列出文件名. wc -l 表示打印统计的行数. 两个命令通过管道连在一起表示打印列出的文件名的总行数. 参考链接:Counting Files in the Current Directory

#nginx日志统计独立ip的个数: awk '{print $1}' /path-to-log-dir/access.log | sort | uniq | wc -l #查询访问最多的前10个ip #查看某段时间的 grep "2012:0[3-6]" nginx.log | Active Internet connections (w/o servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp TI

cat  XXX.log|grep ''|grep '条件'| wc -l   单个条件统计 cat  XXX.log|grep ''|grep '条件1'|grep '条件2'|grep '条件3'| wc -l 如果需要统计多个条件

(对一列数字求和) 在日常工作当中需要对文本过滤出来的数字进行求和运算,例如想统计一个MySQL分区表现在有多大 # ls -lsh AdPlateform#P#p*.ibd  |grep G 2.6G -rw-rw---- 1 mysql mysql 2.6G Mar  4 01:05 AdPlateform#P#p20200304.ibd 2.9G -rw-rw---- 1 mysql mysql 2.9G Mar  5 01:12 AdPlateform#P#p20200305.ibd #

#!/bin/bash  SUM=0 OVERALL=0 for DIR in `find /proc/ -maxdepth 1 -type d -regex "^/proc/[0-9]+"` do     PID=`echo $DIR | cut -d / -f 3`     PROGNAME=`ps -p $PID -o comm --no-headers`     for SWAP in `grep Swap $DIR/smaps 2>/dev/null | awk '{ 

1.日志文件列表 比如:/data1/logs/2019/08/15/ 10.1.1.1.log.gz 10.1.1.2.log.gz 2.统计日志中的某关键字shell脚本 zcat *.gz|grep 关键字 |grep -oP "deviceid=[^=]+"|uniq|sort -u > /tmp/20190815.log date 格式化出年月等信息,拼接成路径 wc -l /tmp/20190815.log , 获取到行数 php /xxxxx/sendmail.ph

linux shell 基础 使用日志与心得 1.#!/bin/bash 第一行就出现#!/bin/bash是指此脚本使用/bin/bash来解释执行.其中,#!是一个特殊的表示符,其后,跟着解释此脚本的shell路径.bash只是shell的一种,还有很多其它shell,如:sh,csh,ksh,tcsh,...详细介绍:http://blog.sina.com.cn/s/blog_6336857901019zyz.html 2.export PATHPATH=/bin:/sbin:/usr/

用户需要登录统计信息,当分析用户行为,使用shell通常可以很容易地取出了大量的数据.删除,然后放入excel统计. 例如:统计日志含有loadCustomProcess这个地址的訪问,按訪问耗时排序: grep "loadCustomProcess" /home/workflow/socket.txt | awk -F " " '{print $11}'|awk -F ":" '{print $2}'|sort -nr  查询出现"I

今天,要统计一个系统的每个ip访问次数,于是我找到该系统访问日志,并写脚本实现.   访问日志情况: [root@qular ~]# cd /usr/local/nginx/logs/ [root@qunlar logs]# head access.log  59.151.44.186 - - [15/Dec/2014:20:19:11 +0800] "POST http://ebws.travelsky.com/etcwip/services/CWIPService HTTP/1.0"

1.NGINX启动脚本 #!/bin/bash # chkconfig: 235 32 62 # description: nginx [ -f /etc/init.d/functions ] && . /etc/init.d/functions pidfile=/application/nginx/logs/nginx.pid start(){ if [ -f $pidfile ];then echo "Nginx is Running" else /applicat

摘自:<Linux shell 脚本攻略>

Linux Shell脚本攻略 读书笔记 这是一本小书,总共253页,但内容却很丰富,书中的示例小巧而实用,对我这样总是在shell门前徘徊的人来说真是如获至宝:最有价值的当属文本处理,对这块我单独整理出来一篇blog,详见<Linux Shell文本处理工具集锦>下面是文本处理之外的简单介绍,如果你觉得自己的shell需要充充电,强烈建议读读这本<linux Shell脚本攻略>. 嗨,Echo一下 从 echo开始:带引号的 echo和不带引号的 echo区别:使用带引号时,b

老李分享:<Linux Shell脚本攻略> 要点(七)   1.显示给定文件夹下的文件的磁盘适用情况 [root@localhost program_test]# du -a -h ./320K    ./output.tar96K     ./reslt_yang.txt4.0K    ./curr_dir.md54.0K    ./sed_data.txt 2.总计磁盘大小使用统计 -c [root@localhost program_test]# du -h -c ./48K    

前面的话 学习linux 的同人,都知道linux shell文本处理能力非常强大.有一组强大的文本处理工具:grep,sed,awk . 其中grep 经常用作查找匹配文本.sed用作文本编辑替换.awk也是最强大的,经常用作报表生成! 它的处理效率非常高,一个几百M文件 ,也能在秒秒钟完成!查阅资料,你会发现它不光可以命令行快速处理文本.它还可以编写awk文件,使用自己专用的语法函数,实现非常强大的功能,它有自己 一套编程语法. 呵呵,说到这里,估计有人开始犯嘀咕了啦,“不就是做做筛选,统计

[时间:2018-07] [状态:Open] [关键词:linux, wc, split, 通配符,转义符,linux命令] 0 引言 整理这篇文章的目的不是为了什么学习,仅仅是为了强化下记忆,以便下次可以直接使用不用重新搜索一次了. 本文将主要整理linux shell下的命令,如果你不是在*nix系统下使用,建议无视本文. 后面内容主要包含三部分:wc.split以及shell中的特殊字符. 1 wc字符计数工具 wc命令可输出给定文件或文件列表的行数.字节数.字符数.词数以及最大行宽度(

1.查看进程的环境变量 普通:$cat /proc/1642/environ  换行:$cat /proc/1642/environ | tr '\0' '\n' tr的命令格式是tr SET1 SET2,凡是在SET1中的字符,都会被替换为SET2中相应位置上的字符. 2.SHELL脚本赋值与等于判断 赋值:$var=value 相等:$var  = value 在赋值时不要留有空格. 3.从进程名字得知进程ID $ pgrep my_proc  4.当前环境变量 $PATH 记住必须是大写

本书主要讲解一些linux shell命令的用法,讲解一些shell的奇技淫巧. 第一章 小试牛刀 主要介绍一些基本shell指令 终端打印:echo.printf 别名:alias 终端处理工具:tput,stty 日期:date 第二章 命令之乐 介绍一些基本命令 读取.显示.拼接文件:cat 录制回放会话:script,scriptreplay 文件查找:find 提供管道参数:xargs 转换:tr 排序.唯一:sort.uniq 临时文件:mktemp 分割文件和数据:split,cs

<Linux Shell编程与编辑器使用详解> 基本信息 作者: 刘丽霞 杨宇 出版社:电子工业出版社 ISBN:9787121207174 上架时间:2013-7-22 出版日期:2013 年7月 开本:16开 页码:424 版次:1-1 所属分类:计算机 > 操作系统 > Linux 计算机 > 软件与程序设计 > 综合 > 高级程序语言设计 更多关于 >>><Linux Shell编程与编辑器使用详解> 内容简介 计算机书籍 &

转载自http://www.cnblogs.com/stephen-liu74/ 一.    特殊文件: /dev/null和/dev/tty Linux系统提供了两个对Shell编程非常有用的特殊文件,/dev/null和/dev/tty.其中/dev/null将会丢掉所有写入它的数据,换句换说,当程序将数据写入到此文件时,会认为它已经成功完成写入数据的操作,但实际上什么事都没有做.如果你需要的是命令的退出状态,而非它的输出,此功能会非常有用,见如下Shell代码:    /> vi test

Linux Shell脚本攻略笔记[速查] 资源 shell script run shell script echo printf 环境变量和变量 pgrep shell数学运算 命令状态 文件描述符和重定向 cat 数组和关联数组 alias date 调试脚本 函数和参数 管道 读取命令输出 read 字段分隔符和迭代器 循环 比较和测试 find xargs tr md5sum sha1sum 对目录进行校验 sort uniq tempfile split bash变量匹配切分 exp