[root@Cobbler logs]# awk 'BEGIN{print "IP地址","访问流量","访问次数"}{a[$1]++;b[$1]+=$10}END{for (i in a) print i,a[i],b[i]|"sort -rnk3"}' access_log IP地址 访问流量 访问次数172.16.1.101 982 844856636172.16.1.62 976 476278648172.16.1.2…

问题:发现线上到货单的数量,小于实际到货的数量. 怀疑一些隐藏的条件,将部分唯一码进行了过滤,导致数量变少. 开展了如下的跟踪流程: 1.找到其中一个明细的唯一码 grep 6180e-4b09f pms.log>> tmp1 2.查找出问题的方法所输出的日志 grep purchaseConfirm tmp1 >> tmp2 内容如下: 2017-02-28 16:14:25.040 [DubboServerHandler-10.26.235.193:20885-thread-1…

grep的-A-B-选项详解grep能找出带有关键字的行,但是工作中有时需要找出该行前后的行,下面是解释1. grep -A1 keyword filename找出filename中带有keyword的行,输出中除显示该行外,还显示之后的一行(After 1)2. grep -B1 keyword filename找出filename中带有keyword的行,输出中除显示该行外,还显示之前的一行(Before 1)3. grep -1 keyword filename找出filename中带有k…

2018-05-31 15:56:38|25961|Cmd_Hero_GetFreeHeros_CS|2|481|0|14|222018-05-31 15:56:38|25961|Cmd_Role_GetNotice_CS|2|41|0|15|22018-05-31 15:56:38|25961|Cmd_IAP_GetList_CS|2|175|0|16|8072018-05-31 15:56:38|25961|Cmd_Ping_GetAllServerIp_CS|2|70|0|17|15920…

管道符 | 前面的输出作为后面的输入 grep 可以理解为正则表达式 grep [参数] 文件名 -c 打印符合要求的行数 -v 打印不符合要求的行 -n 在输出符合要求的行的同时连同行号一起输出 -i 忽略大小写 [0-9] ^ grep -c 'root' /etc/passwd grep -nv 'root' /etc/passwd grep '[0-9]' 文件名 grep '^#' -v test.py yhq@yhq-virtual-machine:~$ grep 'r..o' /e…

1.awk awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 $ 表示当前行 $ 表示第一列 NF 表示一共有多少列 $NF 表示最后一列 $(NF-) 表示倒数第二列 打印倒数第三列: cat file.txt | grep eop.mall..com | awk '{print $(NF-3)}' 加入倒数第三列格式为cost=100.123,要筛选出cost大于100的列: cat ral-worker.log | gre…

第1章 awk数组练习题 1.1 文件内容(仅第一行) [root@znix test]# head -1 secure-20161219 access.log ==> secure-20161219 <== Dec 11 03:49:25 localhost sshd[27087]: Failed password for invalid user support from 123.31.34.190 port 55493 ssh2 ==> access.log <== 101.…

1 nginx日志截取示例 日志路径:/usr/local/nginx/logs, 截取access.log中2019年3月24日17点00~02之间的日志: 写法1: cat access.log | awk '$4 >="[24/Mar/2019:17:00:00" && $4 <="[24/Mar/2019:17:02:00"' 写法2: cat access.log | egrep "24/Mar/2019"…

1. 文本数据 head 12315_industry_business.csv name,business,label,label_name 沧州光松房屋拆迁有限公司,旧房拆迁.改造:物业服务(依法须经批准的项目,经相关部门批准后方可开展经营活动),E4,建筑装饰和其他建筑业 上海托帕化工材料有限公司,"从事化工材料领域内的技术开发.技术转让.技术咨询.技术服务.化工原材料及产品(除危险化学品.监控化学品.烟花爆竹.易制毒化学品.民用爆炸物品).机械设备.电子产品.橡塑制品.机电设备.五金建材…

awk  'pattern +{action}' file (1)AWK基本语法参数详解 a:单引号 ''是为了和shell命令区分开: b:大括号{}表示一个命令分组: c:pattern 是一个过滤器,表示匹配pattern条件的行才进行Action处理: d:action是处理动作,常见动作为print; e:使用#作为注释,pattern和action可以只有其一,但不能两者都没有. FS 分隔符,默认是空格: OFS 输出分隔符: NR 当前行数,从1开始: NF 当前记录字符个数:…