awk命令使用经验
1.为什么要使用awk
举一个简单的例子,作为一个java开发人员,在查看日志服务器(即时保存所有线上环境的日志)上的日志的时候,由于部署了服务的服务器不止一台,当想要查找某一个特定信息的时候,由于不清楚该特定信息在那台服务器上,所以一般都是全量的搜的
比如
grep 'specialInfo' /project/myApplication/10.*/log/info.log
或者想要追踪是否某一台服务器才产生某信息时
tail -f /project/myApplication/10.*/log/info.log |grep 'specialInfo'
好的,现在我们能找到具体的这个信息出现时的日志了。
但是,这个日志是在哪个ip的服务器上啊....
简单的命令这时候好像不能满足这个需求。而产生线上问题的时候,往往时间都很宝贵,需要迅速定位问题的原因以及问题的影响
所以我觉得掌握一些能够快速筛选日志的手段还是很有必要的
而awk则是对日志这个具有规则的文本进行筛选的一个很好的手段
2.awk基础
awk 支持以制定的分隔符将一行文本切成多段 默认是使用空格作为分隔符 也可以通过-f命令来进行替换 例如awk -f, 则以逗号作为分隔符
分隔后的文本可以用符号来表示 $0 表示整行 $1表示分割后的第一段文本 $2表示第二段 依次类推,
NF是代表该行的数量 那么用NF-1就能取到倒数第二列
以上是最基础的,那么接下来我们想找一下第二列大于15的行的第三列 两种方式都可以起到过滤的作用
awk中 如果用BEGIN{命令1}{命令2}{命令3}End{命令4}的话 1会首先执行,2和3 会对每行输入执行,4则会最会执行
命令是以花括号来分隔的,可以进行嵌套 下面的 BEGIN{{命令1}{命令2}}
再来一个比较有用的 awk -v 可以设置变量 下面就是当第二列大于15的时候 i会增加1 每行都打印
正则表达式
~ \regex\ ~! \regex\
~是包含 ~! 是不包含
再来个统计
sum 下面利用sum数组 统计第一列都有哪几种,出现了几次
awk还有很多其他的功能,以后用到了再在这个补充,基础部分我就简单写这么一点
3.awk实际应用
有了上面的基础,解决1中的问题就很简单了
1、tail -f 多个文件时查看文件的具体路径
tail -f 多个文件时,在切换文件的时候会首先打印 ==> fileName<==
那么就利用这一点
tail -f ../project/myApp/10.*/log/cron.log |awk '$1 ~/==>/{i=$2} {print $0"--------"i}'
上面这行命令就是在输出中定义一个变量 i 然后当行里面有==>时,将文件路径保存在i中, 然后打印每一行的内容,后缀加上文件名,这样每当切换文件的时候i就会更新,就能够实现功能
2、cat 多个文件的时候查看文件的路径 和上面的类似,直接读内联变量FILENAME 就可以了,grep继续查找要找的内容
awk '{i=FILENAME} {print $0"--------"i}' ../project/facrm.ms.netease.com/10.*/log/*.log |grep find
3、查找某个文件中包含某个字符串 且不包含某个字符串 并统计这种的数量
判断第一列包含1然后所有行不包含6 统计整列出现的次数
awk '{if($1 ~/1/){if($0 ~! /6/){sum[$0]++}}}END{for(i in sum){print i,sum[i]}}' test
这种感觉存着比较好,之后稍微改改直接用,之后有业务场景了在补充啦
awk命令使用经验的更多相关文章
- linux awk命令详解
linux awk命令详解 简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分 ...
- awk命令详解
搜索 纠正错误 添加实例 awk 文本和数据进行处理的编程语言 补充说明 awk 是一种编程语言,用于在linux/unix下对文本和数据进行处理.数据可以来自标准输入(stdin).一个或多个文件 ...
- Linux安全基础:awk命令的使用
awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各 ...
- AWK命令学习
使用方法 awk 'pattern {action}' {filenames} 尽管操作可能会很复杂,但语法总是这样,其中 pattern 表示 AWK 在数据中查找的内容,而 action 是在找到 ...
- awk 命令
awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各 ...
- AWK命令的用法
1.awk命令简介: awk是一种可以处理数据.产生格式化报表的语言,功能十分强大. awk的工作方式是读取数据,将每一行数据视为一条记录(record)每笔记录以字段分隔符分成若干字段,然后输出各个 ...
- [Linux] linux awk命令详解
reference : http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html 简介 awk是一个强大的文本分析工具,相对于g ...
- awk命令简单介绍
简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再 ...
- Linux的awk命令
简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再 ...
随机推荐
- Maven内置属性
1.内置属性:如${project.basedir}表示项目根目录,${ project.version}表示项目版本 2.POM属性:用户可以引用pom文件中对应的值.如: ${project.bu ...
- 七天开发进度(六)(微信小程序版(一))
1. 今天主要根据网上教程学习了微信小程序的代码结构,和代码编写-Tabbar配置, 学习了app.js的App和Page方法, 认识了view组件,button组件,input组件,但是还没怎么应用 ...
- 金蝶K3 WISE 快速登录
金蝶K3 WISE 快速登录 "C:\Program Files (x86)\Kingdee\K3ERP\k3main.exe" -LoginUser|账套号|账套密码|用户账号| ...
- [转] 从零构建 vue2 + vue-router + vuex 开发环境到入门,实现基本的登录退出功能
这是一个创建于 738 天前的主题,其中的信息可能已经有所发展或是发生改变. 前言 vue2 正式版已经发布将近一个月了, 国庆过后就用在了公司的两个正式项目上, 还有一个项目下个月也会采用 vue2 ...
- Cesium 动态更换模型贴图方法
参考资料 github 讨论地址 示例代码地址 示例代码 var viewer = new Cesium.Viewer('cesiumContainer'); var scene = viewer.s ...
- Cordova IOT Lesson002
hello index.html <!DOCTYPE html> <html> <head> <meta charset="utf-8"& ...
- linux 硬盘满了如何处理
事件源于在服务器运行一个脚本程序… 好好的脚本突然报错,还以为脚本出现问题了.细看报错原因(具体报错信息已经忘记了),是没有可用空间.从没遇见过这个情况,怎么办呢? 一.确定是不是真的是磁盘空间不足 ...
- SpringMVC-2-(Controller)
一)参数类型 @RequestMapping("hello4") @ResponseBody public ModelAndView Hello4( // Servlet的三个参数 ...
- 【Spring Boot】关于上传文件例子的剖析
目录 Spring Boot 上传文件 功能实现 增加ControllerFileUploadController 增加ServiceStorageService 增加一个Thymeleaf页面 修改 ...
- HTML(五)
HTML5新结构标签 h5新增的主要语义化标签如下: 1.header 页面头部.页眉2.nav 页面导航3.article 一篇文章4.section 文章中的章节5.aside 侧边栏6.foot ...