纯命令行的编辑利器:用好 awk 与 sed
awk 的基本语法
awk 是模式查找与处理语言,是文本处理的利器。使用 awk 可以只用一条简单的命令完成复杂的文本数据处理。 awk 命令的基本结构为:
awk '模式 {处理}' 文件
比如,打印 datafile.txt 中所有包含 Female 的行:
awk '/Female/ {print $0}' datafile.txt
datafile.txt 的内容:
Bob 23 Male
Tim 18 Male
Kate 19 Female
Ann 18 Female
Jim 23 Male
输出的结果为:
Kate 19 Female
Ann 18 Female
以上命令中: /Female/ 就是一个正则表达式,awk 会一行行读取文件,如果遇到某一行与该正则表达式匹配,则执行后面的 {print $0} 操作。
awk 的常见用法
继续用上面的 datafile.txt 为内容举例如下:
# 计算所有 Male 及 Female 各多少人
awk '/Male/ {m++} /Female/ {n++} END {print "Male", m, "Female", n}' datafile.txt
# 计算 Male 的平均年龄
awk '/Male/ {m++; n+=$2} END {print n/m}' datafile.txt
# 以字符 'm' 作为分隔符分隔一行,并打印每行的第一段
awk 'BEGIN {FS="m"} // {print $1}' datafile.txt
# 以数字作为分隔符分隔一行,并打印1-3行的第一、二段,4-5行的第一段
awk 'BEGIN {FS="[[:digit:]]+"} NR<=3 {print $1,$2} NR>3 {print $1}' datafile.txt
# 打印年龄不包含数字 1 的行
awk '! /1/ {print $0}' datafile.txt
# 打印年龄为 18 的行
awk '$2 == 18 {print $0}' datafile.txt
在 linux 系统中,awk 可以通过管道处理一些数据
# 杀掉监听 10080 端口的进程
netstat -nap | awk 'BEGIN {FS="[ /]+"} /LISTEN/ && /10080/ {print $7}' | xargs kill -9
# 统计 Apache 的访问日志,各个 IP 的访问次数是多少
awk '// {m[$1]++} END {for (i in m) print i "\t" m[i]}' /etc/httpd/logs/access_log
sed 的基本语法
如果把 awk 比作文本查询语言的话,sed 就是文本修改语言。两者配合基本上可以不用打开文本文件就可以实现类似于数据库操作的增删改查工作。这一点在批量处理文件的时候非常重要。
sed 的基本结构与 awk 类似:
sed '模式 处理' 文件
sed '模式 {处理序列}' 文件
比如,以 datafile.txt 为例,将 Bob 的年龄修改为 124 岁
sed 's/\(Bob[ \t]*\?\)\([0-9]\+\)/\1124/' datafile.txt
将会显示以下的结果:
Bob 124 Male
Tim 18 Male
Kate 19 Female
Ann 18 Female
Jim 23 Male
sed 常见用法
# 打印包含数字 1 的所有行
sed -n '/1/ p' datafile.txt
# 打印所有行
sed -n 'p' datafile.txt
sed '' datafile.txt
# 将 Female 或者 Male 的首字母变为小写
sed 's/\([0-9][ \t]\+\)\(.\)/\1\l\2/' datafile.txt
sed -n '{s/\([0-9][ \t]\+\)\(.\)/\1\l\2/ p}' datafile.txt
# 将 Female 或者 Male 的前三个字母大写,后面的小写
sed 's/\([0-9][ \t]\+\)\(....\)\(.*\)/\1\U\2\L\3\E/' datafile.txt
sed -n '{s/\([0-9][ \t]\+\)\(....\)\(.*\)/\1\U\2\L\3\E/ p}' datafile.txt
# 删除奇数行,如1,3,5行
sed '1~2 d' datafile.txt
# 统计文件有多少行
sed -n '$=' datafile.txt
# 实现 head 的功能
sed '2 q' datafile.txt
# 打印每行行号
sed '=' datafile.txt
# 先找到文档中的数字行,从数字行开始删除一直删除到有空行为止
sed '/[0-9]/,/^$/ d' data
纯命令行的编辑利器:用好 awk 与 sed的更多相关文章
- Linux命令行下编辑常用的快捷键
Linux命令行编辑快捷键: Ctrl+r 然后输入若干字符,开始向上搜索包含该字符的命令,继续按Ctrl+r,搜索上一条匹配的命令,按Ctrl+c或上下键退出. Ctrl+l 清屏 !num 执行命 ...
- 我的ubuntu连vi都没有??那在命令行怎么编辑文件??
今天弄了个docker下的ubuntu官方镜像,想在镜像里做一点实验,免得把自己的环境写得乱七八糟. 把代码文件mount进去之后,开始编译,但是镜像太干净了,什么工具都没有,于是先装cmake ap ...
- mysql定时任务(数据库管理工具and 纯命令行)
1.工具:Navicat 2.通过下列语句l爱查询event是否开启 打开Navicat命令列界面(点击工具可以看到或按F6) 输入下面命令 show variables like '%sche%'; ...
- shell命令行快速编辑命令
ctrl r:命令行出现 reverse-i-search,输入字符将在输入历史中匹配命令 ctrl p:向前翻看历史 ctrl n:向后翻看历史 ctrl a:命令行首 ctrl e:命令行尾 ct ...
- mvn从下载安装到纯命令行创建第一个mvn程序(编码,编译,测试,安装,打包)全过程细致分解
1.maven的下载和安装: a.maven的下载注意事项:如果你是windows,请选择①号,如果你是linux,请选择②号,下载地址:http://maven.apache.org/downloa ...
- ubuntu进入纯命令行
启动按shfit 然后光标在第一行按e 倒数第二行末尾添加quiet splash $vt_handoff 3 然后按CTRL+X或F10引导系统,启动之后就是命令行模式了
- mysql 取消命令行继续编辑
mysql> create database mingongge defa\c#回车 置空mysql> 加一个\c cancel 编辑命令 回车
- PathMarker:命令行快速编辑跳转工具(配合git,find等)
简介 当使用git, find等工具时,一般需要进一步打开文件或跳转目录. 通常的做法是使用鼠标复制黏贴,或者手工输入. PathMarker提供一种快速通过标号,编辑相关文件,跳转相关目录的方法,提 ...
- 第三篇:Linux的基本操作与文件管理(纯命令行模式下)(下)
接上篇介绍完软件的管理(查询.删除.安装)之后,本篇将介绍Linux的文件和目录的管理. 如何浏览Linux的目录(文件夹),就像Windows一样,我们平时需要打开各个目录,去里面找一找曾经悄悄存储 ...
随机推荐
- TDD学习笔记【四】--- 如何隔离相依性 - 基本的可测试性
前言 相信许多读者都听过「可测试性」,甚至被它搞的要死要活的,还觉得根本是莫名其妙,徒劳无功.今天这篇文章,主要要讲的是对象的相依性,以及对象之间直接相依,会带来什么问题.为了避免发生因相依性而导致设 ...
- 深入理解Java的接口和抽象类(转)
深入理解Java的接口和抽象类 对于面向对象编程来说,抽象是它的一大特征之一.在Java中,可以通过两种形式来体现OOP的抽象:接口和抽象类.这两者有太多相似的地方,又有太多不同的地方.很多人在初学的 ...
- jQuery.rotate.js参数
CSS3 提供了多种变形效果,比如矩阵变形.位移.缩放.旋转和倾斜等等,让页面更加生动活泼有趣,不再一动不动.然后 IE10 以下版本的浏览器不支持 CSS3 变形,虽然 IE 有私有属性滤镜(fil ...
- docker学习之二镜像创建
继上一篇docker入门之后写一点使用的经验. 通过命令:docker run -it REPOSITORY或IMAGE ID 注:-it后面跟的字段可以通过下面指令获得 创建运行的容器,会进入一 ...
- Codeforces Round #257 (Div. 2)
A - Jzzhu and Children 找到最大的ceil(ai/m)即可 #include <iostream> #include <cmath> using name ...
- asp.net 页面上的点击事件
asp.net 页面上 服务器端控件Button 有两个click事件如 <asp:Button ID="Button1" runat="server" ...
- Windows安装mysql-5.7.17-winx64.zip方式
1.去官网上下载.zip格式的文件. 2.解压到一个文件夹,这里我用D:\MySql表示 3.在D:\MySql\mysql-5.7.17-winx64下新建my.ini配置文件 黄色背景色的地方需要 ...
- css多行显示省略号
首先说css多行显示省略号和单行文本省略号: 我们知道,单行显示省略号时,我们首先需要设置容器的宽度width:value(具体的值),然后强制文本在一行内显示,即white-spacing:nowr ...
- STM32_RTC君
五一假期已过,大家是否还像五一五二五三那样快乐呢??答案就交给你们自己寻找了哈..说到五一..就从五一开始的那一刻起..就开始计时着..到五一假期结束..呵呵..在这里,智商和情商比我高的人估计又猜到 ...
- matlab环境配置
一.环境变量设置 AMD处理器:右键单击我的电脑 属性 — >高级 —> 环境变量 —> 系统变量 —> 新建 变量名:BLAS_VERSION,值为安装目录\atlas_At ...