03：linux文件操作四剑客
1.1 find查找命令
1、find命令说明
1. Linux find命令用来在指定目录下查找文件。
2. 任何位于参数之前的字符串都将被视为欲查找的目录名。
3. 如果使用该命令时，不设置任何参数，则find命令将在当前目录下查找子目录与文件。
-name # 按文件名查找
-size # 按文件大小查找
-perm # 按权限查找
-mtime n # 查找n天内修改内容的文件
-mmin n # 查找n分钟内修改内容的文件
2、find常用查找方法
# 查找当前目录下大于9M的文件详细信息
[root@linux-node1 /]# find . -size +9M | xargs ls -lh
-rw-r--r-- 1 root root 24M Jul 7 04:18 ./aaa/Python-3.7.0/libpython3.7m.a
-rwxr-xr-x 1 root root 14M Jul 7 04:19 ./aaa/Python-3.7.0/Programs/_testembed
-rwxr-xr-x 1 root root 14M Jul 7 04:18 ./aaa/Python-3.7.0/python
-rw-r--r-- 1 root root 22M Jul 6 23:53 ./aaa/Python-3.7.0.tgz
-rw-------. 1 root root 47M Jan 7 2019 ./boot/initramfs-0-rescue-8b956f09fe0549c4b6182589acceab30.img
-rw-------. 1 root root 21M Jan 7 2019 ./boot/initramfs-3.10.0-514.el7.x86_64.img
-rw-------. 1 root root 14M Jan 7 2019 ./boot/initramfs-3.10.0-514.el7.x86_64kdump.img
find . -size +9M | xargs ls -lh : 查找当前目录下大于9M的文件详细信息
[root@linux-node1 /]# find . -type f -name "*.log" -size +1M -exec cp -av {} /tmp \;
cp: ‘./tmp/audit.log’ and ‘/tmp/audit.log’ are the same file
cp: ‘./tmp/journal.log’ and ‘/tmp/journal.log’ are the same file
find . -type f -name "*.log" -size +1M -exec cp -av {} /tmp \; ：查找当前目录下以 .log 结尾且大于5M的文件，并复制到/tmp目录下
[root@linux-node1 /]# find /var -mtime +3 -mtime -5
/var/tmp
/var/lib/yum/yumdb/l
/var/lib/yum/yumdb/l/f20daac8f6b3893e42be72af22a5118848f
find /var -mtime +3 -mtime -5 ：在/var下查找更改时间在三天到五天的文件
[root@linux-node1 /]# find . -mmin +1 -mmin -3
./aa.py
find . -mmin +1 -mmin -3 ：查找当前文件夹下1分钟前3分钟内修改的文件
1.2 grep指令
1、grep指令说明
1. grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来
2. grep搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。
^linux # 以linux开头的行
$php # 以php结尾的行
. # 匹配任意单字符
.+ # 匹配任意多个字符
.* # 匹配0个或多个字符(可有可无)
[0-9a-z] # 匹配中括号内任意一个字符
[abc] # 表示匹配一个字符，这个字符必须是abc中的一个。
(linux)+ # 出现多次Linux单词
(web){2} # web出现两次以上
\ # 屏蔽转义
2、grep常用查找方法
[root@linux-node1 /]# grep -n 'root' /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin
grep -n 'root' /etc/passwd ：查找/etc/passwd下包含 root字符串的文件
[root@linux-node1 /]# grep -Ev "root|nologin" /etc/passwd
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
grep -Ev "root|nologin" /etc/passwd ：查找不包含root和nologin关键字的行
[root@linux-node1 /]# grep "root" /etc/{passwd,shadow}
/etc/passwd:root:x:0:0:root:/root:/bin/bash
/etc/passwd:operator:x:11:0:operator:/root:/sbin/nologin
grep "root" /etc/{passwd,shadow}：查找/etc/passwd和/etc/shadow文件中包含root关键字的行
[root@linux-node1 /]# grep -c root /etc/passwd
2
grep -c root /etc/passwd ：统计/etc/passwd文件中包含root字符串行的数量
3、grep其他用法
[root@linux-node1 ~]# grep -E -v "^$|^#" /etc/nginx/nginx.conf
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
grep -E -v "^$|^#" /etc/nginx/nginx.conf : 去除空号和以#号开头的行
[root@linux-node1 ~]# seq 1 20 |grep -m 5 -E '[0-9]{2}'
10
11
12
13
14
seq 1 20 |grep -m 5 -E '[0-9]{2}' ：输出匹配的前五个结果
[root@linux-node1 ~]# seq 1 20 |grep -c -E '[0-9]{2}'
11
seq 1 20 |grep -c -E '[0-9]{2}' ：输出匹配多少行
[root@linux-node1 ~]# echo "a bc de" |xargs -n1 |grep '^b'
bc
echo "a bc de" |xargs -n1 |grep '^b' ：匹配以字符串"b"开头的行
[root@linux-node1 ~]# echo "a ab abc abcd abcde" |xargs -n1 |grep -n 'de$'
5:abcde
echo "a ab abc abcd abcde" |xargs -n1 |grep -n 'de$' ：匹配以"de"字符串结尾的行
[root@linux-node1 ~]# grep -r 'sshd' /etc --include *.conf
/etc/sestatus.conf:/usr/sbin/sshd
/etc/sestatus.conf:/usr/sbin/sshd
grep -r 'sshd' /etc --include *.conf ：递归搜索/etc 目录下包含 "sshd"字符串 的 conf 后缀文件
[root@linux-node1 ~]# seq 41 45 |grep -E '4[12]'
41
42
seq 41 45 |grep -E '4[12]' ：匹配41/42数字
1.3 sed流编辑器，过滤和替换文本
1、sed指令说明
1. sed 命令将当前处理的行读入模式空间进行处理，处理完把结果输出，并清空模式空间。
2. 然后再将下一行读入模式空间进行处理输出，以此类推，直到最后一行。
3. 还有一个暂存空间，可以暂时存放一些处理的数据，但不能直接输出，只能放到模式空间输出。
4. 这两个空间其实就是在内存中初始化的一个内存区域，存放正在处理的数据和临时存放的数据
-n # 只列出sed处理的哪一行内容
-e # 直接在sed模式上进行sed动作编辑
-f # 直接将sed动作写在一个文件内
-r # 让sed指令支持扩展的正则表达式
'''1. 常用选项 '''
-n # 不打印模式空间
-e # 执行脚本、表达式来处理
-f # 执行动作从文件读取执行
-i # 修改原文件
-r # 使用扩展正则表达式 '''2. 常用命令 '''
s/regexp/replacement/ # 替换字符串
p # 打印当前模式空间
P # 打印模式空间的第一行
d # 删除模式空间，开始下一个循环
D # 删除模式空间的第一行，开始下一个循环
= # 打印当前行号
a \text # 当前行追加文本
i \text # 当前行上面插入文本
c \text # 所选行替换新文本
q # 立即退出 sed 脚本
r # 追加文本来自文件
w filename # 写入当前模式空间到文件
! # 取反、 否定 '''3. 常用地址 '''
$ # 匹配最后一行
/regexp/ # 正则表达式匹配行
number # 只匹配指定行
addr1,addr2 # 开始匹配 addr1 行开始，直接 addr2 行结束
addr1,+N # 从 addr1 行开始，向后的 N 行
addr1,~N # 从 addr1 行开始，到 N 行结束
sed指令参数详解
2、sed常用方法
[root@linux-node1 aaa]# nl /etc/passwd | sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
nl /etc/passwd | sed '2,5d' ：将2~5行内容删除，然后打印到屏幕上
[root@linux-node1 aaa]# nl /etc/passwd | sed '2,5c "new content"'
1 root:x:0:0:root:/root:/bin/bash
"new content"
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
nl /etc/passwd | sed '2,5c "new content"' ：将2~5行的内容替换成字符串 "new content"
[root@linux-node1 aaa]# nl /etc/passwd | sed '/root/d'
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
nl /etc/passwd | sed '/root/d' ：删除/etc/passwd所包含root的行
[root@linux-node1 aaa]# nl /etc/passwd | sed -e '3,$d' -e 's/root/mewusername/'
1 mewusername:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin -e '3,$d' # 删除/etc/passwd第三行到末尾的数据
-e 's/root/nuwusername/' # 将搜索到的内容 root替换成 newusername
nl /etc/passwd | sed -e '3,$d' -e 's/root/mewusername/' ：提取到前两行数据，并将 root替换成 newusername
3、sed匹配打印
[root@linux-node1 ~]# tail /etc/services |sed -n '/^blp5/p'
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
tail /etc/services |sed -n '/^blp5/p' ：打印匹配 blp5 开头的行
[root@linux-node1 ~]# tail /etc/services |sed -n '1p'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
tail /etc/services |sed -n '1p' ：打印第一行
[root@linux-node1 ~]# tail /etc/services |sed -n '1,3p'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
tail /etc/services |sed -n '1,3p' ：打印第一行至第三行
[root@linux-node1 ~]# seq 10 |sed -n '1~2p'
1
3
5
7
9
seq 10 |sed -n '1~2p' ：打印奇数行
[root@linux-node1 ~]# tail /etc/services |sed -n '$p'
matahari 49000/tcp # Matahari Broker
tail /etc/services |sed -n '$p' ：打印最后一行
[root@linux-node1 ~]# tail /etc/services |sed -n '$!p'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
tail /etc/services |sed -n '$!p' ：不打印最后一行
[root@linux-node1 ~]# tail /etc/services |sed -n '/^blp5/,/^com/p'
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
tail /etc/services |sed -n '/^blp5/,/^com/p' ：匹配以"blp5开头"到"com开头"的所有行
[root@linux-node1 ~]# tail /etc/services |sed -n '/blp5/,$p'
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
tail /etc/services |sed -n '/blp5/,$p' ：匹配以"blp5"开头行到最后一行
[root@linux-node1 ~]# a=1
[root@linux-node1 ~]# tail /etc/services |sed -n "$a,3p"
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
tail /etc/services |sed -n "$a,3p" ：引用系统变量，用引号
4、sed匹配删除
[root@linux-node1 ~]# tail /etc/services |sed '/blp5/d'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
tail /etc/services |sed '/blp5/d' : 删除包含"blp5"的行
[root@linux-node1 ~]# tail /etc/services |sed '1d'
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
tail /etc/services |sed '1d' : 删除第一行
[root@linux-node1 ~]# tail /etc/services |sed '1~2d'
isnetserv 48128/tcp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
iqobject 48619/tcp # iqobject
matahari 49000/tcp # Matahari Broker
tail /etc/services |sed '1~2d' ：删除第一到第二行
[root@linux-node1 ~]# sed '/^#/d;/^$/d' /etc/nginx/nginx.conf
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
sed '/^#/d;/^$/d' /etc/nginx/nginx.conf ：去除空格或开头#号的行
5、sed匹配替换
[root@linux-node1 ~]# tail /etc/services |sed 's/blp5/test/'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
test 48129/tcp # Bloomberg locator
test 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
tail /etc/services |sed 's/blp5/test/' ：替换 blp5 字符串为 test
[root@linux-node1 ~]# tail /etc/services |sed -n 's/^blp5/test/p'
test 48129/tcp # Bloomberg locator
test 48129/udp # Bloomberg locator
tail /etc/services |sed -n 's/^blp5/test/p' ：替换开头是 blp5 的字符串并打印
[root@linux-node1 ~]# tail /etc/services |sed 's/48049/&.0/'
3gpp-cbsp 48049.0/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
tail /etc/services |sed 's/48049/&.0/' ：使用&命令引用匹配内容并替换
[root@linux-node1 ~]# tail /etc/services | sed '1,4s/blp5/test/'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
test 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
iqobject 48619/tcp # iqobject
iqobject 48619/udp # iqobject
tail /etc/services | sed '1,4s/blp5/test/' ：将1到4行的"blp5"替换成"test"
[root@linux-node1 ~]# tail /etc/services | sed '/48129\/tcp/s/blp5/test/'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
test 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
iqobject 48619/tcp # iqobject
iqobject 48619/udp # iqobject
matahari 49000/tcp # Matahari Broker
tail /etc/services | sed '/48129\/tcp/s/blp5/test/' : 匹配"48129/tcp"并将此行的"blp5"替换成"test"
[root@linux-node1 ~]# tail /etc/services |sed -e '1,2d' -e 's/blp5/test/'
isnetserv 48128/udp # Image Systems Network Services
test 48129/tcp # Bloomberg locator
test 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw [root@linux-node1 ~]# tail /etc/services |sed '1,2d;s/blp5/test/' # 也可以使用分好分隔
isnetserv 48128/udp # Image Systems Network Services
test 48129/tcp # Bloomberg locator
test 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
iqobject 48619/tcp # iqobject
tail /etc/services |sed -e '1,2d' -e 's/blp5/test/' : 删除前两行并将"blp5"替换成"test"
6、sed添加新内容
i: 匹配行上面添加
a: 匹配航下面添加
c: 将匹配航替换成新内容
[root@linux-node1 ~]# tail /etc/services |sed '/blp5/i \test' #在 blp5 上一行添加 test
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
test
blp5 48129/tcp # Bloomberg locator
test
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
tail /etc/services |sed '/blp5/i \test' ：在 blp5 上一行添加 test
[root@linux-node1 ~]# tail /etc/services |sed '/blp5/a \test' # 在 blp5 下一行添加 test
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
test
blp5 48129/udp # Bloomberg locator
test
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
tail /etc/services |sed '/blp5/a \test' ：在 blp5 下一行添加 test
[root@linux-node1 ~]# tail /etc/services |sed '/blp5/c \test'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
test
test
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
tail /etc/services |sed '/blp5/c \test' ：匹配"blp5"的行替换成"test"
[root@linux-node1 ~]# tail /etc/services |sed '2a \test'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
test
isnetserv 48128/udp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
tail /etc/services |sed '2a \test' : 在第二行下面添加"test"
7、文本操作
1 2 3
4 5 6
7 8 9
vim a.txt : 编写一个测试文件
[root@linux-node1 ~]# tail /etc/services |sed '/blp5/r a.txt'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
1 2 3
4 5 6
7 8 9
blp5 48129/udp # Bloomberg locator
1 2 3
4 5 6
7 8 9
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
iqobject 48619/tcp # iqobject
iqobject 48619/udp # iqobject
matahari 49000/tcp # Matahari Broker
tail /etc/services |sed '/blp5/r a.txt' : 将文件读取追加到匹配行下面
[root@linux-node1 ~]# tail /etc/services |sed '/blp5/w b.txt' #只有下面两行被写入
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
tail /etc/services |sed '/blp5/w b.txt' ：将匹配行写入"b.txt"
1.4 awk指令
1、awk指令说明
1. awk是一种编程语言，用于在linux下对文本和数据进行处理
2. awk的处理文件和数据处理方式是逐行扫描，寻找到匹配的行，并在这些行上进行你想要的操作
3. 如果没有指定处理动作，则把匹配的行显示到屏幕上
// # 匹配代码块，可以是字符串或正则表达式
{} # 命令代码块，包含一条或多条命令
$0 # 表示整个当前行
$1 # 每行第一个字段
NF # 字段数量变量
NR # 每行的记录号，多文件记录递增
/[0-9][0-9]+/ # 两个或两个以上数字
/[0-9][0-9]*/ # 一个或一个以上数字
-F'[:#/]' # 定义三个分隔符
FNR # 与NR类似，不过多文件记录不递增，每个文件都从1开始
\t # 制表符
\n # 换行符
FS # BEGIN时定义分隔符
RS # 输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~ # 匹配，与==相比不是精确比较
!~ # 不匹配，不精确比较
== # 等于，必须全部相等，精确比较
!= # 不等于，精确比较
&& # 逻辑与
|| # 逻辑或
+ # 匹配时表示1个或1个以上
2、awk常用指令
[root@linux-node1 aaa]# cat /etc/passwd |awk -F ':' '{print $1}'
root
bin
daemon
adm
-F ':' # 使用 ":" 来分隔
'{print $1}' # 打印第一列的数据
cat /etc/passwd |awk -F ':' '{print $1}' ：以冒号为分隔打印第一列数据
[root@linux-node1 aaa]# cat /etc/passwd | awk -F ':' '{print $1"\t"$7}'
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
'{print $1"\t"$7}' # 打印第一列和第七列数据，并以制表符分隔
cat /etc/passwd | awk -F ':' '{print $1"\t"$7}' ：打印第一列和第七列数据，并以制表符分隔
[root@linux-node1 aaa]# awk -F ':' '/root/{print $1}' /etc/passwd
root
operator
awk -F ':' '/root/{print $1}' /etc/passwd ：搜索/etc/passwd有root关键字的所有行，只显示第一行
[root@linux-node1 aaa]# w|awk 'NR==1{print $6}'
2
w|awk 'NR==1{print $6}' ：显示第一行第六列的数据
[root@linux-node1 aaa]# awk -F: 'NR==5 || NR==6{print}' /etc/passwd
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
awk -F: 'NR==5 || NR==6{print}' /etc/passwd ：打印第五行和第六行数据
[root@linux-node1 aaa]# awk '!/mysql/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
awk '!/mysql/' /etc/passwd : 匹配所有 不包含 "mysql"关键字的行
[root@linux-node1 aaa]# awk '/mysql|mail/{print}' /etc/passwd
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
awk '/mysql|mail/{print}' /etc/passwd : 匹配包含mysql 或者 mail的行
3、awk基本语法
[root@linux-node1 ~]# tail -n3 /etc/services |awk -F'[ /]+' '{print $2}' # 以空格或斜线分隔
48619
48619
49000
tail -n3 /etc/services |awk -F'[ /]+' '{print $2}' ：以"空格"或"斜线"分隔
[root@linux-node1 ~]# awk -v a=123 'BEGIN{print a}'
123
awk -v a=123 'BEGIN{print a}' : 变量赋值
[root@linux-node1 ~]# tail -n3 /etc/services |awk 'BEGIN{print "服务\t\t端口\t\t\t描述"}{print $0}END{print "===结束==="}'
服务 端口 描述
iqobject 48619/tcp # iqobject
iqobject 48619/udp # iqobject
matahari 49000/tcp # Matahari Broker
===结束===
tail -n3 /etc/services |awk 'BEGIN{print "服务\t\t端口\t\t\t描述"}{print $0}END{print "===结束==="}' ：BEGIN{} END{}结合使用
4、正则匹配
[root@linux-node1 ~]# tail /etc/services |awk '/^blp5/{print $0}'
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
tail /etc/services |awk '/^blp5/{print $0}' ：匹配开头是 blp5 的行
[root@linux-node1 ~]# tail /etc/services |awk '/^[a-z0-9]{8} /{print $0}'
iqobject 48619/tcp # iqobject
iqobject 48619/udp # iqobject
matahari 49000/tcp # Matahari Broker
tail /etc/services |awk '/^[a-z0-9]{8} /{print $0}' ：匹配第一个字段是 8 个字符的行
[root@linux-node1 ~]# tail /etc/services |awk '/blp5/ || /tcp/{print $0}'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
tail /etc/services |awk '/blp5/ && /tcp/{print $0}' ：匹配记录中包含 blp5 或 tcp 的行
[root@linux-node1 ~]# awk '! /^#/ && ! /^$/{print $0}' /etc/nginx/nginx.conf
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log warn;
awk '! /^#|^$/' /etc/nginx/nginx.conf ：不匹配开头是#和空行
[root@linux-node1 ~]# tail /etc/services |awk '/^blp5/,/^com/'
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
tail /etc/services |awk '/^blp5/,/^com/' ：匹配以 "blp5开头" 到 "com开头" 之间的所有行
5、NF
[root@linux-node1 ~]# echo "a b c d e f" |awk '{print NF}'
6
echo "a b c d e f" |awk '{print NF}' ：打印行数
[root@linux-node1 ~]# echo "a b c d e f" |awk '{print $1}'
a
echo "a b c d e f" |awk '{print $1}' ：打印第一行
[root@linux-node1 ~]# echo "a b c d e f" |awk '{print $NF}' : 打印最后一行
f
echo "a b c d e f" |awk '{print $NF}' : 打印最后一行
[root@linux-node1 ~]# echo "a b c d e f" |awk '{print $(NF-1)}' ：打印倒数第二行
e
echo "a b c d e f" |awk '{print $(NF-1)}' ：打印倒数第二行
[root@linux-node1 ~]# echo "a b c d e f" |awk '{$NF="";$(NF-1)="";print $0}' ：排除最后两个字段
a b c d
echo "a b c d e f" |awk '{$NF="";$(NF-1)="";print $0}' ：排除最后两个字段
6、NR
[root@linux-node1 ~]# tail -n5 /etc/services |awk '{print NR,$0}' ：打印行号+内容
1 com-bardac-dw 48556/tcp # com-bardac-dw
2 com-bardac-dw 48556/udp # com-bardac-dw
3 iqobject 48619/tcp # iqobject
tail -n5 /etc/services |awk '{print NR,$0}' ：打印行号+内容
[root@linux-node1 ~]# tail -n5 /etc/services |awk 'NR==3{print $2}' ：打印第三行第二列的值
48619/tcp
tail -n5 /etc/services |awk 'NR==3{print $2}' ：打印第三行第二列的值
[root@linux-node1 ~]# tail -n5 /etc/services |awk 'NR<=3{print NR,$0}' ：打印前三行
1 com-bardac-dw 48556/tcp # com-bardac-dw
2 com-bardac-dw 48556/udp # com-bardac-dw
3 iqobject 48619/tcp # iqobject
tail -n5 /etc/services |awk 'NR<=3{print NR,$0}' ：打印前三行
7、操作符
'''在 awk 中，有 3 种情况表达式为假：数字 0，空字符串和未定义的值'''
[root@linux-node1 ~]# awk 'BEGIN{n=0;if(n)print "true";else print "false"}'
[root@linux-node1 ~]# awk 'BEGIN{s="";if(s)print "true";else print "false"}'
[root@linux-node1 ~]# awk 'BEGIN{if(s)print "true";else print "false"}'
awk三种为假的情况 ：数字 0，空字符串和未定义的值
[root@linux-node1 ~]# seq 3 |awk '{print $0*2}' : 乘法
2
4
6
seq 3 |awk '{print $0*2}' : 乘法
[root@linux-node1 ~]# seq 3 |awk '{print $0/2}' ：除法
0.5
1
1.5
seq 3 |awk '{print $0/2}' ：除法
[root@linux-node1 ~]# seq 5 |awk '$0%2==0{print $0}' ：取余
2
4
seq 5 |awk '$0%2==0{print $0}' ：取余
[root@linux-node1 ~]# seq 5 |shuf |awk '{print $0|"sort"}' ：先打乱再排序
1
2
3
4
5
seq 5 |shuf |awk '{print $0|"sort"}' ：先打乱再排序
8、流程控制 (if 语句 )
if (condition) statement [ else statement ]
[root@linux-node1 ~]# seq 5 |awk '{if($1==3)print $0}' ：如果第一列的值等于3，打印出来
3
seq 5 |awk '{if($1==3)print $0}' ：如果第一列的值等于3，打印出来
[root@linux-node1 ~]# echo "123abc#456cde 789aaa#aaabbb aaaa#eee666eeee " |xargs -n1 |awk -F# '{if($2~/[0-9]/)print $2}' # $2~/[0-9]/ （如果第二行匹配到数字就打印）
456cde
eee666eeee
if+正则匹配
[root@linux-node1 ~]# seq 5 |awk '{if($0==3)print $0;else print "no"}' ：双分支if
no
no
3
no
no
seq 5 |awk '{if($0==3)print $0;else print "no"}' ：双分支if
[root@linux-node1 ~]# awk 'BEGIN{a["a"]=123}END{if("a" in a)print "yes"}' < /dev/null ：判断数组成员
yes
awk 'BEGIN{a["a"]=123}END{if("a" in a)print "yes"}' < /dev/null ：判断数组成员
[root@linux-node1 ~]# awk 'BEGIN{print 1==1?"yes":"no"}' ：三目运算符
yes
awk 'BEGIN{print 1==1?"yes":"no"}' ：三目运算符
9、多分支if、for循环、while语句
1 2 3
4 5 6
7 8 9
vim file : 编辑一个测试文件
[root@linux-node1 ~]# awk '{i=1;while(i<=NF){print $i;i++}}' file
1
2
3
4
5
6
7
8
9
awk '{i=1;while(i<=NF){print $i;i++}}' file ：遍历文件内容
[root@linux-node1 ~]# awk '{for(i=1;i<=NF;i++)print $i}' file
1
2
3
4
5
6
7
8
9
awk '{for(i=1;i<=NF;i++)print $i}' file ：for循环遍历
[root@linux-node1 ~]# awk '{for(i=NF;i>=1;i--)print $i}' file
3
2
1
6
5
4
9
8
7
awk '{for(i=NF;i>=1;i--)print $i}' file ：倒序打印
[root@linux-node1 ~]# awk 'BEGIN{for(i=1;i<=5;i++){if(i==3){break};print i}}'
1
2
awk 'BEGIN{for(i=1;i<=5;i++){if(i==3){break};print i}}' ：break语句
[root@linux-node1 ~]# awk 'BEGIN{for(i=1;i<=5;i++){if(i==3){continue};print i}}'
1
2
4
5
awk 'BEGIN{for(i=1;i<=5;i++){if(i==3){continue};print i}}' ：continue语句
10、数组
[root@linux-node1 ~]# awk 'BEGIN{a[0]="test";print a[0]}'
test
awk 'BEGIN{a[0]="test";print a[0]}' ：自定义数组
[root@linux-node1 ~]# tail -n5 /etc/passwd |awk -F: '{a[NR]=$1}END{for(v in a)print a[v],v}'
saltapi 4
nginx 5
sshd 1
chrony 2
tcpdump 3
tail -n5 /etc/passwd |awk -F: '{a[NR]=$1}END{for(v in a)print a[v],v}' ：for循环遍历数组
[root@linux-node1 ~]# tail /etc/services |awk '{a[$1]++}END{for(v in a)print a[v],v}'
2 com-bardac-dw
1 3gpp-cbsp
2 iqobject
1 matahari
2 isnetserv
2 blp5
tail /etc/services |awk '{a[$1]++}END{for(v in a)print a[v],v}' ：统计相同字段出现次数
[root@linux-node1 ~]# netstat -antp |awk '/^tcp/{a[$6]++}END{for(v in a)print a[v],v}'
11 LISTEN
3 ESTABLISHED
netstat -antp |awk '/^tcp/{a[$6]++}END{for(v in a)print a[v],v}' ：统计 TCP 连接状态(并发数)
[root@linux-node1 ~]# tail /etc/services |awk '{a[$1]++}END{for(v in a) if(a[v]>=2){print a[v],v}}'
2 com-bardac-dw
2 iqobject
2 isnetserv
2 blp5
tail /etc/services |awk '{a[$1]++}END{for(v in a) if(a[v]>=2){print a[v],v}}' ：只打印出现次数大于等于 2 的
03：linux文件操作四剑客的更多相关文章
- C/C++以及Linux文件操作备忘录
目录 C文件操作 文件开关 文件读写 C++文件操作 Linux文件操作 打开 C文件操作 #include<stdio.h> stdin, stdout, stderr 文件开关 /* ...
- Linux 文件操作接口
目录 Linux 文件操作接口 C语言文件操作接口 C语言文件描述 fopen() r模式打开文件 w模式打开文件 a模式打开文件 其他模式类似 fclose() fwrite() fread() 系 ...
- linux文件操作篇 (四) 目录操作
#include <sys/stat.h>#include <unistd.h>#include <dirent.h> //创建文件夹 路径 掩码 int mkdi ...
- Linux 文件操作——系统调用和标准I/O库
一.什么是文件 在讲述文件操作之前,我们首先要知道什么是文件.看到这个问题你可能会感觉到可笑,因为对于用过计算机的人来说,文件是最简单不过的概念了,例如一个文本是一个文件,一个work文档是一个文件等 ...
- Linux文件操作的主要接口API及相关细节
操作系统API: 1.API是一些函数,这些函数是由linux系统提供支持的,由应用层程序来使用,应用层程序通过调用API来调用操作系统中的各种功能,来干活 文件操作的一般步骤: 1.在linux系统 ...
- Linux 文件操作监控inotify功能及实现原理【转】
转自:http://blog.chinaunix.net/uid-26585427-id-5012973.html 1. inotify主要功能 它是一个内核用于通知用户空间程序文件系统变化的机制. ...
- Linux 文件操作总结
http://blog.163.com/he_junwei/blog/static/19793764620152592737741/ ioctl?? lseek?? 文件是linux中的一个重要概念. ...
- Linux文件操作学习总结【转载】
本文转载自: http://blog.csdn.net/xiaoweibeibei/article/details/6556951 文件类型:普通文件(文本文件,二进制文件).目录文件.链接文件.设备 ...
- linux 文件操作与目录操作
文件操作 使用命令 命令格式: 命令 [选项] [参数] [] 表示可选的 示例: ls -a /etc 常识命令 ls:查看指定目录的内容,不指定目录时查看当前工作目录 选项 说明 -a 显示所有文 ...
随机推荐
- Jmeter（十一）函数助手
可以在JMeter的选项菜单中找到函数助手对话框 我们可以从下拉列表中选择一个函数,并为其参数设定值.如图,表格的左边一列是函数参数的简要描述,右边一列是供用户填充参数的值.不同函数要求的参数也不同. ...
- MySQL_(Java)使用JDBC向数据库中删除(delete)数据
MySQL_(Java)使用JDBC向数据库发起查询请求 传送门 MySQL_(Java)使用JDBC向数据库中插入(insert)数据 传送门 MySQL_(Java)使用JDBC向数据库中删除(d ...
- POJ2942Knights of the round table
这题第一次做的人一般是颓题解的. 首先我们转化一下问题,既然厌恶的人不能一起出席,是一种不传递关系,我们构建补图,这样补图的边表示两个骑士可以同时出席. 此时,由于只能有奇数个人参加,则我们要找出奇环 ...
- org.apache.ibatis.binding.BindingException: Parameter 'xxx' not found.
1. 情景重现 1.1 Mapper 代码 public interface DeviceFileInfoVOMapper { List<QueryFileDTO> selectVideo ...
- mysql统计前24小时数据没有补0
SELECT t1. HOUR HOUR, COUNT(t2. HOUR) count FROM ( SELECT DATE_FORMAT( HOUR), '%y-%m-%d %H' ) HOUR F ...
- 黑马vue---13、事件修饰符的介绍
黑马vue---13.事件修饰符的介绍 一.总结 一句话总结: .stop 阻止冒泡:input type="button" value="戳他" @click ...
- ios修改UIIMage大小
/** * 改变图片的大小 * * @param img 需要改变的图片 * @param newsize 新图片的大小 * * @return 返回修改后的新图片 */ - (UIImage *)s ...
- mongodb增删改查操作
Note:mongodb存储的是文档,且文档是json格式的对象,所以增删改查都必须是json格式对象. 注:mongodb常用库和表操作,但mongodb在插入数据时,不需要先创建表. show d ...
- 解决oracle 物化视图刷新失败
oracle 物化视图刷新失败可能原因: 1.视图未建立物化视图日志 2.基表为授权给用户 1.物化视图语法 create materialized view [view_name] refresh ...
- 解决 Elasticsearch 超过 10000 条无法查询的问题
解决 Elasticsearch 超过 10000 条无法查询的问题 问题描述 分页查询场景,当查询记录数超过 10000 条时,会报错. 使用 Kibana 的 Dev Tools 工具查询 从第 ...