shell_processing

1、文本处理_2：grep,sed,awk

2、regular_expression

3、Test

 

一、文本处理_2

1、grep --Linux处理正则表达式的主要程序。正则表达式是一种符号表示法，用于识别文本模式

常用选项：

-w --匹配单词的边界

-o --输出匹配的那部分，而不是整行

-i --忽略大小写

-R --递归，用于搜索目录下的文件

-l --输出符合条件的文件名

-n --显示匹配记录的行号

-v --显示不符合条件的结果

-c --输出匹配的记录的总数

-A --输出下文(after)

-B --输出上文(before)

-C --输出上下文(context)

-q --不输出结果，常用于条件测试

-E --使用扩展的正则表达式；表达重复的数量时，在大括号前面不需要反斜杠，这样正则表达式就很简洁，易读

# grep bin /etc/passwd --把/etc/passwd 中包含 bin 的行列出来

# grep -w bin /etc/passwd --对搜索字符有边界限制

# grep -o bin /etc/passwd --只列出匹配到的字符串

# grep -oi nobody /etc/passwd --将匹配到的字符列出，不区分大小写

# grep -Rl AUTOSWAP /etc/sysconfig/ --指定目录里面，哪个文件包含了字符串AUTOSWAP

# grep -n bash /etc/passwd | awk -F: '{print $1}' --找出指定文件中 bash 所在的行的行号

# grep -n bin /etc/passwd | wc -l --找出指定文件中有多少行包含了单词bin

# grep -nv bash /etc/passwd --找出 /etc/passwd 中不包含bash 的行

# grep -c root /etc/passwd --输出匹配行的总数

# grep -A2 mail /etc/passwd --打印出指定文件中包含 mail 的行，同时打出其下面2行

# grep -B2 mail /etc/passwd --同上，同时打出其上面2行

# grep -C2 mail /etc/passwd --同上，同时打出其上下面各2行

# grep -q root /etc/passwd --不输出结果，经常用于脚本中，用来做测试

# echo $? --返回值为 0，匹配到字符；否则未匹配到指定字符

# ls /bin | grep '^.\{5\}$' --输出 /bin 目录下只有五个字符的命令

# ls /bin | grep -E '^.{5}$' -- 使用扩展的正则表达式

# grep -Eo '/[^:]*nologin$' /etc/passwd --正则表达式与边界限制组合

# echo -e "1\n2" -- -e，使 echo 使用正则表达式

--------------------------------------------------------------------------------------------------------------

# cat lines | grep -v '^$' |grep -vE '^\s+$' --删除含有空格与含有TAB的空白行

 

2、sed --流编辑器，常常用于脚本中

范围指定：不明确指定的话，默认是所有的行；可以是行号；或者正则表达式

动作指定：

d --删除

s --替换

n --关闭默认的输出

p --打印

e --连续符

-i --将修改结果写入原文件，默认是将修改结果输出到标准输出

i --在前面插入

a --在后面插入

-r --使用扩展的正则表达式，使用这个参数后正则表达式的表示方法会更加方便。相当于 grep 里的 -E

2.1、删除

# cat /etc/passwd | sed '3d' --删除第 3 行

# cat /etc/passwd | sed '3,$d' --删除第 3 行至最后

# cat /etc/passwd | sed '10,20d' --删除第 10 行至第 20 行

# head /etc/passwd | cat -n |sed -e 1d -e 3d --删除第 1 行与第 3 行

2.2、替换

# echo hello | sed 's/l/L/' --把小写 l 替换成大写 L，只匹配第 1 个 l

# echo hello | sed 's/l/L/g' --匹配所有的 l

# grep root /etc/passwd | sed 's/root/ROOT/' --为指定范围，替换所有行第 1 个 root

# grep root /etc/passwd | sed '1s/root/ROOT/' --只替换第 1 行第 1 个 root

# echo "hello world" | sed 's/world//' --将字符串替换为空

替换动作的范围：

s/a/A/ --替换每行第一个a

s/a/A/g --替换每行所有a

s/a/A/3 --替换每行第3个a

s/a/A/3g --替换每第3个至最后一个a

替换命令的分割符：

分隔符斜杠/ 可以换成任何其它的字符，需要注意的是，如果需要处理的数据中包含了分隔符，就必须对该字符进行转义，举例如下：

# echo /etc/passwd | sed 's/\//_/g' --将字符串中的斜杠替换成下划线

# echo /etc/passwd | sed 's#/#_#g' --作用同上，使用其他字符作为分隔符

2.3、输出指定行

# sed -n '1,5p' /etc/passwd -- -n关闭了默认的输出，然后只输出第1至第5行

# sed -n '/root/p' /etc/passwd -- 输出包含指定关键字的行

2.4、插入

# cat /etc/passwd | sed '5i good morning' --在第 5 行前面插入一行

# cat /etc/passwd | sed '3a good morning' --在第 3 行后面插入一行

# cat /etc/passwd | sed '4i good morning' | sed '3a good morning' --通过管道可随意插入

# cat /etc/passwd | sed -e '4i good morning' -e '3a good morning' --也可使用连续符

2.5、正则

# sed '/^.\{5\}x/d' /etc/passwd | cat -n --删除指定文件第 6 个字符为 x 的每行

# sed -r '/^.{5}x/d' /etc/passwd --同上

# echo 123456789ABCDEF | sed -r 's/^(.{2})...(.*)$/\1\2/' --删除第 3 至第 5 的字符

# echo 123456789ABCDEF | sed -r 's/^(.{2}).(.*)$/\1\2/' --删除第 3 个字符

# echo 123456789ABCDEF | sed -r 's/^(.{2}).{10}(.*)$/\1\2/' --删除从3个字符开始的10个字符

# echo abc | sed -r 's/[a-z]/\u&/g' --小写转为大写

# echo ABC | sed -r 's/[A-Z]/\L&/g' --大写转为小写

# echo ABC | sed -r 's/./\l&/g' --同上

# sed -r -e '/^$/d' -e '/^\s+$/d' /path/file --删除空白行 以及 含有空格的空白行

# sed -r '/^(\s+)?$/d' /path/file --同上

# sed -r '/xxxxxx/d' --删除包含指定关键字的行

 

3、awk --文本分析工具

-F --字段分割符，可以是一个字符，也可以是多个字符。默认的分割符为单个或连续的空格

$NF --最后一个列，NF 是number of fields：有字段的总数

$0 --整条记录

# awk -F '[ :]' '{print $3,$4}' /etc/passwd --以 【空格符】 or 【:】 为分隔符

# head /etc/passwd | awk -F: '{print $1,$2}' | column -t

# echo 'hello world, good morning' | awk -F, '{print $1}'

# head -n5 /etc/passwd | awk -F: '{print $NF}' --拿文件各行的最后一列，不管文件几行内容列数是否相同

3.1、FS

Field separator：字段分割符。字段分割符除了可以通过命令行选项 -F 来指定外，还可以在awk 里面指定

BEGIN：后面的代码会在处理第一行数据之前先执行，可以在这里做一些前期的设定，比如设定分割符FS

# head -n5 /etc/passwd | awk 'BEGIN{FS=":"} {print $1}'

# head -n5 /etc/passwd | awk -F: '{print $1}'

3.2、NR

number of records：到当前行为止，总共处理的行数

# head /etc/passwd | awk '{printf("%05d:: george--%s\n",NR,$0)}' --NR统计总共处理的行数，通过%05d的格式输出

# awk 'END{print NR}' /etc/passwd --直接用来计算总行数

# awk -F: '{if (NR==1){print $1}}' /etc/passwd 　　--只处理第一行

# awk -F ":" 'NR==2{print $1}' /etc/passwd　　--输出文件第2行的第一列

# awk -F ":" "NR==2{print \$1}" /etc/passwd　　--输出文件第2行的第一列

3.3、FNR

# ls -l /etc/ | sed 1d | awk 'BEGIN{print "start to process "} {total = total + $5} END{print NR " line Finished,resrlt: " total " kb"}' --初略计算 /etc 下的文件大小

3.4、结合正则

# ls -l | sed 1d | awk '{print $5,$0}' | sort -k1,1h | sed -r 's/^[^ ]+\s*//' --将当前目录的文件按文件大小排列。[^ ]+表示多个非空，\s 表示空格符

3.5、实例

# awk '{print $1}' access.log |sort|uniq -c|sort -nr|head -10 --分析access.log获得访问前10位的ip地址

 

二、regular_expression

1、正则表达式

正则表达式是对字符串操作的一种逻辑公式；就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，

这个“规则字符串”用来表达对字符串的一种过滤逻辑；规定一些特殊语法表示字符类、数量限定符和位置关系,然后用这些特殊语法和普

通字符一起表示一个模式,这就是正则表达式(Regular Expression)

2、特点

2.1、灵活性、逻辑性和功能性非常的强；

2.2、可以迅速地用极简单的方式达到字符串的复杂控制。

2.3、对于刚接触的人来说，比较晦涩难懂

3、单字符表示法

. --匹配任意字符

\d --匹配一个数字字符。等价于 [0-9]

\D --匹配一个非数字字符。等价于 [^0-9]

\f --匹配一个换页符。等价于 \x0c 和 \cL

\n --匹配一个换行符。等价于 \x0a 和 \cJ

\r --匹配一个回车符。等价于 \x0d 和 \cM

\s --匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]

\S --匹配任何非空白字符。等价于 [^ \f\n\r\t\v]

\t --匹配一个制表符。等价于 \x09 和 \cI

\v --匹配一个垂直制表符。等价于 \x0b 和 \cK

\w --匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'

 

4、边界表示法

^ --字符串的开头

$ --字符串的结尾

\b --单词边界

\B --非单词边界

\< --单词左边界

\> --单词右边界

5、分组表示法

(abc) --一组连续的字符abc

(aa|bb) --一组连续的字符ab 或者 bb

6、字符集合

[xyz] --字符集合。匹配所包含的任意一个字符

[^xyz] --负值字符集合。匹配未包含的任意字符

[a-z] --字符范围。匹配指定范围内的任意字符

[^a-z] --负值字符范围。匹配任何不在指定范围内的任意字符

7、数量表示法

--用来表示前面的一个字符，或者一组字符重复的次数

* --任意次, c >= 0

+ --至少1次, c >= 1

? --0次或者1次, c == 0 || c == 1

{m} --m 次, c == m

{m,} --至少m 次, c >= m

{m,n} --m次 至 n次, c >= m && c <= n

注意：默认情况下，数量表示符只作用于前面一个字符，若需要作用于前面多个字符，可以使用(...)把前面需要匹配的多个字符括起来

 

8、特殊字符表示法

^ $ . * + ? | \ { } [ ] ( ) 都有特殊意义的，如果需要表示这些符号，则可以用反斜杠对它们进行转义

9、引用表示法

从左边开始数左边小括号，数字从1开始，被第一对括号匹配的字符可以用\1 来引用，第二对可以用\2 来引用，以此类推

# echo abcabcabcaabb | grep -E '(a(bc)){2}\1' --color

# echo abcabcabcaabb | grep -E '(a(bc)){2}a\2' --color

# echo "hello world, hello world, hello beautiful world" | grep -E --color '((hello) (world)), \1, \2 .* \3'

10、其他表示方法

# date

# date | grep --color -oE '([0-1][0-9]|2[0-3])(:[0-5][0-9]){2}' --时间表示

# echo 2014-07-07 12:30:30 | grep --color -E '[0-9]{4}-(0[1-9]|1[0-2])-(0[1-9]|[12][0-9]|3[01])' --日期表示

# ifconfig | grep --color -E '(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])' --IP地址表示

# ifconfig | grep --color -E '([0-9a-fA-F]{2}:){5}[0-9a-fA-F]{2}' --MAC表示

 

三、测试

1、获取eth0的IP地址

# ifconfig eth0 | grep 'inet addr' | awk -F: '{print $2}' | awk '{print $1}'

# ifconfig eth0 | grep 'inet addr' | sed 's/.*addr://;s/ .*//'

2、查看root 用户的登录shell

# grep ^root /etc/passwd | awk -F: '{print $NF}'

3、查看/etc/passwd中有多少种登录shell

# awk -F: '{print $NF}' /etc/passwd | sort -u | wc -l

# sed 's/.*://' /etc/passwd | sort -u | wc -l

4、计算多个文件的总行数/总大小

# cat * | wc -l

# cat * | wc -c

5、计算字符串的长度

# echo 123 | wc -c -- 多出的一个是换行符

# echo -n 123 | wc -c -- 禁止输出换行符

6、在文件第一行之前和最后一行之后输出一些字符

# cat /etc/hosts | sed -e '1i ***********************' -e '$a ***********************'

# cat /etc/hosts | awk 'BEGIN{print "xxxxxxx"} {print $0} END{print "xxxxxxx"}'

7、输出系统开放的所有端口号

# netstat -tulpn | awk '{print $4}' | awk -F: '{print $NF}' | grep [0-9] | sort -nu

8、计算在线用户

# who | wc -l

9、历史开关机记录

# last -x | grep -E 'reboot|shutdown'

10、查根文件系统的可用空间

# df -h | grep " /$" | awk '{print $(NF-2)}'

11、查看sshd 登录记录，输出时间，用户名，客户端IP

# grep -E 'sshd.*Accepted pub' /var/log/secure-20170528 | awk '{print $1,$2,$3,$9,$11}'

12、系统至开机总运行时间

# uptime | awk -F, '{print $1,$2}' | sed 's/.*up //' | tr -s " "

13、将十进制 IP 地址转换为二进制的 IP 地址

# echo 192.168.3.33 | sed -e 's/\./;/g' -e 's/^/obase=2;ibase=10;/' | bc | xargs printf "%08d." | sed 's/.$/\n/'

# echo "obase=2;ibase=10;192;168;3;33" | bc | xargs printf "%08d." | sed 's/.$/\n/'

14、删除行首两个字符

# sed 's/^..//'

# tail -c +3

15、删除行尾两个字符

# sed 's/..$//'

# head -c -2

16、把字符串中的大写A替换成小写A

# sed 's/A/a/g'

# tr A a

17、判断字符串是否以 A 开头

if grep -Eq '^A'; then

if [ "$(echo $str | sed 's/^A//')" != "$str" ];then

if [ "${str#A}" != "$str" ]; then

18、判断字符串是否以 A 结尾

if grep -Eq 'A$'; then

if [ "$(echo $str | sed 's/A$//')" != "$str" ];then

if [ "${str%A}" != "$str" ]; then

19、截取字符串前面两个字符

# head -c 2

# grep -oE '^..'

# cut -c 1-2

# sed -r 's/^(..).*$/\1/'

20、截取字符串后面两个字符

# grep -oE '..$'

# tail -c 2

# sed -r 's/^.*(..)$/\1/'

21、截取字符串中第3至第5个字符

# cut -c 3-5

# sed -r 's/^..(...).*$/\1/'

# head -c5 | tail -c3

22、截取字符串中第1，第3，第8至第10，第12至末尾的字符

# cut -c1,3,8-10,12-

# awk 'BEGIN{FS=""} { for(i=1;i<=NF;i++) {if (i==1 || i== 3 || (i>=8 && i<=10) || i>=12) print $i } }' | tr -d $'\n'

23、去除数据中的重复行

# sort -u

# sort | uniq

24、计算数据中相同的行出现的次数

# sort | uniq -c

25、进行大文件的切割，每个小文件为100M

# head -c 2G /dev/urandom > bigfile

# split -b104857600 bigfile bigfile_

26、查找文件中单词 bin 出现的次数

# grep -wo bin /etc/passwd | wc -l

27、删除文件空白行

# grep -vE '^$' /etc/ssh/sshd_config --不能删除有空格符的空白行

# grep -vE '^\s*$' /etc/ssh/sshd_config --可以删除有空格符的空白行

28、把/etc/passwd 中所有的/bin/bash 登录shell 替换成 /sbin/nologin

# sed -E 's#/bin/bash#/sbin/nologin#g' /etc/passwd

29、统计文件 /etc/passwd 各个单词出现的频率

# grep -oE '\w+' /etc/passwd | sort | uniq -c | sed -r 's/^ +//'

# cat /etc/passwd | sed 's/[:/ ]/\n/g' | sed '/^$/d' | sort | uniq -c | sed -E 's/^\s+//' | sort -k1,1n

# cat /etc/passwd | grep -Eo '\w+' | sort | uniq -c | sed -E 's/^\s+//' | sort -k1,1n

# cat /etc/passwd | sed 's/[:/ ]/\n/g' | sed '/^$/d' | sort | uniq -c | sort -t" " -k6,6n

30、字符串检测

# echo abcd | grep -oE '^[a-z]+$' --测试字符串是否纯小写

# echo 12344323 |grep -oE '^[0-9]+$' --测试字符串是否纯数字

# echo iiiIIII | grep -oE '^[a-zA-Z]+$' --测试字符串是否纯字母

# echo 3425 |grep -E '^(0|[1-9][0-9]*)$' --测试字符串是否非负整数

# echo 3 |grep -E '^[1-9][0-9]*$' --测试字符串是否正整数

# echo -23 |grep -E '^-[1-9][0-9]*$' --测试字符串是否负整数

# echo 0 | grep -E '^(-[1-9][0-9]*)|(0|[1-9][0-9]*)$' --测试字符串是否整数

# echo -0.30000 | grep -E '^(-[1-9][0-9]*|[+-]?0|[1-9][0-9]*)\.[0-9]+$' --测试字符串是否小数

# echo _9kdj_324kdsd_dk | grep '^[a-zA-Z_][a-zA-Z0-9_]*$' --测试字符串是否只包含字母、数字、下划线，而且不以数字开头