文本处理命令--wc、sed

一、wc

wc命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。

测试文件内容：

(my_python_env)[root@hadoop26 ~]# cat test
hnlinux
peida.cnblogs.com
ubuntu
ubuntu linux
redhat
Redhat
linuxmint

1.1最基本的用法

(my_python_env)[root@hadoop26 ~]# wc test
     test

其中7代表行数

8是单词书，一个单词被定义为由空格、制表符或者换行符分割的字符串

70是字节数

1.2-l计算行数

(my_python_env)[root@hadoop26 ~]# wc -l test
 test

1.3-w计算单词数

(my_python_env)[root@hadoop26 ~]# wc -w test
 test

1.4-c计算字节数

(my_python_env)[root@hadoop26 ~]# wc -c test
 test

1.5-L打印最长行的长度

(my_python_env)[root@hadoop26 ~]# wc -L test
 test

1.6用wc命令怎么做到只打印统计数字不打印文件名？

使用管道可以做到，这在shell脚本中特别有用

(my_python_env)[root@hadoop26 ~]# cat test | wc -l

二、sed

sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

2.1sed的使用参数

[root@www ~]# sed [-nefr] [动作]
选项与参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在命令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。

动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function：
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

2.2d删除

将/etc/passwd的内容列出并且列出行号，同时，将2~5行删除

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2,5d'
         root:x:::root:/root:/bin/bash
         sync:x:::sync:/sbin:/bin/sync
         shutdown:x:::shutdown:/sbin:/sbin/shutdown
         halt:x:::halt:/sbin:/sbin/halt
         mail:x:::mail:/var/spool/mail:/sbin/nologin

注意sed后面接的动作需要使用单引号

只删除第2行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2d'
         root:x:::root:/root:/bin/bash
         daemon:x:::daemon:/sbin:/sbin/nologin
         adm:x:::adm:/var/adm:/sbin/nologin
         lp:x:::lp:/var/spool/lpd:/sbin/nologin

删除第3行到最后一行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '3,$d'
         root:x:::root:/root:/bin/bash
         bin:x:::bin:/bin:/sbin/nologin

2.3a和i选项的增加

在/etc/passwd第三行增加一行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2a this is a extend row'
         root:x:::root:/root:/bin/bash
         bin:x:::bin:/bin:/sbin/nologin
this is a extend row
         daemon:x:::daemon:/sbin:/sbin/nologin
         adm:x:::adm:/var/adm:/sbin/nologin

上面的需求还可以使用-i选项来实现

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '3i this is a extend row'
         root:x:::root:/root:/bin/bash
         bin:x:::bin:/bin:/sbin/nologin
this is a extend row
         daemon:x:::daemon:/sbin:/sbin/nologin
         adm:x:::adm:/var/adm:/sbin/nologin

2.4-c选项的替换

将2~5行的内容替换掉

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed '2,5c 2-5 rows'
         root:x:::root:/root:/bin/bash
- rows
         sync:x:::sync:/sbin:/bin/sync
         shutdown:x:::shutdown:/sbin:/sbin/shutdown

2.5-n和-p

仅列出文件的5-7行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '5,7p'
         lp:x:::lp:/var/spool/lpd:/sbin/nologin
         sync:x:::sync:/sbin:/bin/sync
         shutdown:x:::shutdown:/sbin:/sbin/shutdown

2.6数据搜寻

搜索有root关键字的行

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '/root/p'
         root:x:::root:/root:/bin/bash
        operator:x:::operator:/root:/sbin/nologin

搜索有root关键字的行，并删除

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed  '/root/d'
         bin:x:::bin:/bin:/sbin/nologin
         daemon:x:::daemon:/sbin:/sbin/nologin
         adm:x:::adm:/var/adm:/sbin/nologin
         lp:x:::lp:/var/spool/lpd:/sbin/nologin

数据搜寻+执行命令

搜索/etc/passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行：

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}'
         root:x:::root:/root:/bin/blueshell
        operator:x:::operator:/root:/sbin/nologin

如果只替换/etc/passwd的第一个bash关键字为blueshell，就退出

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p;q}'
         root:x:::root:/root:/bin/blueshell

最后的q是退出

2.7数据搜寻与替换

除了整行的处理模式之外， sed 还可以用行为单位进行部分数据的搜寻并取代。基本上 sed 的搜寻与替代的与 vi 相当的类似！他有点像这样：

sed 's/要被取代的字串/新的字串/g'

(my_python_env)[root@hadoop26 ~]# /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g'
192.168.223.129  Bcast:192.168.223.255  Mask:255.255.255.0

接下来则是删除后续的部分，亦即： 192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0

(my_python_env)[root@hadoop26 ~]#  /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g' | sed 's/Bcast.*$//g'
192.168.223.129 

2.8多点编辑

一条sed命令，删除/etc/passwd第三行到末尾的数据，并把bash替换为blueshell

(my_python_env)[root@hadoop26 ~]# nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/'
         root:x:::root:/root:/bin/blueshell
         bin:x:::bin:/bin:/sbin/nologin

-e表示多点编辑，第一个编辑命令删除/etc/passwd第三行到末尾的数据，第二条命令搜索bash替换为blueshell。