SHELL脚本--管道和重定向基础

bash&shell系列文章：http://www.cnblogs.com/f-ck-need-u/p/7048359.html

---

1.8.1 匿名管道"|"

管道符号意如其名，类似管道一样将管道入口的数据通过管道传递给管道出口。

管道是为了解决进程间通信问题而存在，它可以让两个进程之间的数据进行传递，将一个进程的输出数据传递给另一个进程作为其输入数据。管道左边是数据给予方，管道右边是数据接收方。

例如echo "abcd" | passwd --stdin username，表示将进程echo的输出结果"abcd"作为进程passwd的输入数据。

基本的管道符号及其用法很容易理解。现在的疑问是，对于ps aux | grep "ssh" ，为什么在结果里会有grep进程出现？

[root@xuexi ~]# ps aux | grep ssh
root         0.0  0.1     ?        Ss   Jul26   : /usr/sbin/sshd -D
root        0.0  0.2    ?        Ss   :   : sshd: root@pts/
root        0.1  0.2    ?        Ss   :   : sshd: root@pts/
root      25770  0.0  0.0 112648   948 pts/1    S+   06:15   0:00 grep --color=auto ssh

按一般想法，先执行了ps，得到输出后将输出数据传递给grep，这时候grep还没运行而ps已经运行完毕了，为什么还能统计到grep进程的信息呢？原因是管道实现的是进程间通信，两个进程之间存在交叉，在运行ps进程后开始收集进程信息，grep也已经开始并处于等待接收数据状态，当ps收集到任何数据后都将输出放入内存由管道传递给grep进行筛选。

管道其本质是数据传递，管道左边的输出数据放入内存，由管道右边的进程读取。假如内存不足以完全存放输出数据，则管道左边的进程将一直等待，直到管道右边取出内存中一部分的数据以让管道左边的进程继续输出，而管道右边的进程在管道左边的进程启动后也立刻启动了，但是它一直处于等待状态，等待接收管道传递来的数据。

也就是说，管道左右两边的进程运行几乎是没有先后顺序的。

那么ps aux | grep "ssh"如何避免结果中出现grep自身的进程呢？方法有二：

方法一：ps aux | grep "ssh" | grep -v "grep"

方法二：ps aux | grep "ss[h]"

[root@xuexi ~]# ps aux | grep ss[h]
root         0.0  0.1     ?        Ss   Jul26   : /usr/sbin/sshd -D
root        0.0  0.2    ?        Ss   :   : sshd: root@pts/
root        0.0  0.2    ?        Ss   :   : sshd: root@pts/

方法一是应用grep的"-v"特性，方法二是应用正则表达式的特性。

在使用匿名管道的过程中，可能已经发现管道两边的进程是同属一个进程组的，也就是说管道左方的数据只能传递给管道右方的进程，其他任何进程都没法读取此数据。但除了匿名管道，还有命名管道，命名管道是将一个进程的数据存储到一个管道文件(fifo)中，其他进程可以读取该管道文件来读取其中的数据，也就是说不再限制数据读取方。关于命名管道，请参阅Linux/unix操作系统内核或编程类的书籍，一般都会有详细的介绍。

1.8.2 重定向

1.8.2.1 重定向基础

最常见的标准输入（stdin）、标准输出（stdout）和标准错误输出（stderr）的文件描述符分别是0、1和2，其中0、1、2也可以认为是它们的数字代号。对于输出信息，可以认为是打印在屏幕上的信息，而没给出错误的就是标准输出，给出错误提示的是标准错误输出，当然这样说明有失偏颇，但是易于理解。还可以自定义自己的描述符，实现高级重定向，在以后的文章中可能会介绍一下它们的用法。

标准输入 = /dev/stdin   = 代号0 = <符号(注意，没有包含<<符号)。

标准输出 = /dev/stdout = 代号1 = >或>>符号。

标准错误输出 = /dev/stderr = 代号2 = 使用2>或2>>符号。

注意，上面的/dev/std{in,out,err}分别是0、1、2默认的输出目标，当重定向后，就不再使用这些目标。具体见后文。

<、>、2>实现的是覆盖功能，>>、2>>实现的是追加的功能，但是注意"<<"不是追加功能，而是表示此处生成文档(here document)，在后面cat和重定向配合的内容里有说明。此外，还有<<<，它表示此处字符串(here string)，也见下文。

有时候，使用"-"也表示/dev/stdin。如：

[root@xuexi ~]# cat /etc/fstab | cat -

脚本中常见2>&1和&>以及&>>的符号，它们都表示将stdout和stderr都重定向到同一个地方去，即重定向所有输出内容。如最常见的"&> /dev/null"。

注意：

(1).重定向操作是shell最先解析到的，在执行命令之前，重定向就会先打开文件以确定输入、输出的位置。如果是重定向输出操作，则先截断文件使其为空。

(2)./dev/stdin、/dev/stdout、/dev/stderr等设备只是数据默认的流向目标(严格地说是文件描述符0、1、2的输出目标)，它们不等价于"标准输入0、标准输出1、标准错误2"。之所以称为"重定向"，就是将数据的流向改变，不再输入到这些默认设备中。

(3).重定向的顺序很重要。

例如 ls / >file1 >& 表示先打开file1作为标准输出(fd=1)的目的地，然后再将标准错误绑定到标准输出(已经是file1)上，这样无论是标准错误还是标准输出都重定向到file1中。它等价于 ls / &>file1 。"&"符号表示描述符重用(fd 2 duplicate from fd 1)。将其理解为文件描述符2复制了文件描述符1，或者文件描述2重用文件描述符1，使得fd=2也指向了fd=1所指向的文件。

而 ls / >& >file1 表示先将标准错误指向到标准输出，此时标准输出还是/dev/sdtout(即屏幕)，因此标准错误的输出目标是/dev/stdout(屏幕)。之后再打开file1作为标准输出的目标。因此，它最终将标准错误重定向到/dev/stdout，将标准输出重定向到file1。可以让ls命令产生错误来测试， ls dlfjasl >& >file1 ，结果将直接显示在屏幕上。 

将stdout或stderr丢到/dev/null表示丢弃输出信息，反过来，将/dev/null重定向到某个文件则表示清空文件。

[root@xuexi ~]# cat /dev/null > ab.sh

除此，还有以下几种方法快速清空文件

[root@xuexi ~]# > ab.sh
[root@xuexi ~]# : > ab.sh             # 或"true >ab.sh"，其实它们都等价于">ab.sh"
[root@xuexi ~]# echo '' > ab.sh
[root@xuexi ~]# truncate -s  ab.sh   # truncate命令用于收缩和扩展文件大小
[root@xuexi ~]# dd if=/dev/null of=ab.sh

再次说明(很重要)：在有输出类的重定向(包括错误重定向)语句中，命令执行之前就已经将文件截断为0大小。所以如果正在编辑一个文件并将编辑的结果重定向回这个文件将出现异常，因为截断后就没有合适的内容用于编辑。一个简单的示例如下：

[root@xuexi ~]# head a.log > a.log

有些时候直接使用">"覆盖输出是比较危险的。可以使用set -C来设置如果输出重定向文件已经存在则不覆盖。使用set +C来取消set -C的效果。如果在设置了set -C时仍然想强制覆盖，可以使用“>|”代替“>”来重定向输出。同理错误输出也有此特性。

[root@xuexi tmp]# set -C
 
[root@xuexi tmp]# cat flip >ttt.txt
-bash: ttt.txt: cannot overwrite existing file
 
[root@xuexi tmp]# cat flip >| ttt.txt
 
[root@xuexi tmp]# set +C

1.8.2.2 cat和重定向配合

配合cat使用可以分行输入内容到文件中。

[root@xuexi tmp]# cat <<eof>log.txt   # 覆盖的方式输入到log.txt
> this is stdin character
> eof

也可以使用下面的方法。

[root@xuexi tmp]# cat >log1.txt <<eof
> this is stdin character first!
> eof

一方面，eof部分都必须使用"<<eof"，它表示here document，此后输入的内容都作为一个document输入给cat。既然是document，那就肯定有document结束符标记document到此结束，结束符使用的是here document后的字符，例如此处为eof。其实不使用eof，使用其他字符也是一样的，但document的结束符也必须要随之改变。如：

[root@xuexi ~]# cat <<abcx
>
>
> abcx
 

另一方面，>log1.txt表示将document的内容覆盖到log1.txt文件中，如果是要追加，则使用>>log1.txt。所以，追加的方式如下：

[root@xuexi tmp]# cat >>log1.txt <<eof
> this is stdin character first!
> eof

或

[root@xuexi tmp]# cat <<eof>>log1.txt
> this is stdin character first!
> eof

1.8.2.3 tee双重定向

可以使用tee双重定向。一般情况下，重定向要么将信息输入到文件中，要么输出到屏幕上，但是既想输出到屏幕又想输出到文件就比较麻烦。使用tee的双重定向功能可以实现该想法。如图。

tee [-a] file

选项说明：

-a：默认是将输出覆盖到文件中，使用该选项将变为追加行为。

file：除了输出到标准输出中，还将输出到file中。如果file为"-"，则表示再输入一次到标准输出中。

例如下面的代码，将a开头的文件内容全部保存到b.log，同时把副本交给后面的的cat，使用这个cat又将内容保存到了x.log。其中"-"代表前面的stdin。

[root@xuexi tmp]# cat a* | tee b.log | cat - >x.log

还可以直接输出到屏幕：

[root@xuexi tmp]# cat a* | tee b.log | cat

tee默认会使用覆盖的方式保存到文件，可以使用-a选项来追加到文件。如：

[root@xuexi tmp]# cat a* | tee -a b.log | cat

现在就可以在使用cat和重定向创建文件或写入内容到文件的同时又可以在屏幕上显示一份。

[root@xuexi tmp]# cat <<eof | tee ttt.txt
> x y
> z
> eof
 
x y
z 

另一篇tee的技巧文章：tee的花式用法和pee，建议有一定基础后再看这篇文章。

1.8.2.4 <<和<<<

在bash中，<<和<<<是特殊重定向符号。<<表示的是here document，<<<表示的是here string。

here document在上文已经解释过了，对于here string，表示将<<<后的字符串作为输入数据。

例如：

passwd --stdin user <<< password_value

等价于：

echo password_value | passwd --stdin user