Linux Shell Scripting Cookbook 读书笔记 2

cat，script，find, xargs, tr, tmp文件，字符串截取，批量文件重命名，固定大小文件，自动化交互

1. cat的用法

压缩连续的空白行

cat -s file

也可以用tr，将连续'\n'，压缩成一个'\n'

cat file | tr -s '\n'

显示制表符

cat -T file

显示行号

cat -n file

2. script命令

录制： script -t 2> time.log out.session

type commands;

exit退出录制

回放: scriptreplay time.log out.session

记录日志： script -aq out -c "pwd"

可以将-c里面执行命令的结果保存到out文件，达到记录日志的目的

3. find命令

多条件组合

注意括号需要转义，后面必须有空格

查找shell还有python文件

目录深度

find . -mindepth 2 -type f

find . -maxdepth 1 -type d

文件类型

find . -type d  # d表示目录，f表示文件,l表示链接

文件时间，linux中没有文件创建时间概念

-atime，用户最近一次访问文件的时间； -mtime，文件内容最后一次被修改的时间； -ctime，文件元数据（metadata，例如权限或所有权）最后一次改变的时间

其中-表示小于，+表示大于

查找七天内被访问过的文件： find . -type f -atime -7； 恰好在七天前被访问的文件： find . -type f -atime 7； 超过七天被访问的文件： find -type f -atime +7

相似的有amin，mmin,cmin,以分钟为单位

文件大小

-size ( b，块 512字节； c，字节； w，字 2字节； k， 千字节； M，兆字节； G ）

其中-表示小于，+表示大于

删除文件 -delete

删除当前目录下所有.swp文件： find . -type f -name "*.swp" -delete

所有权或用户查找

find . -type f -perm 644

find . -type f -user sryan

结合find执行命令，-exec

将当前目录下用户为root的文件改为sryan

find . -type f -user root -exec chown sryan {} \;

{}是find搜寻的结果，\转义分号，不让shell解释，意思该分号是给-exec使用

-exec只能接受单个命令，所以如果有多个命令，可以写成脚本，-exec ./comand.sh {} \;

find命令全部输出只是一个单数据流（stdin)，只有当多个数据流被追加到文件时，才有必要用用>>

find . -type f -name "*.c" -exec cat {} \;>all_c_files.txt  #将当前目录下所有c程序文件拼接起来写入文件

find . -type f -mtime +10 -name "*.txt" -exec cp {} OLD \; #将大于10天的txt文件移动到OLD目录下

修剪，跳过指定目录

find dev/folder \( -name ".git" -prune \) -o \( -type f -print \) # 排除.git目录，打印所有文件的名称和路径

只查看目录下非隐藏的文件， 试了下，如果不加-o选项，则-prune不会起作用

4. xargs

有些命令无法接收stdin数据流，xargs能够将标准输入数据先格式化，转换成命令行参数

将多行转换成单行输出， xargs默认是按照“ ”空格来格式化的

-n 指定每行最大参数数量

-d 指定定界符，注意是区分大小写的

-I 选项指定一个替换字符串

cat args.txt | xargs -I {} ./test.sh -p {} -l

相当于 .test.sh -p arg1 -l

test.sh -p arg2 -l

与 -i 的区别

与find的结合

误区： find . -type f -name "*.txt" -print | xargs rm -f

无法预测find输出结果的定界符究竟是'\n'还是空格' '，很多文件名中含有空格

误删了hell文件，但是hell test.txt没删掉，因为xargs是以空格为定界符的

find . -type f -name "*.txt" -print0 | xargs -0 rm -f

xargs -0 将\0作为指定的定界符

统计每个txt文件的行数

5. tr

对来自标准输入的字符进行替换，删除以及压缩。无法通过命令行参数接收输入

tr后面的两个参数需要等长，如果前面短，则截断后面；如果前面长，则后面的用最后一个字符补齐

-d 删除

-s 压缩，可以用来去除多余空格

$[ ] 是执行算术运算

字符类替换

alnum: 字母和数字;   alpha: 字母；    cntrl： 控制字符

digit： 数字；   graph: 图形字符；  lower： 小写

upper： 大写；    print： 可打印字符；   punct： 标点符号

space： 空白字符；   xdigit： 十六进制

6. 产生tmp文件

或者使用$RANDOM

或者temp_file=/tmp/var.$$，在脚本中，$$会被扩展成当前运行脚本的进程id

7. 生产固定大小的文件

dd if=/dev/zero bs=100k count=1 of=data.file

生成大小为100kb而文件内容全部是0

8. 字符串截取

${var%.*}，删除位于%右侧的通配符（.*)所匹配的字符串，通配符从右向左匹配

贪婪模式

${var#.*}，删除位于#左侧通配符（.*）所匹配的字符串，通配符从左向右匹配

9. 批量文件重命名

rename 'y/A-Z/a-z/' *  #大写替换成小写，*匹配所有文件

find . -type f -exec rename 's/ /_/g' {} \;   #将所有文件里的空格替换成_

10. 自动化交互

#!/bin/expect
 
spawn kinit sryan
expect "Password*"
send "Mypassword\n"
expect eof # interact

spawn: 启动你要自动化的的进程

expect：需要等待的信息

send: 要发送的信息

expect eof: 指明命令交互结束

interact： 将交互状态保留给控制台，例如ssh进入后，如果不加这句，就会退出，而不是留在远程服务器上