linux shell脚本命令

sort命令

sort   #按照字典序排序
sort  -n  #以数值来排序,避免10比2小的情况
sort  -k #如果文件有多列，指定排序的列
sort  -r  #逆序排列

uniq 命令

一般结合sort命令，出去文件中重复的行

sort testfile | uniq   #删除文件中重复出现的行
sort testfile | uniq -c  #删除文件中重复出现的行，并在行首显示该行重复出现的次数。

awk 命令

NF                 浏览记录的域的个数，亦统计的是每行列的总数
NR                 已读的记录数，亦有多少行
$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。
$NF是number finally,表示最后一列的信息

# 输出包含"re" 的行
$ awk '/re/ ' log.txt

# 输出第二列包含 "th"，并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt

$ awk '$1==2 {print $1,$3}' log.txt
#输出第一列等于2，并打印第一 和第三列

取出某一列中包含_的列
$ awk 'BEGIN{FS = " "}{for (f=1; f <= NF; f+=1) {if ($f ~ /_/) {print NR,$f}}}' pride.txt >output
$ awk -F ' '   '{for (f=1; f <= NF; f+=1) {if ($f ~ /_/) {print $f}}}' result1 > file.out

grep 命令

grep表达式的格式：grep  [选项]  ”模式“  [文件]

常用选项

• -E ：开启扩展（Extend）的正则表达式。
• -i ：忽略大小写（ignore case）。
• -n ：显示行号

正则表达式

• .              #匹配任意一个字符。
• [abc]       #表示匹配一个字符，这个字符必须是abc中的一个。
• [a-zA-Z]  #表示匹配一个字符，这个字符必须是a-z或A-Z这52个字母中的一个。
• [^123]     #匹配一个字符，这个字符是除了1、2、3以外的所有字符。
• [0-9]        #匹配一个数字
• {m,n}       #匹配其前面出现的字符至少m次，至多n次。
• ^  　　    #锚定行首
• $　　     #锚定行尾。^$  用于匹配空白行。
• a|b         #匹配a或b，注意a是指 | 的左边的整体，b也同理。比如 C|cat 表示的是 C或cat，而不是Cat或cat，如果要表示Cat或cat，则应该写为 (C|c)at

grep key  file.txt #输出file.txt包含key的行

tr 命令

用于转换或删除文件中的字符。

tr  -d '\t'  #删除文件中'\t'字符
tr  -s ' ' '\n'：缩减连续的空格为换行符
cat testfile |tr a-z A-Z  #将文件中的小写字符转化为大写字符

wc命令

一般是统计行数或者是字数

-c  只显示Bytes数。
-l  只显示行数。
-w  只显示字数。

文件拷贝命令

scp [可选参数] 源文件 目标文件
scp -r /home/steve/music/ antonio@172.168.13.34:/home/antonio/file 将本地文件夹music拷贝到远程file路径下
scp -r antonio@172.168.13.34:/home/antonio/file /home/steve/music/ 将远程文件file拷贝到本地文件夹music下

cp -r source target 

查看目录相关操作

du -sh * #查看当前目录下各个文件及各目录占用空间大小 
du -sh #查看当前文件夹占用大小 
df -f #查看硬盘大小及使用情况
ll |wc -l #计算文件的数量

其他命令

wget link #下载文件
ps  -ef| grep get_mp3.py  #打印get_mp3.py进程的信息

解压

*.tar 用 tar –xvf 解压
*.tar.gz和*.tgz 用 tar –xzf 解压
*.tar.bz2用tar –xjf 解压
*.tar.Z 用tar –xZf 解压
*.rar 用 unrar e解压
*.zip 用 unzip 解压

压缩

zip -r 1.zip  *to #压缩以to结尾的文件，压缩文件名为1.zip，递归压缩当前目录下的文件