日志分析查看—— cat+grep+awk+uniq+sort+wc+join

有个统计日志信息的需求，下面是使用到的命令

//按 \t 对文件每一行进行切割，正则匹配第二列为32896时，输出第一列；再进行排序并去重，最后统计行数

cat file.log|awk -F '\t' '{if($2~"32896") print $1}'|sort -u|wc -l
// 先筛选每一行包含 32896的   包含1925598894的 ；再将筛选后的每一行 按 \t 进行分割 输出每一行的第一列  ；再进行排序去重；最后统计行数
cat file.log |grep 32896|grep 1925598894|awk -F '\t' '{print $1}'|sort -u|wc -l       

// 先筛选每一行包含 2021-10-17 的 ；按  \t 进行分割，如果第20列正则匹配 7 为 true  输出这一行全部内容；最后将输出的内容
输入到指定的2021-10-17-01.log文件中
cat file.log|grep 2021-10-17|awk -F '\t' '{if($20~"7") print $0}' > 2021-10-17-01.log    

// gsub(/正则/,'替换的内容',$0) 全局替换  默认整行内容替换 即 $0
cat file.log |awk '{gsub(/-/," ",$0);gsub(/:/," ",$0);print $0}' > result.log
//排除今天和昨天产生的文件，然后删除剩下的文件

　time1=`date +%Y-%m-%d`
　time2=`date -d -1day +%Y-%m-%d`

ls |grep -v $time1| grep -v $time2 |xargs rm -rf

先了解一下    

Shell 输入/输出重定向   ： https://www.runoob.com/linux/linux-shell-io-redirections.html

 Shell管道  ： http://c.biancheng.net/view/3131.html

• 重定向操作符  >  将命令与文件连接起来，用文件来接收命令的输出；            例如：  command > file
• 管道符  |  将命令与命令连接起来，用第二个命令来接收第一个命令的输出。  例如：  command1 | command2

cat命令

用于连接文件并打印到标准输出设备上。

cat 主要有三大功能:

(1) 一次显示整个文件。$ cat filename


(2) 从键盘创建一个文件。$ cat > filename << 结束符

只能用于创建新文件，不能编辑已有文件。

例如设置结束符为 EOF    ：    $ cat > 1.txt << EOF

编辑文件完后，只需在最后一行键入“EOF”，然后回车即可。

(3) 将几个文件合并为一个文件: $ cat file1 file2 > file


参数:

• -n 或 --number： 由 1 开始对所有输出的行数编号
• -b 或 --number-nonblank ：和 -n 相似，只不过对于空白行不编号
• -s 或 --squeeze-blank ：当遇到有连续两行以上的空白行，就代换为一行的空白行
• -v 或 --show-nonprinting  ：使用 ^ 和 M- 符号，除了 LFD 和 TAB 之外。

例:

(0) 把1.txt和2.txt合并到3.txt

cat 1.txt 2.tx t> 3.txt

(1) 把 1.txt 的内容加上行号后输入 4.txt 这个档案里

cat -n textfile1 > textfile4

(2) 把 1.txt 和 2.txt 的内容加上行号(空白行不加)之后将 内容附加到 textfile3 里。

cat -b 2.txt 1.txt >> textfile3


awk 命令 

awk 是一种处理文本文件的语言，是一个强大的文本分析工具。

创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 。

awk依次对每一行进行处理，然后输出。处理庞大文件时不会出现内存溢出或处理缓慢的问题。

awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)

脚本如果包含多条语句时，可以用分号分隔，处理文本时，若未指定分隔符，则默认将空格、制表符等作为分隔符。print是最常见的指令。

常用参数：

• -F：指定分隔符  相当于内置变量FS
• -v：赋值一个用户定义的变量，-v 变量名=value ，变量名区分字符大小写。
• -f：调用脚本文件

内置变量:

$n :  指定分隔的第n个字段，如$1、$3分别表示第1列、第3列

$0 ：当前读入的整行文本内容

关于 awk 脚本，我们需要注意两个关键词 BEGIN 和 END。

• BEGIN{ 这里面放的是执行前的语句 }     只执行一次
• END {这里面放的是处理完所有的行后要执行的语句 }  只执行一次
• {这里面放的是处理每一行时要执行的语句}    一行执行一次
• 所有命令都要写在{}里

awk -F '分割符' 'BEGIN{脚本语句} {脚本语句} END{脚本语句}'

使用内置变量

awk -v FS='指定输入分隔符' -v OFS='指定输出分隔符' '{}'

awk内置函数： https://www.runoob.com/w3cnote/awk-built-in-functions.html

详细教程请参考：https://www.runoob.com/linux/linux-comm-awk.html

sort 命令 

Linux sort 命令用于将文本文件内容加以排序。sort 可针对文本文件的内容，以行为单位来排序。

sort file    //该命令将以默认的方式将文本文件的第一列以 ASCII 码的次序排列，并将结果输出到标准输出。默认升序

  参数说明：

• -b 忽略每行前面开始出的空格字符。
• -c 检查文件是否已经按照顺序排序。
• -d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
• -f 排序时，将小写字母视为大写字母。
• -i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
• -m 将几个排序好的文件进行合并。
• -M 将前面3个字母依照月份的缩写进行排序。
• -n 依照数值的大小排序。
• -u 意味着是唯一的(unique)，输出的结果是去完重了的。
• -o<输出文件> 将排序后的结果存入指定的文件。
• -r 以相反的顺序来排序。
• -t<分隔字符> 指定排序时所用的栏位分隔字符。
• +<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
• --help 显示帮助。
• --version 显示版本信息。
• [-k field1[,field2]] 按指定的列进行排序。

uniq 命令 

Linux uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。

当重复的行并不相邻时，uniq 命令是不起作用的。先使用sort进行排序，再使用uniq命令

sort  file | uniq

• -c或--count   在行首显示该行重复出现的次数
• -d或--repeated 仅显示重复出现的行列。
• -f<栏位>或--skip-fields=<栏位> 忽略比较指定的栏位。
• -s<字符位置>或--skip-chars=<字符位置> 忽略比较指定的字符。
• -u或--unique 仅显示出一次的行列。
• -w<字符位置>或--check-chars=<字符位置> 指定要比较的字符。

grep 命令

用于查找文件里符合条件的字符串

• -a 或 --text : 不要忽略二进制的数据。
• -c 或 --count : 计算符合样式的列数。
• -d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
• -n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
• -v 或 --invert-match : 显示不包含匹配文本的所有行。

wc 命令

wc命令用于计算字数。利用wc指令我们可以计算文件的Byte数、字数、或是列数，若不指定文件名称、或是所给予的文件名为"-"，则wc指令会从标准输入设备读取数据。

• -c或--bytes或--chars 只显示Bytes数。
• -l或--lines 显示行数。
• -w或--words 只显示字数。

在默认的情况下，wc将计算指定文件的行数、字数，以及字节数。

$ wc testfile           # testfile文件的统计信息
3 92 598 testfile       # testfile文件的行数为3、单词数92、字节数598 

$ wc testfile testfile_1 testfile_2  #统计三个文件的信息
3 92 598 testfile                    #第一个文件行数为3、单词数92、字节数598
9 18 78 testfile_1                   #第二个文件的行数为9、单词数18、字节数78
3 6 32 testfile_2                    #第三个文件的行数为3、单词数6、字节数32
15 116 708 总用量                    #三个文件总共的行数为15、单词数116、字节数708  

comm 命令

Linux comm 命令用于比较两个已排过序的文件。

这项指令会一列列地比较两个已排序文件的差异，并将其结果显示出来，如果没有指定任何参数，则会把结果分成 3 列显示：第 1 列仅是在第 1 个文件中出现过的列，第 2 列是仅在第 2 个文件中出现过的列，第 3 列则是在第 1 与第 2 个文件里都出现过的列

参数：

• -1 不显示只在第 1 个文件里出现过的列。
• -2 不显示只在第 2 个文件里出现过的列。
• -3 不显示只在第 1 和第 2 个文件里出现过的列。

join命令

Linux join命令用于将两个文件中，指定栏位内容相同的行连接起来。

找出两个文件中，指定栏位内容相同的行，并加以合并，再输出到标准输出设备。

参数：

• -a<1或2> 除了显示原来的输出内容之外，还显示指令文件中没有相同栏位的行。
• -e<字符串> 若[文件1]与[文件2]中找不到指定的栏位，则在输出中填入选项中的字符串。
• -i或--igore-case 比较栏位内容时，忽略大小写的差异。
• -o<格式> 按照指定的格式来显示结果。
• -t<字符> 使用栏位的分隔字符。默认文件字段的分隔符是空白字符（空格），可以指定分隔符   -t, 或者 -t "," 或者-t',' 表示使用 逗号进行分割  输出时也是以指定的分割符进行分隔。  以四个空格进行分割 ：  -t "    "
• -v<1或2> 跟-a相同，但是只显示文件中没有相同栏位的行。
• -1<栏位> 连接[文件1]指定的栏位。
• -2<栏位> 连接[文件2]指定的栏位。

join [参数] 文件1 文件2         //文件1 和文件2 的内容必须是经过排序后的，否则会报 is not sorted

-a1表示 显示第一个文件中不匹配的行，类似于sql里的left join

-a2 表示 显示第二个文件中不匹配的行，类似于sql里的 right join
-o 1.1 2.1          1.1表示输出第一个文件的第一列；2.1表示输出第二个文件的第一列
-1 1 -2 1   表示第一个文件的第一列和第二个文件的第一列关联    类似于sql  的   from a inner join b on a.第一列字段名 = b.第一列字段名

参考链接 ：https://www.runoob.com/linux/linux-command-manual.html

xargs 命令：

　　xargs 可以将管道或标准输入（stdin）数据转换成命令行参数，也能够从文件的输出中读取数据